Die geometrische Vielfachheit ist die Dimension des Eigenraums.
Du muss also die Dimension des Lösungsraumes von
(M - 2*E)*x = 0 bestimmen.  Das gibt die Matrix
-5     0      0
2a   b-2    a
10     0      0
1. Zeile mal 2 zur 3. addiert gibt
-5     0      0
2a   b-2    a
 0     0      0
Du hast also jedenfalls x1=0 und
     (b-2) * x2 + a*x3 = 0
1. Fall   b=2 und a≠0   gibt
         x2 beliebig  und x3=0
Also sehen alle Lösungen dann so aus:
    ( 0;t;0) mit t∈ℝ  , also dim(L)=1 somit
geometrische Vielfachheit 1.
2. Fall   b=2 und a=0   gibt
  x2 beliebig  und x3 beliebig 
 Also sehen alle Lösungen dann so aus:    ( 0;t;s) mit t,s∈ℝ  , 
also dim(L)=2 somit geometrische Vielfachheit 2.
3.  Fall   b≠2 gibt  
x2 = -a*x3 / (b-3)    und x3 beliebig  
Also sehen alle Lösungen dann so aus:    ( 0;  -as/(b-2) ;s) mit s∈ℝ  , 
also dim(L)=1 somit geometrische Vielfachheit 1.