Matrix M orthogonal heißt doch     M * M^T  = Einheitsmatrix
Bei dir gibt M * M^T  =   1/9  *
2a^2+1            2a-a^2         a^2-2a  
2a-a^2             2a^2+1        2a-a^2
a^2-2a             2a-a^2         2a^2+1  
Damit das die Einheitmatrix gibt, muss gelten
2a^2+1=9       und   2a-a^2=0
2a^2 = 8           und   2a-a^2=0   
a^2 = 4             und   a*(2-a)   
beides zusammen gilt nur für  a=2.   
Also ist die Matrix nur für a=2 orthogonal.