Erste Spalte normieren. Die hat Länge 6 also normiert (ich schreib jetzt mal Zeile statt Spalte
q1 = 1/3*(2;1;2).
Dann neue 2. Spalte
q2' = a2 - (a2*q1)*q1
     = (3;0;6) - 6 * q1 = (3;0;6) - 2 * (2;1;2) =  ( -1 ; -2 ; 2)
Normieren: q1 = (1/3)* ( -1 ; -2 ; 2)
dann 
q3 = a3 - (a3*q1)*q1 -  (a3*q2)*q2
    = a3 - 1*q1 -  3*q2
   = (1/3)* ( -2 ; 2 ; 1 )
Also Q = 
                2       -1       -2
1/3   *     1       -2        2
               2        2        1  
und R ist dann eben  Q^t * A 
6     6     1
0     3     3
0    0      1
zu b)
seien z1, z2  aus IR2 mit z1 = x1*b1 + y1*b2    und z2 = x2*b1 + y2*b2
dann ist wegen Linearität
Q(z1) =  x1*Q(b1) + y1*Q(b2 ) und entsprechned für z2 ....
also das Skalarprodukt
Q(z1)*Q(z2) = ( x1*Q(b1) + y1*Q(b2 ))*( x2*Q(b1) +  y2*Q(b2))
= x1*x2*Q(b1)*Q(b1) +  x1*y2Q(b1)*Q(b2) + ......
da Q(b1) und Q(b2) eine Orthonormale Basis sind ist Q(b1)*Q(b1)=1 und Q(b1)*Q(b2)= 0   etc
also bleibt von der Gleichung nur x1*x2+y1*y2 =   z1*z2
Die Abbildung erhält das Skalarprodukt, ist also orthogonal.