In den Spalten der Matrix stehen die Bilder der Basisvektoren
bezüglich dieser Basisvektoren.
Für die Standardbasisvektoren bedeutet das:
Für die erste Spalte brauchst du also das Bild von
1
0
0
Da stellst du den mit den gegebenen Vektoren dar
1               1                3                3
0    =    x*  3    +   y*   2     + z *    1
0               0                1                1
gibt x=1   y= -3     z=3
und sein Bild ist also
    1                2                -3                3          20
F(0)    =    1*  6    +   -3*   -2     + 3 *    1 =      15 
   0                 0                 -1                1           6
Und das ist dann die erste Spalte der gesuchten
Matrix. Die anderen entsprechend.
Wenn du deinen Ansatz benutzen willst, musst du bei M
die Bilder der gegebenen Vektoren durch diese ausdrücken, also
            2       0         0
M  =     0        -1       0     
            0        0         1
und   B*M*B^-1 rechnen.
Mein Ergebnis :   A=
20  -6   -51
15  -3   -41
6    -2   -15
Zur Probe etwa
      1             2
A *  3    =      6
      0             0
passt also. Bei den anderen beiden
passt es auch  :-)