Aloha :)
Die Teilaufgaben haben die falsche Reihenfolge. Es ist einfacher, den Teil (b) zuerst zu berarbeiten und mit dem Ergebnis dann Teil (a) anzugehen. Daher fange ich hier mit Teil (b) an.
(b) Wir berechnen zunächst die Übergangsmatrix von \(B\) nach \(A\):$${_A}\mathbf{id}_B={_A}\mathbf{id}_E\cdot{_E}\mathbf{id}_B=\left({_E}\mathbf{id}_A\right)^{-1}\cdot{_E}\mathbf{id}_B=\begin{pmatrix}0 & 4 & 5\\3 & 2 & 1\\1 & 0 & 3\end{pmatrix}^{-1}\left(\begin{array}{r}-7 & -3 & -7\\4 & 6 & -2\\-8 & 6 & 4\end{array}\right)$$$${_A}\mathbf{id}_B=\left(\begin{array}{r}1 & 3 & 1\\2 & -2 & -3\\-3 & 1 & 1\end{array}\right)$$
Damit gilt für die gesuchte Abbildungsmatrix:
$$\mathbf M^A_B(f\circ g)={_B}\mathbf M_A(f\circ g)={_B}\mathbf M_B(f)\cdot{_B}\mathbf M_A(g)={_B}\mathbf M_A(f)\cdot{_A}\mathbf{id}_B\cdot{_B}\mathbf M_A(g)$$$$\phantom{\mathbf M^A_B(f\circ g)}=\left(\begin{array}{r}3 & 2 & 1\\4 & 5 & 4 \\ -2 & 1 & 3\end{array}\right)\left(\begin{array}{r}1 & 3 & 1\\2 & -2 & -3\\-3 & 1 & 1\end{array}\right)\left(\begin{array}{r}-5 & 3 & 0\\2 & -4 & 2\\1 & 4 & 3\end{array}\right)$$$$\mathbf M^A_B(f\circ g)=\left(\begin{array}{r}-10 & -20 & 6\\-5 & -46 & -9\\33 & -15 & -16\end{array}\right)$$
(a) Damit gilt nun:
$$(f\circ g)(\vec v)={_E}\mathbf{id}_B\cdot{_B}\mathbf M_A(f\circ g)\cdot{_A}\mathbf{id}_E\cdot\vec v={_E}\mathbf{id}_B\cdot{_B}\mathbf M_A(f\circ g)\cdot({_E}\mathbf{id}_A)^{-1}\cdot\vec v$$$$(f\circ g)(\vec v)=\left(\begin{array}{r}-7 & -3 & -7\\4 & 6 & -2\\-8 & 6 & 4\end{array}\right) \left(\begin{array}{r}-10 & -20 & 6\\-5 & -46 & -9\\33 & -15 & -16\end{array}\right) \begin{pmatrix}0 & 4 & 5\\3 & 2 & 1\\1 & 0 & 3\end{pmatrix}^{-1} \begin{pmatrix}4\\-1\\2\end{pmatrix}$$$$\phantom{(f\circ g)(\vec v)}=\frac{1}{14}\begin{pmatrix}1949\\1438\\-3272\end{pmatrix}$$Kontrollier mal bitte den Vektor \(\vec v\), den du angegeben hast. Da kommt was ziemlich Krummes bei raus.
