Die erweiterte Koeffizienten Matrix lautet ja
$$ \left(\begin{array}{ccc|c} 1 & 2 & 4 a+12 & 4 b+11 \\ 1 & 4 & 6 a+18 & 6 b+18 \\ a & 2 a & 4 a^{2}+13 a+3 & 11 a+4 a b+b+1\end{array}\right) $$
Für \( a = -3 \) und \( b = -1 \) ergibt sich folgende Matrix
$$ \left(\begin{array}{ccc|c} 1 & 2 & 0 & 7 \\ 1 & 4 & 0 & 12 \\ -3 & -6 & 0 & -21 \end{array}\right) $$
Das auf Stufenform gebracht ergibt
$$ \left(\begin{array}{ccc|c} 1 & 0 & 0 & 2 \\ 0 & 1 & 0 & \frac{5}{2} \\ 0 & 0 & 0 & 0 \end{array}\right) $$
Damit ergeben sich unendlich viele Lösungen für \( a = -3 \) und \( b = -1 \)
Für \( a = -3 \) und \( b \ne -1 \) ergibt sich die Stufenform zu
$$ \left(\begin{array}{ccc|c} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 \end{array}\right) $$
Somit gibt es hier keine Lösung.
Für alle anderen Fälle gibt es eine eindeutige Lösung.