in der dritten Zeile kürzt du alle Terme mit xa und xb, obwohl da noch der Vorfaktor 2 steht.
Hier meine Lösung:
(x-a)2+(x-b)2-(x-a)*(x-b)=x2+a2+b2
x2-2xa+a2+x2-2xb+b2-[x2-xb-xa+ab]=x2+a2+b2 die Terme auf der rechten Seite wegkürzen
-2xa+x2-2xb-x2+xb+xa-ab=0 auf der linken Seite Terme zusammenfassen
-xa-xb-ab=0 mit -1 multiplizieren
xa+xb+ab=0
(a+b)x+ab=0
(a+b)x=-ab
x=-ab/(a+b)