"1) Wieso rechnet man x3-x2-2x, müsste das nicht +2x sein?"
f(x)-g(x) = x3 - (x2+2x) = x3-x2-2x
"2) Und wie kommt man von z.B. x3 auf x4 / 4? Hat das etwas mit der Stammfunktion zu tun?"
Ja : ∫ x^3*dx = 4x4+C
"3) Wie komme ich auf die Werte für a und b? Ich habe zwar ein Koordinatensystem gegeben, aber daraus kann man die nicht ablesen. Gibt es dafür noch einen anderen Weg "
Das Intervall muss angegeben sein. Hier kannst du a bzw. b nicht berechnen.