Die Frage sollte wohl eher lauten, für welche Werte a und b die Gleichung keine Lösung in R hat.
Diese Frage lässt sich wie folgt klären. Für a=0 gilt:ax2+b=0⟺ax2=−b⇔x2=−ab In den reellen Zahlen ist das Wurzelziehen negativer Zahlen nicht definiert und daher ein Widerspruch.
Stelle dir also die Frage: Wann ist −ab negativ? Den Fall a=0 wirst du separat behandeln müssen, das sollte allerdings kein Problem darstellen, da dann b=0.