x3/2 + 8x1/2 = 9x      Die Substitution oben ist auch falsch! 
x3/2 + 8x1/2 = 9x2/2   | Substituiere x^{1/2} = u
u^3 + 8u = 9u^2
Nun kannst du normal nach u auflösen. Und später rücksubstituieren.
Denk dran, dass u nicht negativ sein kann (im Reellen).
u^3 - 9u^2 + 8u = 0 
u(u^2 - 9u + 8) = 0    | faktorisieren
 
u(u-8)(u-1) = 0 
u1 = 0, u2 = 8, u3 = 1. 
Rücksubst. 
x1 = 0^2 = 0 
x2 = 8^2 = 64 
x3 = 1^2 = 1. 
Kontrolle in gegebener Gleichung!