Du benutzt das Skalarprodukt: zwei Vektoren sind genau dann sekrecht zueinander, wenn ihr Skalarprodukt 0 ist.
Die Ebene, die du beschreiben sollst besteht aus allen Geraden durch A, die senkrecht zu AB sind. Um also zu enscheiden, ob ein Punkt P auf dieser Ebene liegt, musst du festellen, ob er auf einer Gerade durch A liegt (ja, das tut er: auf der Geraden AP!) und ob diese Gerade senkrecht zu AB ist. Das heißt:
P liegt in der Ebene, genau dann wenn
AP senkrecht zu AB ist.
Die sind senkrecht, genau wenn ihr Skalarprodukt 0 ist:
<AB, AP> = 0.
Schreib jetzt die Koordinaten vom Punkt P aus: P(x|y|z) und rechne daraus den Vektor AP aus. Rechne außerdem den Vektor AB aus. Dann setz das in die Gleichung
<AB, AP> = 0
ein und rechne das Skalarprodukt aus. Schon hast du deine Ebenengleichung.