Deine Idee ist richtig.
Im weiteren muss die Hessesche Normalform der Ebene bestimmt werden. Dazu berechnet man zunächst den Normalenvektor n mit Hilfe folgender Gleichungen:
( B - A ) n = 0
( C - A ) n = 0
Daraus ergibt sich das Gleichungssystem
( B1 - A1 ) n1+ ( B2 - A2 ) n2+ ( B3 - A3 ) n3 = 0
( C1 - A1 ) n1+ ( C2 - A2 ) n2+ ( CB3 - A3 ) n3 = 0
Indem man z.B. n1 = 1 setzt, ist dieses Gleichungssystem eindeutig lösbar und man erhält den Vektor n, der noch normiert werden muss:
n0 = n / | n |
Mit diesem Normaleneinheitsvektor kann man nun
d = a * n0
berechnen und damit die Hessesche Normalform
r * n0 - d = 0
der Ebene aufstellen.
Setzt man hier für r den Ortsvektor s des Punktes S, dessen Abstand x von der Ebene bestimmt werden soll, ein, so erhält man
x = s * n0 - d