Aloha :)
Der direkte Weg vom Punkt \(A\) zum Punkt \(C\) ist eine Gerade:
$$\vec r(t)=\vec a+t\cdot(\vec c-\vec a)=\begin{pmatrix}1\\0\\0\end{pmatrix}+t\begin{pmatrix}-1\\2\\0\end{pmatrix}=\begin{pmatrix}1-t\\2t\\0\end{pmatrix}\quad;\quad t\in[0;1]$$
Nun laufen wir diesen Weg \(\vec r\) im Kraftfeld \(\vec F\) entlang. In der Formel für \(F\) ist übrigens ein Fehler, es muss im Nenner nicht hoch \(\frac{1}{2}\), sondern hoch \(\frac{3}{2}\) heißen. Ich rechne im Folgenden mit der richtigen Formel. Entlang dieses Weges brauchen wir die Energie...
$$E=\int\limits_{\vec a}^{\vec b}\vec F(\vec r)\,d\vec r=\int\limits_0^1\vec F(\vec r(t))\,\frac{d\vec r}{dt}\,dt$$$$\phantom{E}=\int\limits_0^1\frac{-GmM}{\left(x^2(t)+y^2(t)+z^2(t)\right)^{3/2}}\begin{pmatrix}x(t)\\y(t)\\z(t)\end{pmatrix}\frac{d}{dt}\begin{pmatrix}1-t\\2t\\0\end{pmatrix}\,dt$$$$\phantom{E}=-GmM\int\limits_0^1\frac{1}{\left(\,(1-t)^2+(2t)^2\,\right)^{3/2}}\begin{pmatrix}1-t\\2t\\0\end{pmatrix}\begin{pmatrix}-1\\2\\0\end{pmatrix}dt$$$$\phantom{E}=-GmM\int\limits_0^1\frac{1}{\left(\,1-2t+t^2+4t^2\,\right)^{3/2}}(-1+t+4t)dt$$$$\phantom{E}=-GmM\int\limits_0^1\frac{-1+5t}{\left(\,1-2t+5t^2\,\right)^{3/2}}dt=GmM\int\limits_0^1\left(-\frac{1}{2}\right)\frac{-2+10t}{\left(\,1-2t+5t^2\,\right)^{3/2}}dt$$Da im Zähler die innere Ableitung der Wurzel steht, brauchen wir hier nicht mal groß zu substituieren, sondern können das Integral direkt angeben:$$\phantom{E}=GmM\left[\frac{1}{\sqrt{1-2t+5t^2}}\right]_0^1=GmM\left[\frac{1}{\sqrt{4}}-\frac{1}{\sqrt{1}}\right]$$$$\phantom{E}=GmM\left(\frac{1}{2}-1\right)=-\frac{GmM}{2}$$