(a) O.V.d.A. können wir uns auf den offenen Einheitsball B(0,1)⊂Rn beschränken. Sei nun a∈∂B(0,1)
und U=B(a,1/2). Dann ist
h : U→R,h(x)=1−∥x∥2
eine Funktion mit
B(0,1)∩U={x∈U∣h(x)<0}
und ∇f(x)=0 wie gefordert.
(b) Sei a∈∂D∩U beliebig, es gilt also h(a)⩾0. Dann existiert eine Folge xn→a mit xn∈D∩U und somit folgt aufgrund der Stetigkeit von h
n→∞limh(xn)=h(a)⩾0⟹h(a)=0
da h(xn)<0 für alle xn.
Für die andere Inklusion sei x∈U mit h(x)=0 und sei B(x,ε) ein beliebig kleiner Ball um x (der ganz in U enthalten ist). Würde nun gelten, dass
∀y∈B(x,ε) : h(y)⩾0
so hätte h in x ein lokales Extremum woraus ∇f(x)=0 folgen würde, ein Widerspruch. Insbesondere existieren also y1,y2∈B(x,ε)
mit h(y1)<0 also y1∈D und h(y2)>0 also y2∈U∖(D∪{x}). Damit folgt x∈∂D.