Wählen Sie die Kathete a als die Längen-Grundeinheit. Beziehen Sie die zweite Kathete b, die Hypotenuse c und die Höhe h des Prismas auf diese Grundeinheit.   Vielleicht ist das so gemeint:
  1. Kathete ist a    2. Kathete ist   b = x*a
Hypotenuse ist dann (Pythagoras)  c=  a*√(1+x^2)
           und die Höhe ist   h =  y*a .
Oberfläche:  O = 2*Dreieck + Mantel
                        =     a*b        +   h*(a+b+c)
                        =  x*a^2    +   y*a *( a+x*a + a*√(1+x^2)
                         =  x*a^2    +   a^2 * (y+x*y + y*√(1+x^2)   )
                         =  a^2 * (x + y+x*y + y*√(1+x^2)   )
Volumen  V = a*b/2 * h =  a*x*a/2 * y*a =  a^3 * x*y/2
Dann ist die Nebenbedingung   V =  a^3 * x*y/2
Die Zielfunktion ist die Oberfläche; denn die soll ja minimiert werden.
Also L(x,y,λ)   denn a und V sind ja Konstanten.
L(x,y,λ)  = a^2 * (x + y+x*y + y*√(1+x^2)   )  +  λ*(  V - a^3 * x*y/2 )
L'x =  a^2 * (1 + y+ y*x/√(1+x^2)   )  -  λ* a^3 *y/2
L'y =  a^2 * (1+x +√(1+x^2)   )  - λ* a^3 * x/2
L'λ = V - a^3 * x*y/2
Vielleicht kann man auch einfach noch a=1 annehmen ?