Zu Deiner ersten Frage: die größte Abmessung in einem regelmäßigen Fünfeck ist eine der Diagonale. Ist die Seitenlänge a so misst die Diagonale d=a21(5+1). Hat das Quadrat die Seitenlänge d so wurde das Fünfeck hinein passen.
Umgekehrt gilt, wenn d=50m gegeben ist, berechnet sich a aus
a=d21(5−1)=50m⋅21(5−1)≈30,90m
Die Fläche F des Fünfecks ist a24125+105 mit bekanntem d wird daraus
F=d2⋅161(5−1)2⋅25+105≈1642,91m2
anbei eine Skizze zur Kontrolle:

Bem.: man könnte das Fünfeck natürlich auch noch etwas drehen! Ich schreibe später noch einen Kommentar dazu!
Um den Rest Deines Mathematikbeispiels zu lösen, benötigt man noch mehr Informationen darüber, wo sich die Punkte A', B' und C' befinden sollen. Liegen B' und C' auf der Symmetrieachse des Fünfecks? Soll C'A' parallel zu AE liegen? Falls beides bejaht wird und falls C' dann noch auf dem Umkreis des Fünfecks liegen soll, so ist die Aufgabe IMHO nicht lösbar.
Schaue Dir folgendes Bild an. Die schwarze Parallele hat einen Abstand von r zu AD. Auf ihr kann man den Inkreismittelpunkt I verschieben, aber es gelingt nie den Punkt A′ auf die blaue Gerade durch C′ zu schieben.

Wie sind die Informationen zu den Position der Punkte A', B' und C' ?
BTW: ist die Fläche AEDA' oder die Fläche von ADA'B' gesucht?
Gruß Werner