x cm sei die Breite des Rahmens:
2 * [ (20+2x) * x + 30*x ] =  0,4 *  [ 2 * [ (20+2x) * x + 30*x ]  +  20*30 ]
Fläche des Rahmens , Fläche des Bildes
rechts [...]  auflösen:
2 * [ (20+2x) * x + 30*x ] =  0,8 * [ (20+2x) * x + 30*x ]   + 240 
1,2 *  [ (20+2x) * x + 30*x ]  - 240 = 0
Ausmultiplizieren und zusammenfassen:
12/5 ·x2  + 60·x - 240 = 0  | * 5/12
x2 + 25·x - 100 = 0
pq-Formel →   x ≈  3.51      [   x2 ≈  -28.51 < 0   entfällt ] 
> Wie groß muss das Passepartout gewählt werden . 
Er hat dann die Außenmaße  (20+2x) cm  und (30+2x) cm  
Gruß Wolfgang