Das hängt davon ab, ob das X in deiner Gleichung ein Skalar (Zahl) oder aber eine Matrix ist. Um die Gleichung aufzulösen kannst du ausnutzen, dass für die Matrizenmultiplikation das Assoziativgesetz und das Distributivgesetz gelten.
Ist X ein Skalar dann hat man:
B * X * A - B2=2B ~> B * X * A=2B+B2 ~> X(A * B)=2B + B2 ~> X=(2B + B2)/ (A * B)
Ist X eine Matrix erhält man:
B * X =(2B + B2) A-1 ~> X=B-1(2B + B2) A-1
(Mit A-1 bzw. B-1 sind hier die inverse Matrizen von A und B bezeichnet. Beim auflösen habe ich erst von rechts mit A-1 und dann von links mit B-1 multipliziert.)