Definition der Orthogonalen Gruppe an, verstehe aber nicht genau was damit gemeint ist.
O(n) im Bild ist erst mal ja nur eine Menge. Diese Menge besteht aus allen nxn-Matrizen, die bei der Multiplikation A^T * A die Einheitsmatrix (Diagonale enthält nur Einer) enthält.
Das sind alle Matrizen, deren Inverse gerade (zufälligerweise) die transponierte Matrix der gegebenen Matrix ist.
Diese Matrizen spielen gelegentlich eine Rolle:
https://de.wikipedia.org/wiki/Orthogonale_Matrix zählt viele Beispiele davon auf. Spiegelungen, Drehungen, ...
Nun braucht deine Gruppe noch eine Verknüpfung (die dürfte die Matrixmultiplikation sein, ist aber hier nicht explizit erwähnt)
Weiter unten bei Spektrum, Norm usw. kommt auch ein Skalarprodukt zur Sprache.
