matrizen stochastische prozesse

Question

Kann mir jemand bei der nr.3 sagen ich wie ich vorgehen muss? Wie fange ich bei so einer aufgabenstellung an?