Zeigen, dass die Markovkette irreduzibel, aber nicht aperiodisch ist

Question

Sei \( X_{0}, X_{1}, \ldots \) eine MarkovKette(MK) mit \( M=\{1,2,3,4\}, p=\frac{1}{5}\left(\begin{array}{llll}0 & 0 & 3 & 2 \\ 0 & 0 & 1 & 4 \\ 3 & 2 & 0 & 0 \\ 4 & 1 & 0 & 0\end{array}\right) \)

(a) Zeigen Sie, dass die MarkovKette irreduzibel, aber nicht aperiodisch ist.

(b) Bestimmen Sie ohne weitere Rechnung \( P^{1}\left(X_{99}=1\right) \).

(c) Wir betrachten nun die MK mit Übergangsmatrix \( p^{2} \). Zeigen Sie, dass die auf \( \{1,2\} \) eingeschränkte MK die Voraussetzungen des Ergodensatzes erfüllt, und bestimmen Sie hiermit \( P^{1}\left(X_{100}=1\right) \) approximativ.

Answer 1

Zu a)

Zeichne dir am besten zu der gegebenen Übergangsmatrix den Übergangsgraphen. Dann solltest du dir nochmal angucken, wann eine Marko-Kette irreduzibel und aperiodisch ist.

Mit dem Wissen und dem Übergangsgraphen solltest du Aufgabenteil a) ganz einfach beantworten können.

Zu c)

Bestimme zuerst die Übergangsmatrix \(p^2 = p \cdot p\) und stelle dann die auf \(\{1,2\}\) eingeschränkte MK auf.

Welche Voraussetzungen müssen denn erfüllt werden, damit man den Ergodensatz für Markov-Ketten anwenden kann?

Diese musst du überprüfen und dann kannst du den Satz auch schon anwenden und die gesuchte Wahrscheinlichkeit gemäß des Ergodensatzes bestimmen.