Aufgaben zur Markov-Kette

Question

Man betrachtet eine Markovkette mit  Zustandsraum $$S=\{1,2,3,\}$$ und deren Übergangsmatrix durch

$$ P=\left(\begin{array}{ccc}1 & 0 & 0 \\\epsilon & 1-2\epsilon & \epsilon \\0 & 0 & 1\end{array}\right) [/latex] gegeben ist, wobei [latex]\epsilon \in (0, \frac{1}{2})$$

Sind die folgenden Aussagen korrekt?

(1) Die Kette ist nicht irreduzibel, weil die Zustände 1,2 absorbierend ist

(2) $$P_{1j}(n) = P_{3j}(n) = 0 \quad \forall n\in\mathbb N, \forall j\in S $$

(3) Um  $$P_{22}(n) \quad \forall n \in \mathbb N $$ anzugeben, muss ich die Matrix Diagonalisieren, damit man $$P^n = Q D^n Q^{-1} $$ explizit bestimmen kann oder gibt es eine schnellere Variante?

Ich habe bereits versucht die Matrix zu diagonalisieren, kann aber die Nullstellen des Charakteristischen Polynoms nicht direkt angeben..

(4) Wie soll ich $$\lim_{n\to\infty}P_{21}(n)$$ und $$\lim_{n\to\infty} P_{31}(n)$$ bestimmen?

MfG

Answer 1

(1) Die Kette ist nicht irreduzibel, aber die Begründung ist falsch.

(2) P₁₁(1) = 1 ≠ 0

(3) P₂₂ (n) = (1-2ε)ⁿ . Den Beweis kann man mit vollständiger Induktion führen.

Wenn du unbedingt diagonalisieren möchtest: Nach Laplaceschem Entwicklungssatz (nach der ersten Zeile) ist das charakteristische Polynom

        χ_P(λ) = (1-λ)²·(1-2ε-λ).

Nullstellen befinden sich also bei λ = 1 und bei λ = 1-2ε.

(4) lim_n→∞ P₂₁(n) = 0, weil der Zustand 2 transient ist.

lim_n→∞ P₃₁(n) = 0, weil {1} und {3} abgeschlossene Zustandmengen sind.

Comments

Danke für deine Antwort.

Ich versuche es nochmal:
(1) $$ \exists k=1,2 \in S ,  \forall n \in \mathbb N , \forall j\in S \setminus \{1,2\} : P_{kj}(n)=0 \quad \Rightarrow \quad nicht \quad irreduzibel$$ 
(2) $$ P_{1j}(n) = 1, j=1 \quad  \lor \quad P_{1j}(n) = 0 , j \in S \setminus \{1\} $$      $$ P_{3j}(n) = 1, j=3 \quad  \lor \quad P_{3j}(n) = 0 , j \in S \setminus \{3\} $$ 

(3) $$ K(n) \quad :\Leftrightarrow \quad P_{22}(n) = (1-2\epsilon)^n $$
Behauptung: K(n) gilt für alle n 
- K(1) wahre Aussage
- $$  K(n) \quad \Rightarrow \quad K(n+1) $$
$$ (1-2\epsilon)^{n+1} = (1-2\epsilon)^n \cdot  (1-2\epsilon) = P_{22}(n) \cdot P_{22}(1) = P_{22}(n+1)     $$
Ist der Teil korrekt?
Wie du (4) bewiesen hast kann ich nicht nachvollziehen. Beziehst du dich auf irgendwelche Sätze?

---

> ∃ k = 1, 2 ∈ S ...

Ich weiß nicht wie du das meinst.

Die Kette ist nicht irreduzibel, weil {1} und {3} abgeschlossene Mengen sind. Sie sind abgeschlossene Mengen, weil 1 und 3 absorbierende Zustände sind.

> (2)

Ich verstehe dein Komentar nicht. Laut Aufgabenstellung soll u. a. geprüft werden, ob P_1j(n) = 0 für alle j∈S und alle n∈ℕ ist. In meiner Antwort habe ich ausgeführt, dass dem nicht wo ist, was man sieht wenn man j = 1 und n = 1 setzt.

> (3)

Der Teil ist zwar korrekt. Du solltest aber vielleicht noch darauf eingehen, warum genau P₂₂(n+1) = P₂₂(n)·P₂₂(1) ist. Laut Matrixmultiplikation ist P₂₂(n+1) ja das Skalarprodukt aus der zweiten Zeile von Pⁿ mit der zweiten Spalte von P. Es ist nicht ganz so offensichtlich (aber, wie gesagt, korrekt), dass sich dieses Skalarprodukt zu P₂₂(n)·P₂₂(1) reduzieren lässt.

> Wie du (4) bewiesen hast kann ich nicht nachvollziehen.

lim_n→∞ P₂₁(n) = 0 war ein Denkfehler.

Was in Zustand 2 ist, wird zu gleichen Teilen an Zustand 1 und Zustand 3 abgegeben. Mittels lim_n→∞P₂₂(n) = 0 (siehe (3)) folgt lim_n→∞ P₂₁(n) = 0,5.

lim_n→∞ P₃₁(n) = 0 kannst du zeigen, indem du zeigst, dass P₃₁(n) = 0 für alle n∈ℕ ist. Letzteres kannst du wieder mit vollständiger Induktion zeigen.