Bedingte Entropie berechnen

Question

Frage: Zur Kommunikation gibt es lange und kurze Signale.

Mit einer WS von 1/8 wird eine langes Signal zu einem kurzem Signal und mit einer WS von 1/4 eine kurzes Signal zu einer langem Signal. Hierbei treten diese Wahrscheinlichkeiten unabhängig voneinander
von Signal zu Signal auf. X ist die Zufallsvariable die angibt welche Nachricht gesendet wurde, Y ist die Zufallsvariable die angibt welche Nachricht empfangen wurde. Die Nachrichten werden gleichverteilt gesendet und haben die Länge 2


1. Bestimmen Sie H(X|Y = Kurzes Signal langes Signal ).
2. Bestimmen Sie H(Y). Überlegen Sie sich dafür zuerst, wie groß die Wahrscheinlichkeit ist, dass die empfangene
Nachricht an einer festen Position Kurzes Signal oder langes Signal enthält.
3. Bestimmen Sie H(Y|X).
4. Bestimmen Sie I(X,Y).
5. Bestimmen Sie H(X|Y).

Comments

Und was ist deine Frage dazu?

---

ich wüsste gerne wie genau ich 1. ,2. und 3. bestimme

bei 4. habe ich raus das I(X,Y) = 0 ist. und bei 5. das H(X|Y) = 0,678 ist. bin mir da aber nicht sicher

Answer 1

Zur Kommunikation gibt es lange und kurze Signale.

\(\textrm{---}\) und \(\circ\)

1. Bestimmen Sie H(X|Y = Kurzes Signal langes Signal ).

\(- (P(X=\circ\circ | Y = \circ\text{---})\cdot \log_2P(X=\circ\circ | Y = \circ\text{---}) + P(X=\circ\text{---} | Y = \circ\text{---})\cdot \log_2 P(X=\circ\text{---} | Y = \circ\text{---}) + P(X=\text{---}\circ | Y = \circ\text{---})\cdot \log_2 P(X=\text{---}\circ | Y = \circ\text{---}) +P(X=\text{---}\,\text{---} | Y = \circ\text{---})\cdot \log_2 P(X=\text{---}\,\text{---} | Y = \circ\text{---}))\)