Entropie der Bernoulli-Verteilung

Question

folgende Frage:

Wir betrachten die Entropie von Bern(p) (Bernoulli-Verteilung) als Funktion von p. Berechnen Sie explizit die Werte für p, fur die die Entropie maximal bzw. minimal wird und diskutieren Sie diese im Hinblick auf Ihre Intuition betreffend den Informationsgehalt der Wahrscheinlichkeitsverteilung.

Hier bin ich überfragt. Wie gehe ich da vor?

Answer 1

guck dir mal die Definition von der Entropie für Wahrscheinlichkeitsverteilungen an da sollte bei dir im Skript sowas stehen wie H(P)= sum p_i log_2(1/p_i)  für eine Bernoulli Verteilung hast du {p, 1-p}. für {p_1, ... , p_i}. Damit kannst du dann allgemein Minima und Maxima im Bezug auf p bestimmen. Da die Entropie eine Beschreibung der "Unsicherheit" ist, wird die Entropie bei p=0.5 ein Maximum und bei 0 und 1 ein Minimum aufweisen.

PS: Ich hab das jetzt etwas schnell und ohne Tex so niedergeschrieben, da ich gerade nicht soviel Zeit habe, aber ich schätze du musst da einen gewissen Zettel heute um 12:15 einwerfen ;-) daher die kurze grobe Antwort wie ich die Aufgabe verstehe.

Comments

Hehehe, danke Socah,

Tjaaa, ich hab das Blatt jetzt so abgegeben (ohne die Aufgabe).
Der Hinweis von dir ist schon sehr hilfreich. Ich schau mir das nachher noch mal an, dann raff ich das bestimmt auch noch.