Logisch grübeln: Information Codieren

[Henryk Plötz]

Moin,

sowas wie "In 90% aller Fälle sind es nicht mehr als 10 Eimer" wäre zum Beispiel toll und müsste den Erwartungswert der optimalen Codierung auf 1195.7... Bits senken wennichmichnichtwiederverrechnethabe

Denkfehler. Natürlich ist das korrekte Ergebnis 192.782... Bits:
[latex]e1 := \sum_{i=0}^{10}{1200 \choose i}[/latex], [latex]e2 := \sum_{i=11}^{600}{1200 \choose i}[/latex]
[latex]H = 0.9 \log_2 \frac{e1}{0.9} + 0.1 \log_2 \frac{e2}{0.1} = 192.782\ldots[/latex]

(Herleitung: Die Wahrscheinlichkeiten für das Auftreten sind [latex]p_i = \frac{0.9}{e1}[/latex] für [latex]1 \leq i \leq e1[/latex] (Wahrscheinlichkeit 90% dafür, dass eine Kombination mit 10 oder weniger Eimern auftritt, und davon gibt es [latex]e1[/latex] Stück) und [latex]p_i = \frac{0.1}{e2}[/latex] sonst.

Entropie = [latex]-\sum_{i=1}^{e1+e2} p_i \log_2 p_i[/latex] = [latex]-\sum_{i=1}^{e1} p_i \log_2 p_i -\sum_{i=1}^{e2} p_{e1+i} \log_2 p_{e1+i}[/latex] = [latex]-\sum_{i=1}^{e1} \frac{0.9}{e1} \log_2 \frac{0.9}{e1} -\sum_{i=1}^{e2} \frac{0.1}{e2} \log_2 \frac{0.1}{e2}[/latex], was sich zu obiger Formel vereinfacht.)