Der Informationsgehalt eines einzelnen Zeichen (aus einem grossem, aber festgelegtem Zeichenvorrat) wird mit Wahrscheinlichkeitsrechnung bestimmt.
Beispiel: Ein Skatspiel mit 32 Karten. Die Information "Kreuzbube" hat den Informationsgehalt "5", weil man genau mit 5 binären Entscheidungen diese Karte ermitteln kann. Warum?
| Frage | Antwort |
| rot oder schwarz? | Schwarz |
| Kreuz oder Pik? | Kreuz (!) |
| Zahl oder Bild? | Bild |
| Bube/ Dame oder König As? | Bube/ Dame |
| Bube oder Dame | Bube (!) |
Offenbar hat die Menge von n-stelligen "0/1 Folgen" immer den Informationsgehalte "n". Zudem ist die Wahrscheinlichkeiten für das Auftreten der Zeichen 0 und 1 in einer solchen Nachricht gleich. Darum besteht zwischen der
Wahrscheinlichkeit p(N) (=2-n) und dem Informationsgehalt von N, Iz(N) (=n),
der Zusammenhang 2 -Iz(N) = p(N)
darum gilt: Iz = -log p(N) (Logarithmus zur Basis 2)
Für Mathematiker/Innen wird erst jetzt langsam spannend.
Für alle Interessierten genügt es meist, den mathematischen Teil quer zu lesen.