Zuvor wurde eine diskrete Nachrichtenquelle als Markov-Prozess vorgestellt. Nun lässt sich eine Grösse definieren, die in einem gewissen Sinn misst, wieviel Information durch einen solchen Vorgang erzeugt wird bzw. mit welcher Rate Information erzeugt wird. Dieser Mittelwert des Informationsgehaltes H kann man berechnen in dem man die Summe der Informationsgehalte multipliziert mit der Wahrscheinlichkeit ihres Auftretens bildet.

H = p₁*I₁ + p₂*I₂ + p₁*I₃ + ... + p_n*I_n    bit/Zeichen

H ist also der Mittelwert von I des Zeichenvorrats in bit/Zeichen. p_i die Wahrscheinlichkeit mit der das i-te Zeichen erscheint und I_i Informationsgehalt des i-ten Zeichens.

Die Grösse H kommt aus der Thermodynamik, sie wird dort als Entropie bezeichnet und in hier bit angegeben. Die Entropie ist ein Mass für die Ordnungszustand eines thermodynamischen Systemes. (Genau genommen für ein Mass für die Abweichung vom idealen Gleichgewichtszustand.) Wegen Analogien zur Thermodynamik wird auch der Informationsgehalt einer Nachricht als Entropie bezeichnet.

Beispiel: Sendet eine Nachrichtenquelle zwei Signale (0 und 1) aus, so tritt 0 mit der Wahrscheinlichkeit p und 1 mit der Wahrscheinlichkeit q = 1-p auf. H hängt also von p ab.

H(p) = - (p ld p + q lb q) = - p ld p + (1-p) ld (1-p)

H(p) wird auch als Shannon-Funktion bezeichnet.

Im Verlauf der Shannon-Funktion kann man erkennen, dass H(p) für p=1/2 ein Maximum erreicht, d.h. wenn die beiden Dualzeichen gleichhäufig auftreten. Allgemein gilt das H(p) maximal ist, wenn die Zeichen gleichverteilt sind (bei n-Zeichen ist p₁=p₂=p₃=...=p_n=1/n).

Beispiel: Der Informationsgehalt der Nachricht "W I N T E R S E M E S T E R"

Das Verhältnis zwischen der tatsächlichen und der maximalen Entropie wird relative Entropie genannt.

Wenn die relative Entropie einer bestimmten Nachrichtenquelle zum Beispiel 0,7 ist, dann heisst dies grob gesagt, dass die Quelle in der Wahl ihrer Zeichen um eine Nachricht zu bilden, etwa zu 70% so frei ist, wie es mit diesen bestimmten Zeichen überhaupt geht.