Количественные характеристики источника сообщений

Относительная энтропия

Идеальные источники сообщений, имеющие максимальную энтропию, оптимальны в том смысле, что в них на один символ (элемент, уровень квантования) приходится наибольшее количество информации.

В реальных сообщениях символы всегда коррелированны (после запятой не появляется точка, после гласной — мягкий знак), вследствие чего количество информации, приходящееся на один символ, будет меньше, чем в идеальных. Соотношение реальных и оптимальных сообщений выражается посредством коэффициента сжатия д,(5) (иное название — относительная энтропия):

где H_p(s) и H₀(s) — энтропия реального и идеального источников сообщений соответственно; п₀ и п_р — количество символов оптимального и реального сообщений.

Одно и то же количество информации /(s) может содержаться в сообщении, состоящим из п_р символов с энтропией H_p(s) или из п₀ символов с энтропией H₀(s):

а так как

Избыточность источника сообщений

Поскольку реальные источники информации имеют энтропию, меньшую оптимальной, то сообщения таких источников содержат избыточные символы. Коэффициент избыточности ф выражается так:

Коэффициент избыточности показывает, какая часть реального сообщения является излишней и могла бы не передаваться, если бы источник сообщений был организован оптимально.