Способы измерения и оценки информации

Ранее уже говорилось, что информация существует в форме какого-либо материального носителя и кодируется в виде сигналов. Очевидно, что передача информации возможно только посредством изменений некоторых параметров носителя — стационарный процесс информацию не переносит (пример: если лампа просто горит, то передачи информации нет, а если мигает — уже азбука Морзе).

Определение: Изменение характеристики носителя, которое используется для представления информации, называется сигналом, а значение этой характеристики, отнесенное к некоторой шкале измерений, называется параметром сигнала.

Как правило, измерению подвергается информация, представленная дискретным сигналом. При этом различают следующие подходы:

• 1. Структурный подход. Измеряет количество информации простым подсчетом информационных элементов, составляющих сообщение. Применяется для оценки возможностей запоминающих устройств, объемов передаваемых сообщений, инструментов кодирования без учета статистических характеристик их эксплуатации. В рамках структурного подхода выделяют две основных меры информации:
  • · Геометрическая (объемный метод). Определяет максимально возможное количество информации в заданных объемах, используется для определения информационной емкости памяти компьютера. Например: если 1 символ занимает 1 байт, то объем массива информации «авдж» равен 4 байтам. Если для хранения 1 разряда числа требуется 1 бит, то для хранения числа типа int требуется 2 или 4 байта.
  • · Аддитивная (мера Хартли). Эта мера предложена в 1928 году американским ученым Хартли, поэтому имеет второе название — мера Хартли. Мера Хартли связывает факт получения информации с уменьшением неопределенности в знаниях о некотором объекте. Пусть в каждый момент времени источник может случайным образом принять одно из конечного множества возможных состояний.

Каждому состоянию источника соответствует некоторое значение сигнала, которое передается получателю в виде информационного сообщения. Изначально получатель сообщения имеет определенные представления о возможных состояниях источника, но эти представления недостоверны. Каждое новое сообщение ведет к уменьшению степени неопределенности, причем количество информации в сообщении определяется тем, насколько уменьшается мера неопределенности после его получения. Например, тривиальное сообщение, т. е. сообщение о том, что получателю и без того известно, не изменяет ожидаемых вероятностей и не несет для него никакой информации.

Наоборот, если сообщение полностью снимает всю неопределенность в представлениях получателя, то количество информации в нем равно количественной мере исходной неопределенности. Хартли впервые ввел специальное обозначение для количества информации — I и предложил следующую логарифмическую зависимость между количеством информации и числом независимых состояний источника N:

. (1).

В формуле (1) k — это длина сообщения, а основание логарифма a определяет масштаб неопределенности. При k = 1 получаем меру неопределенности, которая устраняется единичным сообщением от источника. Если, а = N = 2, то получаем:

(2).

— количество информации равное 1 двоичной единице (1 биту). Получение информации количеством в 1 бит позволяет устранить неопределенность в выборе одного из двух равновероятных событий. Вместо двоичных единиц можно рассматривать и другие единицы: десятичные, шестнадцатеричные и т. п.

Пример. Пусть имеется 3 монеты, одна из которых фальшивая и легче двух остальных. Одно взвешивание любой пары монет на равноплечих весах позволяет полностью устранить неопределенность и найти фальшивую монету. Таким образом, выполнение взвешивания позволяет получить информацию равную 1 троичной единице.

Если имеется два независимых источника с числом равновероятных состояний N и M, которые рассматриваются как один источник, реализующий пары состояний, то для количества информации Хартли выполняется условие аддитивности:

.

2. Статистический подход (мера Шеннона). Учитывает вероятность появления сообщений: более информативным считается то сообщение, которое менее вероятно, т. е. менее всего ожидалось. Применяется при оценке ценности (значимости) получаемой информации. Статистический подход впервые был использован К. Шенноном, который в 1948 году ввел понятие энтропии дискретного источника информации. Недостатком меры Хартли является тот факт, что никак не учитывается априорная информация о вероятностях состояния источника, которая может быть известна получателю. Шеннон предложил рассматривать источник в виде ансамбля всех его состояний:

(3).

В формуле (3) — это вероятность появления у источника состояния. Тогда энтропией источника или энтропией конечного ансамбля называется величина.

. (4).

Предложенная мера неопределенности была названа Шенноном энтропией не случайно. Формальная структура выражения (4) совпадает с энтропией физической системы, определенной ранее Больцманом, причем в обоих случаях величина H характеризует степень разнообразия состояний системы.

Рассмотрим взаимосвязь меры Шеннона и меры Хартли. Если в источнике может быть реализовано N равновероятных состояний, то вероятность каждого из них равна. Информация единичного сообщения по Хартли в этом случае имеет вид:

.

Если считать вероятности событий различными, то можно по аналогии характеризовать неопределенность, приходящуюся на конкретное состояние источника (неопределенность, устраняемую единичным сообщением), величиной. Эта величина является дискретной случайной величиной с математическим ожиданием.

. (5).

Очевидно, что выражения (4) и (5) совпадают, поэтому можно сказать, что мера Шеннона определяет среднее количество информации, приходящееся на единичное сообщение источника (3), то есть является обобщением меры Хартли на случай ансамбля с неравновероятными состояниями.

С использованием меры Шеннона можно осуществлять более эффективное кодирование сообщений: для событий с большими вероятностями можно использовать более короткие коды, чем для событий с меньшими.

Количество информации Шеннона дает минимально необходимое значение длины кода для заданного источника. Вместо значений вероятностей на практике, как правило, используют их статистические оценки.

3. Семантический подход. Учитывает целесообразность и полезность информации. Применяется при оценке эффективности получаемой информации и ее соответствия реальности. В рамках этого подхода исследуются такие качества информации, как целесообразность, полезность (учитывается прагматика информации) и истинность (учитывается семантика информации). Некоторые способы оценивания будут рассмотрены далее.