Информационное количество Фишера

В дальнейшем будем предполагать, что неизвестный параметр 0 принадлежит открытому интервалу на прямой R. Множество X, для которых р (х | 0) ^ 0, не зависит от 0. Эти условия, например, не выполняются для равномерного распределения на интервале (0, 0), где 0 — неизвестный параметр, так как область, где р (х | 0) ^ 0, зависит от 0.

Пусть X — сл. в. с распределением р (х | 9). Количество информации о 9, содержащееся в случайной величине X, определяется по Фишеру как

rainPi.

поскольку М₀ —— = 0.

Рассмотрим некоторые свойства информационного количества.

Свойство 1. Пусть /,(0) и /₂(0) — количества информации о 0, содержащиеся в независимых величинах^ иХ₂ соответственно, а /(9) — количество информации, содержащееся в паре (Xj, Х₂), тогда I = 1_г + /₂.

Свойство 2. ПустьX, …, Х_п — независимые одинаково распределенные величины и I — количество информации о 0, содержащейся в каждой из них, тогда количество информации в (X],…, Х") равно kl.

Во многих случаях использование формулы (1.12), эквивалентной формуле (1.11), приводит к более простым выкладкам.

Пример 1.5.

Пусть X имеет распределение Бернулли, параметр которого 0 неизвестен (0 < 0 < 1). Определить количество информации /(0) о 0, содержащейся вХ.

Так какХ принимает два значения 0 и 1, то.

Так как MX = 0, то информация по Фишеру.

Пример 1.6.

Пусть X имеет нормальное распределение с неизвестным средним ц и известной дисперсией ст². Определить /(ц) сл. в. X.

51пр (х|ц) х-ц a²lnp (x|u) 1.

Следовательно,-=—и —-—_ = —₇, по;

5ц о² Эц² ст этому, зачитывая (1.12), получаем 1(ц) = —.

а.