Байесовский подход. 
Особенности использования нелинейных и нейронных моделей для оценки и прогнозирования финансовых рисков

Совершенно иной подход к определению активации отдельных нейронов используется в байесовских сетях (сети доверия, belief network). В чем заключается суть байесовского подхода? Теорема Байеса говорит о том, что можно определить вероятность наступления какого-то случайного события при условии наступления другого взаимозависимого события. В виде формулы это выглядит следующим образом:

.

Стоит отметить, что интерпретируется как априорная вероятность события — как апостериорная. В текущем контексте — вероятность наступления интересующего нас события, в зависимости от состояния системы. В данном случае под состоянием системы подразумеваются значения весов синапсов (и других параметров, если таковые имеются). отражает вероятность активации нейронов видимого слоя, в зависимости от состояния нейронов скрытого слоя, при фиксированных параметрах сети. С одной стороны, нас не интересует обратная задача, так как мы имеем входные данные В и хотим получить выходные значения — А. С другой — нельзя забывать правила Хебба, а именно выводы из правил: в процессе обучения причинная связь между видимыми нейронами и скрытыми должна усиливаться. Таким образом, состояния нейронов видимого слоя, полученные на основе данных о нейронах в скрытом слое, должны быть идентичны входным значениям. Следовательно, концентрируясь на задаче максимизации апостериорной вероятности, нельзя забывать про условие:

.

Байесовская сеть доверия.

Развивая тему байесовской сети доверия, необходимо сказать про ее структуру. Изначально предполагалось, что входные данные независимы и имеют нормальное распределение. Это позволяло, в соответствии с правилами теории вероятностей, интерпретировать взаимное распределение двух и более случайных величин как произведение распределений плотности вероятности этих величин. Также была введена гипотеза об условной независимости, из которой следует, что любой выходной нейрон условно не зависит от любой родительской группы нейронов, не содержащей данного скрытого нейрона или его потомков. Использование двух данных предположений позволило в значительной степени упростить процедуру оценки условных вероятностей. Таким образом, формулы условной вероятности значения скрытых нейронов от одного видимого и значения скрытого нейрона от нескольких видимых можно представить:

.

Для построение сети любого размера необходимо рассмотреть всего два случая: сходящаяся связь и расходящаяся связь. Важно отметить, что сеть Байеса представляется как направленный граф без направленных циклов, поэтому визуально оценить структуру данной сети (в разрезе указанных случаев).

Расходящаяся связь говорит о том, что выходные нейроны являются условно независимыми. Соответственно, их условное распределение выглядит следующим образом:

.

Со сходящейся связью все несколько сложнее, так как формула условной вероятности скрытого нейрона записывается как:

и не раскладывается на:

.

если видимые нейроны не являются условно независимыми. Зависимость появляется после определения значения скрытого нейрона, так как оно начинает влиять на вероятность активации видимых нейронов. Интересным фактом является отсутствие условной независимости входных нейронов, даже если наблюдается не непосредственно сам скрытый нейрон, а его потомки (не зависимо от глубины графа).

Метод максимального правдоподобия

Еще одним простым, но эффективным методом обучения нейронной сети, который широко используется и в других моделях, является метод максимального правдоподобия. Суть метода заключается в максимизации функции правдоподобия. Как правило, в качестве данной функции используют логарифм. Однако, независимо от того, какая выбрана функция, дальнейший алгоритм сводится к методу градиентного спуска. Я считаю, что нет необходимо детально описывать сам метод, так как он является достаточно распространенным и его использование в нейронных сетях ничем не отличается от использования в других моделях анализа данных.