Дискретные марковские цепи

Рассмотрим случайный марковский процесс с дискретными состояниями и дискретным временем. Такой процесс описывает систему S с конечным числом состояний, причем переходы возможны только в фиксированные моменты времени t_b t₂, …, t_K Процесс функционирования представим в виде цепи S₀ (0) Sj (1) ^ Sj (2) ^ … ^ S_m СЮ-

Случайная последовательность является дискретной марковской цепью, если смена состояний происходит в дискретные моменты времени и соблюдается принцип отсутствия последействия (т.е. для каждого шага вероятность перехода из любого состояния Sj в любое состояние Sj (i, j= 1, 2, …, N) не зависит от того, как система пришла в состояние S,.

Каждому переходу системы из состояния S, в состояние Sj в момент времени t_k соответствует переходная вероятность (t_fc). Это условная вероятность р, у (t_fc) = P (S_;(t_fc) | S^t^)). Очевидно, для каждого номера шага к возможные переходы образуют полную группу событий, т. е. Следует обратить внимание, чт (

Дискретная марковская цепь называется однородной, если переходные вероятности не зависят от номера шага: р^- (t_fc) = Ру.

Полным описанием однородной марковской цепи могут служить квадратная матрица переходных вероятностей Р_п

и вектор вероятностей всех начальных состояний Р (0):

Переходные вероятности, соответствующие невозможным переходам, равны нулю, вероятности, расположенные на главной диагонали, соответствуют тому факту, что система не изменила своего состояния.

Для однородной марковской цепи найдем вектор вероятностей всех состояний для любого к-то шага. В соответствии с формулой полной вероятности вероятность i-го состояния на первом шаге равна:

или в матричной форме:

Аналогично, для второго шага:

Соответственно, для к-го шага:

Обозначим элемент матрицы Pfr как p_tj(k).

Если возможен переход из состояния S, в состояние S, за к шагов, то Pij (k) > 0. Если при этом возможен и обратный переход за произвольное число шагов, то состояния S_t и S, называются сообщающимися. Состояние S, называется возвратным, если вероятность того, что система, выйдя из этого состояния, вернется в него за конечное число шагов хотя бы один раз, равна единице, и невозвратным, если вероятность возврата за конечное число шагов меньше единицы.