Марковская цепь (МЦ) - это марковский  процесс, пространство состояний Х которого счетно или конечно, а множество Т имеет вид {t₁, t₂, t₃,…}.

Вектор  называют вектором вероятностей состояний системы в момент времени  или просто в момент времени k. При k=0 вектор   называют вектором вероятностей начальных состояний или начальным распределением случайной величины Х(0)≡Х₀. Вектор  означает, что процесс X(t) начинает развиваться из состояния  с вероятностью , это вектор вероятностей того или иного  возможного «старта»

Обозначим символом  вероятность случайной величине  попасть в состояние j при условии, что сл. величина  находится в состоянии i, т.е.   Вероятности  называют вероятностями перехода из i-го состояния в j-е за один шаг. Наличие аргумента k означает, что эти вероятности зависят не только от состояний i и j, но и от момента осуществления перехода k. Если, то цепь Маркова  называется однородной. Далее мы рассматриваем только однородные марковские цепи.

Обычно вероятности  объединяются в матрицу P: , которую называют марковской матрицей или матрицей переходных вероятностей или просто переходной матрицей за один шаг. В матрице n строк и столько же столбцов, равных числу состояний системы. Каждая строка матрицы с номером i представляет собой  распределение вероятностей  сл. величины   при условии, что

Эти условия означают, что на каждом шаге МЦ обязательно переходит в какое-нибудь состояние из числа допустимых или остается в прежнем состоянии. Марковское свойство здесь означает следующее: будущее при фиксированном настоящем не зависит от прошлого. Матрицы, удовлетворяющие условиям   называются стохастическими.

Состояние i называется несущественным, если существует (найдется)  такое состояние j, в которое система может перейти за конечное число шагов из состояния i, но вернуться в состояние i вновь не может ни за какое  число шагов, то есть  Все остальные состояния называют существенными.

Состояния i и j называются сообщающимися, если существуют такие числа m и k, что. Обозначают сообщающиеся состояния так: . Иначе говоря, состояния i и j называются сообщающимися, если состояние j достижимо из состояния i и наоборот. Свойство «сообщаемости» состояний есть свойство эквивалентности. Действительно, 1), согласно равенству ; 2) из условия  следует; 3) если  и, то . По определению сообщающихся состояний  существуют такие числа m и n, что . Согласно соотношению 

 

.

 имеем: , следовательно, .

Для некоторого состояния i обозначим множество чисел m таких, что p_ii^m > 0, символом  Наибольший общий делитель (НОД) этих чисел из множества  обозначают через  и называют периодом состояния i. Если для всех   то = 0 и состояние i  –  несущественное состояние.

Пример 4. В конечной марковской цепи с n состояниями и матрицей переходных вероятностей

  каждое состояние имеет период n.

 

Теорема 2.  Если, то

Теорема 2 определяет период как характеристику класса сообщающихся состояний. 

Если d=1, то класс называется апериодическим.

Пусть d – период некоторого класса S состояний. Выберем из них одно – i₀ и введём следующие подклассы класса S:

 

За один шаг система переходит в соседний класс, а из класса  – в класс C₀. По этой причине подклассы  называются циклическими подклассами , .

С учётом проведённой классификации все состояния МЦ можно представить в виде схемы:

 

Для произвольного фиксированного состояния введём вероятность  того, что, отправляясь из состояния i,  система впервые возвратится в это же состояние i через m переходов. Ясно, что , а  Значение  можно вычислить рекуррентно в соответствии с формулой:

 

Рассмотрим реализации процесса, для которых Х₀ = i, Х_m = i, а первое возвращение в состояние i происходит на k-м шаге. Обозначим это событие символом . События E_k, k = 0, 1, …, m,  являются несовместными, . Рассмотрим теперь те реализации, которые в течение оставшихся m – k шагов ведут себя так, что Обозначим через А событие, состоящее в том, что  то есть А – событие, состоящее в том, что система выйдя из состояния i вернется в него за m шагов, быть может,  и не впервые.  Тогда   

 по свойству марковости процесса. Тогда по формуле полной вероятности  получим выражение для вероятности события A:

вероятность

 

можно рассматривать как вероятность того, что,  стартуя из состояния i, система хотя бы один раз побывает в состоянии j.

Состояние i назовём возвратным, если, и невозвратным, если. Возвратность состояния i означает, что система, выйдя из состояния i, рано или поздно в него вернётся, но после возвращения в него эволюция системы как бы начинается заново.

Иначе: i – возвратное состояние, если существует какое-либо другое состояние, из которого с вероятностью 1 система возвращается в состояние i.

Или: если состояние системы i возвратно, то с вероятностью 1 система побывает в нем бесконечное число раз. Если же состояние невозвратно, то с вероятностью 1 система побывает в нем конечное число раз.

Теорема 3. Состояние i возвратно, если ряд  расходится.

Теорема 4. Если  и одно из состояний возвратно, то и другое возвратно.

Теорема 5.  Если  состояние i невозвратно, то.

Следствие. Несущественное состояние невозвратно.

Теорема 6 . Все состояние неприводимой апериодической системы возвратны.

(Финальные вер-ти)Если для цепи Маркова выполняется условие , причем предел не зависит от начального состояния i, то говорят, что цепь Маркова обладает эргодическим свойством, которое фактически означает, что вероятности состояний  по мере увеличения n практически перестают изменяться и система переходит в стационарный режим функционирования.  По этой причине распределение вероятностей  называют стационарным распределением. Саму цепь Маркова в этом случае называют эргодической. Принято еще называть стационарное распределение вероятностей  финальным распределением, хотя последнее понятие значительно шире, как мы увидим в дальнейшем.

Теорема 9. Пусть цепь Маркова с переходной матрицей Р обладает свойствами:

1) цепь неприводима и апериодична;

2) найдется состояние , такое,  что время возвращения в него, то есть  дискретная сл. величина  с распределением  имеет конечное среднее.

Выполнение условий 1 и 2 необходимо и достаточно для того, чтобы для всех i, j существовали пределы, не зависящие от  i:  при ограничениях

Теорема 10. Пусть для марковской цепи с не более чем  счётным числом  состояний и матрицей Р для всех состояний j существуют финальные вероятности. Тогда:

 и  или все =0.