Предположим теперь, что множество значений МП – множество Х конечно или счётно, но процесс меняет свои значения в произвольные моменты времени, T – непрерывное множество. Такие МП называются дискретными марковскими процессами (ДМП). Для них    для любых  – пространства состояний МП. Вероятности  – это вероятности перехода из состояния i в состояние j за промежуток времени (t, τ).

Свойства переходных вероятностей.

1.

2.

3.  – уравнение Чепмена – Колмогорова для ДМП. В частности, если процесс однороден, то:

  

или

4. – условие стохастической непрерывности ДМП. Условие означает, что с вероятностью 1 система или процесс, описывающий эволюцию системы во времени, не изменяет своего состояния за бесконечно малый промежуток времени τ > 0.

Теорема 1. Для однородного ДМП  p_ij(t) равномерно непрерывны по t.

Теорема 2. Для всех  i

Теорема 3. Если для некоторого значения  , то

Теорема 4. Для ДМП со счётным числом состояний существуют пределы:

при этом  .

Величины  имеют смысл плотности (интенсивности) вероятности перехода из состояния i в состояние j за промежуток времени h > 0:  Эти величины называются инфинитезимальными параметрами.

 

В общем случае, когда дискретный марковский процесс не является однородным,  это уравнение распадается на два, они получаются также на основании свойства Чепмена–Колмогорова.

Первое:

Здесь элементами матрицы  являются производные по τ элементы матрицы P(τ, t):

Второе:

 

 

Здесь   Это прямая система уравнений Колмогорова.

 

В случае конечного числа состояний однородного ДМП существуют пределы , не зависящие от i и определённые для всех j. Это финальные вероятности системы.

Уравнения для вычисления, получим, переходя в уравнении (6.7) к пределу при ; в этом случае  вектор    Получаем в результате или