Опишемо детальніше такі процеси.

Нехай деяка система S може переходити зі стану в стан S1, S2, ..., Sn

у будь-який момент часу t. Позначимо Pi(t) - імовірність того, що в момент часу S буде в Si, i=1,n

Очевидно для будь-якого часу

Поставимо задачу (аналогічно дискретному випадку), для будь-якого моменту часу імовірності станів: P1(t), P2(t), ..., Pn(t).

Оскільки точно невідомі моменти переходу з Si у Sj, задамо не імовірності переходу Pij, а щільності імовірностей переходу λij .

Нехай система в момент часу знаходиться в Si, розглянемо елементарний проміжок λt, тоді щільністю імовірності переходу називається границя відношення імовірності переходу системи за λt з Si у Sj до довжини λt.

визначається для i¹j.

Þ при малих λt з точністю

Якщо всі l не залежать від t (тобто від того, у який момент починається λt), Марківський процес називається однорідним, якщо функція часу λijij(t) - неоднорідним.

Припустимо, нам відомі щільності імовірностей переходу λij для всіх пар Si, Sj (заданий розмічений граф станів ).

 

 

Тоді імовірності станів P1(t), P2(t), ..., Pn(t), являють собою функції часу, що задовольняють рівнянням Колмогорова.

Загальне правило:

ліва частина будь-якого рівняння являє собою добуток імовірності стану, а в правій частині стільки доданків, скільки стрілок зв'язано з цим станом. Якщо стрілка спрямована “з” стану, відповідно член має знак “-”, “у” стани - “+”. Кожен член дорівнює добутку щільності імовірності переходячи по даній стрілці на імовірність стану, з якої виходить стрільця.