Марковские процессы с дискретными состояниями и дискретным временем перехода
Анализ марковских процессов.
Пусть, есть СМО с состояниями S0 , S1 , S2 , ... Sn .
S0 – в СМО нет заявок ,
S1 – в СМО находится одна заявка ,
S2 – в СМО находится 2 заявки ,
и т.д.
Во времени СМО переходит из одного состояния в другое.
Типы марковских процессов:
а) с дискретным временем перехода (моменты перехода заранее четко определены)
б) с непрерывным временем перехода (переход не определен, случаен).
Отметим, что марковские процессы обладают свойством безпоследействия.
Пусть, система находится в состоянии Si , где i = 1, 2, ..., n.
Для задания марковского процесса необходимо определить матрицу вероятностей перехода из одного состояния в другое.
Пример матрицы переходов:
S0 S1
S0 0,3 0,7
S1 0,5 0,5
Для заданной матрицы граф переходов имеет вид:
Т.к. на каждом следующем шаге система переходит в другое состояние, поэтому
= 1
Пусть задан вектор вероятностей в первый момент времени:
.
Какова вероятность нахождения системы в состоянии i после первого перехода?
, i=1,2 ... n (4)
В векторном виде (4):
На k-ом шаге получим уравнение:
При устремлении k к бесконечности получим вектор предельных вероятностей:
Вектор предельных вероятностей находится из уравнения:
