Марковский случайный процесс. Система уравнений  Колмогорова. Процессы гибели и размножения

↑

⇐ ПредыдущаяСтр 5 из 21Следующая ⇒

Под случайным процессом понимается процесс изменения во времени состояния какой-либо системы под воздействием случайных событий. Процесс называется процессом с дискретными состояниями, если его возможные состояния S₀, S₁, S₂, … можно заранее перечислить, а переход системы из состояния в состояние происходит мгновенно. Процесс называется процессом с непрерывным временем, если моменты возможных переходов системы из состояния в состояние не фиксированы заранее, а случайны. В процессе с дискретным временем переход из одного состояния в другое происходит в заранее известные моменты времени.

Функционирование СМО представляет собой случайный процесс с дискретными состояниями и непрерывным временем. Система в случайные моменты времени переходит из одного состояния в другое, когда осуществляются такие события как приход новой заявки, освобождение канала, уход заявки из очереди и т. п. При этом меняется состояние системы, определяемое количеством заявок в системе и очереди, числом занятых каналов.

Случайный процесс называется марковским процессом (или процессом без последействия), если для каждого момента времени t вероятность любого состояния системы в будущем зависит только от ее состояния в настоящем и не зависит от того, как система пришла в это состояние. Марковский процесс с дискретными состояниями называется цепью Маркова.

Цепь Маркова удобно задавать графом переходов из состояния в состояние. При этом вершины графа соответствуют состояниям системы, а дуги возможным непосредственным переходам из состояния в состояние. Условная вероятность p_ij(t+τ) того, что система в момент времени t находится в состоянии S_i а в момент времени t+τ в состоянии S_j, называется вероятностью перехода. Свойство однородности для марковского процесса означает, что для любых S_i, S_j вероятности перехода зависят только от τ и не зависят от t. Всюду ниже будем считать марковский процесс однородным. В однородной цепи Маркова с дискретным временем переход из состояния S_i в состояние S_j характеризуется вероятностью p_ij. Ясно, что у каждого состояния сумма вероятностей всех переходов из него в другие состояния равна 1. В однородной цепи Маркова с непрерывным временем каждый переход характеризуется плотностью вероятности перехода λ_ij , которую называют интенсивность перехода. По определению:

Из определения плотности вероятности перехода вытекает, что для малых ∆t .

Пусть число состояний системы конечно и равно n+1, а p_i(t) – вероятность нахождения системы в состоянии S_i , 0 ≤ i ≤ n, в момент времени t. Совокупность вероятностей p_i(t), i=0,1,…,n, называют спектром вероятностей для момента времени t. Для его поиска необходимо решить систему уравнений Колмогорова

с известными начальными условиями для t=0, например p_i (0)=1, p_j (0)=0, i≠j . Здесь O^-(i) – состояния системы из которых возможен непосредственный переход в состояние i , O⁺(i) – состояния в которые возможен непосредственный переход из состояния i.

По истечении определённого времени в системе устанавливается предельный стационарный режим, в котором система случайным образом меняет свои состояния, но их вероятности уже не зависят от времени. Если существуют пределы не зависящие от начальных условий, то их называют финальными вероятностями состояний. Для их определения достаточно положить в системе Колмогорова правые части равными нулю. Получим

(1)

Финальную вероятность p_i можно интерпретировать как среднее относительное время пребывания системы в состоянии S_i.

Важный частным случаем цепи Маркова с непрерывным временем являются так называемые процессы гибели и размножения. В этих процессах из любого (кроме первого и при конечном числе состояний последнего) состояния S_i возможен переход только в соседние состояния S_i+1 и S_i-1. Процессы гибели и размножения описываются графом состояний, изображённым на рисунке 6.

Рис. 6.

Интенсивности λ_i интерпретируются как интенсивности размножения, а μ_j – как интенсивности гибели. Используя обобщение системы уравнений (1) для случая счётного множества состояний, можно получить следующие формулы для финальных вероятностей:

          (2)

Введём обозначение . Финальные вероятности существуют, если сходится ряд .

Пример.На предприятии имеются две линии производства продукции. Каждая линия в случайный момент времени может выйти из строя, после чего начинается её ремонт, продолжающийся заранее неизвестное случайное время. Выходы линий из строя предполагаются независимыми друг от друга, а вероятностями одновременного выхода из строя двух линий и одновременного окончания ремонтов двух линий можно пренебречь. Построить граф состояний случайного процесса – функционирования предприятия.

Граф переходов системы приведен на рисунке 7. Возможные состояния системы: S₀ − обе линии исправны; S₁ − первая линия ремонтируется, вторая исправна; S₂ − вторая линия ремонтируется, первая исправна; S₃ − обе линии ремонтируются.

Пусть заданы интенсивности переходов: λ₀₁=1, λ₀₂=2, λ₁₃=1, λ₂₃=2, λ₁₀=1, λ₂₀=3, λ₃₁ =2, λ₃₂ =1. Найдём средние относительные времена пребывания системы в каждом из состояний.

Рис. 7.

Система уравнений Колмогорова примет вид:

Получим: p₀=16/59, p₁=21/59, p₂=9/59, p₃=13/59 . То есть в предельном стационарном режиме обе линии будут функционировать в среднем около 27% времени, 36% времени будет работать только вторая линия,
15% − только первая и 22% времени предприятие будет простаивать.

Можно оценить загрузку ремонтных бригад. Первая линия ремонтируется 58% времени, вторая – 37% времени.

Если известна прибыль предприятия, получаемая за единицу времени работы каждой линии, например 10 ден. ед., то можно посчитать ожидаемый доход в единицу времени. Он будет равен

W =20p₀+10(p₁+p₂) =20·0,27+10·0,51=10,5.

В данном примере работа предприятия из-за большой доли времени простоя не эффективна. Поэтому необходимо предпринимать мероприятия по оптимизации функционирования производственных линий.

Познавательные статьи:



Психологические особенности спортивного соревнования

Приготовление дезинфицирующих растворов различной концентрации

Занятость населения и рынок труда

Социальный статус семьи и её типология