Рівняння Колмогорова для ймовірностей станів. Фінальні ймовірності станів

Розглянемо математичний опис марковского процесу з дискретними станами і безперервним часом * на прикладі випадкового процесу з прикладу 1, граф якого зображений на рис. 1. Будемо вважати, що всі переходи системи зі стану впроісходят під впливом найпростіших потоків подій з інтенсивностями; так, перехід системи з состояніявбудет відбуватися під впливом потоку відмов першого вузла, а зворотний перехід з состояніяв- під впливом потоку "закінчень ремонтів" першого вузла і т.п.

Граф станів системи з проставленими у стрілок интенсивностями будемо називати розмічених (Див. Рис. 1). Вже згадана система має чотири можливих стану :.

Ймовірністю i-го стану називається ймовірність того, що в моментсістема буде перебувати в стані. Очевидно, що для будь-якого моментасумма ймовірностей всіх станів дорівнює одиниці:

Розглянемо систему в момент і, задавши малий проміжок, знайдемо вероятностьтого, що система в моментбудет перебувати в стані. Це досягається різними способами.

1. Система в момент з вероятностьюнаходілась в стані, а за времяні вийшла з нього.

Вивести систему з цього стану (див. Граф на рис. 1) можна сумарним найпростішим потоком з інтенсивністю, тобто відповідно до формули (7), з імовірністю, приблизно рівної . А ймовірність того, що система не вийде зі стану, дорівнює. Імовірність того, що система буде перебувати в состоянііпо першим способом (тобто того, що перебувала в состояниии не вийде з нього за час), дорівнює по теоремі множення ймовірностей:

2. Система в момент з вірогідністю (або) перебувала в состояніііліі за времяперешла в стан.

Потоком інтенсивністю (або-с- рис. 1) система перейде в состояніес ймовірністю, приблизно рівній (або). Імовірність того, що система буде перебувати в состоянііпо цього способу, дорівнює (або).

Застосовуючи теорему додавання ймовірностей, одержимо

Переходячи до межі при (наближені рівності, пов'язані із застосуванням формули (7), перейдуть в точні), отримаємо в лівій частині рівняння похідну (позначимо її для простоти):

Отримали диференціальне рівняння першого порядку, тобто рівняння, що містить як саму невідому функцію, так і її похідну першого порядку.

Міркуючи аналогічно для інших станів системи, можна отримати систему диференціальних рівнянь Колмогорова для ймовірностей станів:

сформулюємо правило складання рівнянь Колмогорова. У лівій частині кожного з них стоїть похідна ймовірності i-го стану. У правій частині - сума творів ймовірностей всіх станів (з яких йдуть стрілки в даний стан) на інтенсивності відповідних потоків подій, мінус сумарна інтенсивність всіх потоків, які виводять систему з даного стану, помножена на ймовірність даного (i-го стану).

В системі (9) незалежних рівнянь на одиницю менше загального числа рівнянь. Тому для вирішення системи необхідно додати рівняння (8).

особливість рішення диференціальних рівняньвзагалі полягає в тому, що потрібно задати так звані початкові умови, тобто в даному випадку ймовірності станів системи в початковий момент. Так, наприклад, систему рівнянь (9) природно вирішувати за умови, що в початковий момент обидва вузла справні і система перебувала в стані, тобто при початкових умовах.

Рівняння Колмогорова дають можливість знайти все ймовірності станів як функції часу . Особливий інтерес представляють ймовірності системи в граничному стаціонарному режимі , Тобто при, які називаються граничними (або фінальними) можливостями станів.

У теорії випадкових процесів доводиться, що якщо число станів системи звичайно і з кожного з них можна (за кінцеве число кроків) перейти в будь-яке інше стан, то граничні ймовірності існують.

Гранична ймовірність стану має чіткий сенс: вона показує середнє відносне час перебування системи в цьому стані . Наприклад, якщо гранична ймовірність стану, тобто, то це означає, що в середньому половину часу система знаходиться в стані.

Так як гранична вірогідність постійні, то, замінюючи в рівняннях Колмогорова їх похідні нульовими значеннями, отримаємо систему лінійних алгебраїчних рівнянь, що описують стаціонарний режим. Для системи з графом станів, зображеному на рис. 1), така система рівнянь має вигляд:

Систему (10) можна скласти безпосередньо по розміченому графу станів, якщо керуватися правилом, згідно з яким зліва в рівняннях варто гранична ймовірність даного стану, помножена на сумарну інтенсивність всіх потоків, що ведуть з даного стану, а праворуч - сума творів інтенсивностей всіх потоків, що входять в i-е стан, На ймовірності тих станів, з яких ці потоки виходять.

Нехай є фізична система Sз дискретними станами:

S 1, S 2, ..., S n,

в якій протікає марковский випадковий процес з безперервним часом (безперервний ланцюг Маркова). Граф станів показаний на рис. 23.

Припустимо, що всі інтенсивності потоків подій, що переводять систему зі стану в стан, постійні:

іншими словами, все потоки подій - найпростіші (стаціонарні. пуассоновским) потоки.

Записавши систему диференціальних рівнянь Колмогорова для ймовірностей станів і проинтегрировав ці рівняння при заданих початкових умовах, ми отримаємо ймовірності станів, як функції часу, т. Е. N функцій:

p 1 (t), p 2 (t), ..., p n (t),

при будь-якому t дають в сумі одиницю:.

Поставимо тепер наступне питання: що буде відбуватися з системою Sпри t® ¥? Чи будуть функції p 1 (t), p 2 (t), ..., p n (t) прагнути до якихось меж? Ці межі, якщо вони існують, називаються граничними (або «фінальними») можливостями станів.

Можна довести наступне загальне положення. Якщо число станів системи S звичайно і з кожного стану можна перейти (за те чи інше число кроків) в кожне інше, то граничні ймовірності станів існують і не залежать від початкового стану системи .

На рис. 24 показаний граф станів, що задовольняє поставленому умові: з будь-якого стану система може рано чи пізно перейти в будь-яке інше. Навпаки, для системи, граф станів якої показаний на рис. 25, умова не виконана. Очевидно, що якщо початковий стан такої системи S 1 то, наприклад, стан S 6 при t® ¥ може бути досягнуто, а якщо початковий стан S 2 - не може.

Припустимо, що поставлену умову виконано, і граничні ймовірності існують:

(I = 1, 2, ..., n). (6.1)

Граничні ймовірності ми будемо позначати тими ж буквами р 1, р 2, ... р n, що і самі ймовірності станів, розуміючи підніми на цей раз не змінні величини (функції часу), а постійні числа.

Очевидно, гранична вірогідність стані, так само як і допредельних, в сумі повинні давати одиницю:

Таким чином, при t® ¥ в системі Sвстановлюється деякий граничний стаціонарний режим: він полягає в тому, що система випадковим чином змінює свої статки, але ймовірність кожного з них вже не залежить від часу: кожне з станів здійснюється з деякою постійною ймовірністю. Який сенс цієї ймовірності? Вона являє собою не що інше, як середнє відносне час перебування системи в даному стані. Наприклад, якщо у системи Sтри можливих стани: S 1, S 2 і S 3, причому їх гранична вірогідність рівна 0,2, 0,3 і 0,5, це означає, що після переходу до сталого режиму система Sв середньому дві десятих часу буде перебувати в стані S 1 три десятих - в стані S 2 і половину часу - в стані S 3. Виникає питання: як обчислити граничні ймовірності станів р 1, р 2, ... р n?

Виявляється, для цього в системі рівнянь Колмогорова, що описують імовірності станів, потрібно покласти всі ліві частини (похідні) рівними нулю.

Дійсно, в граничному (сталому) режимі всі ймовірності станів постійні, значить, їх похідні дорівнюють нулю.

Якщо всі ліві частини рівнянь Колмогорова для ймовірностей станів покласти різними нулю, то система диференціальних рівнянь перетвориться в систему лінійних алгебраїчних рівнянь. Спільно з умовою

(Так званим «нормувального умовою») ці рівняння дають можливість обчислити всі граничні ймовірності

р 1, р 2, ... р n

приклад 1. Фізична система S має можливі стани: S l, S 2, S 3, S 4, розмічений граф яких дано на рис. 26 (у кожної стрілки поставлено чисельне значення відповідної інтенсивності). Обчислити граничні ймовірності станів: р 1, р 2, р 3, р 4.

Рішення. Пишемо рівняння Колмогорова для ймовірностей станів:

(6.3)

Вважаючи ліві частини рівними нулю, отримаємо систему алгебраїчних рівнянь для граничних ймовірностей станів:

(6.4)

Рівняння (6.4) - так звані однорідні рівняння (без вільного члена). Як відомо з алгебри, ці рівняння визначають величини р 1, р 2, р 3, р 4 тільки з точністю до постійного множника. На щастя, у нас є нормувального умова:

p 1 + p 2 + p 3 + p 4 = 1, (6.5)

яке, разом з рівняннями (64), дає можливість знайти все невідомі ймовірності.

Дійсно, висловимо з (6.4) всі невідомі ймовірності через одну з них, наприклад, через p 1. З першого рівняння:

p 3 = 5p 1

Підставляючи в друге рівняння, отримаємо:

р 2 = 2 p 1 + 2р 3 = 12 p 1.

Четверте рівняння дає:

p 4 = 1 / 2p 2 = 6 p 1.

Підставляючи всі ці вирази замість р 2, р 3, р 4 в нормувального умова (6.5), отримаємо

p 1 + 12p 1 + 5 p 1 + 6 p 1 = 1.

24 p 1 = 1, p 1 = 1/24, p 2 = 12p 1 = 1/2.

p 3 = 5p 1 = 5/24. p 4 = 6 p 1 = 1/4.

Таким чином, гранична вірогідність станів отримані, вони рівні;

p 1 = 1/24, p 2 = 1/2, p 3 = 5/24, p 4 = 1/4 (6.6)

Це означає, що в граничному, сталому режимі система Sбуде проводити в стані S 1 в середньому одну двадцять четверту частину часу, в стані S 2 - половину часу, в стані S 3 - п'ять двадцять четверте і в стані S 4 - одну чверть часу.

Зауважимо, що вирішуючи це завдання, ми зовсім не користувалися одним з рівнянь (6.4) - третім. Неважко переконатися, що воно є наслідком трьох інших: складаючи всі чотири рівняння, ми отримаємо тотожний нуль. З таким самим успіхом, вирішуючи систему, ми могли б відкинути будь-яке з чотирьох рівнянь (6.4).

Застосований нами спосіб складання алгебраїчних рівнянь для граничних ймовірностей станів зводився до наступного: спершу написати диференціальні рівняння, а потім покласти в них ліві частини рівними нулю Однак можна записати рівняння алгебри для граничних ймовірностей і безпосередньо, не проходячи через етап диференціальних. Проілюструємо це на прикладі.

приклад 2. Граф стані системи показаний на рис. 27. Написати рівняння алгебри для граничних ймовірностей станів.

Рішення. Чи не записуючи диференціальних рівнянь, прямо пишемо відповідні праві частини і прирівнюємо їх нулю; щоб не мати справи з негативними членами, відразу переносимо їх в іншу частину, змінюючи знак:

(6.7)

Щоб надалі відразу ж писати такі рівняння, корисно запам'ятати наступне мнемонічне правило: «що втікає, то і випливає», тобто для кожного стану сума членів, що відповідають вхідним стрілкам, дорівнює сумі членів, що відповідають вихідним; кожен член дорівнює інтенсивності потоку подій, що переводить систему по даній стрілці, помноженої на ймовірність того стану, з якого виходить стрілка.

Надалі ми у всіх випадках будемо користуватися саме цим найкоротшим способом записи рівнянь для граничних ймовірностей.

приклад 3. Написати рівняння алгебри для граничних ймовірностей станів системи S, Граф станів якої дано на рис. 28. Вирішити ці рівняння.

Рішення.Пишемо рівняння алгебри для граничних ймовірностей станів;

Нормувального умова;

p 1 + p 2 + p 3 = 1. (6.9)

Висловимо з допомогою перших двох рівнянь (6.8) р 2 і р 3 через р 1:

Підставами їх в нормувального умова (6.9):

,

звідки .

; .

Розглянемо математичний опис марковского процесу з дискретними станами і безперервним часом

на прикладі випадкового процесу з завдання 15.1, граф якого зображений на рис. 15.1. Будемо вважати, що всі переходи системи зі стану 5 в 5 відбуваються під впливом найпростіших потоків подій з інтенсивностями λ. (I, j == 0, 1,2, 3); так, перехід системи зі стану S 0 в 5, буде відбуватися під впливом потоку відмов першого вузла, а зворотний перехід зі стану в S 0 – під впливом потоку "закінчень ремонтів" першого вузла і т.п.

Граф стану системи з проставленими у стрілок интенсивностями будемо називати розмічених(Див. Рис. 15.1). Вже згадана система Sмає чотири можливих стану. 5q, iSj, S 2, 5"->-

Ймовірністю i-го стануназивається ймовірність pit)того, що в момент tсистема буде перебувати в стані 5 (.. Очевидно, що для будь-якого моменту tсума ймовірностей всіх станів дорівнює одиниці:

Розглянемо систему в момент tі, задавши малий проміжок At,знайдемо ймовірність p 0(T + At)того, що система в момент (ί + Δί) буде знаходитися в стані 50. Це досягається різними способами.

1. Система в момент t зймовірністю p Q (T)перебувала в стані 50, а за час Atне вийшла з нього.

Вивести систему з цього стану (див. Граф на рис. 15.1) можна сумарним найпростішим потоком з інтенсивністю (λ01 + λ02), тобто відповідно до (15.7) з ймовірністю, приблизно рівній (λ01 + λ0.,) Δί. Л ймовірність того, що система не вийде зі стану 50, дорівнює [ΐ- (λοι + λ0.,) Δί]. Імовірність того, що система буде перебувати в стані 50 за першим способом (тобто того, що перебувала в стані 50 і не вийде з нього за час Δί), дорівнює по теоремі множення ймовірностей

2. Система в момент tз ймовірністю p ^ t)(або p 2(T))перебувала в стані 5) або S2 і за час Atперейшла в стан 50.

Потоком інтенсивністю λ10 (або λ20 - см. Рис. 15.1) система перейде в стан 50 з ймовірністю, наближено

рівній λ, 0Δί (або λ20Δί) Імовірність того, що система буде перебувати в стані 50 за цим способом, дорівнює Ρι (ί) 10Δί (або ρ2 (ί) λ20Δί).

Застосовуючи теорему додавання ймовірностей, одержимо звідки

Переходячи до межі при At → 0 (наближені рівності, пов'язані із застосуванням формули (15.7), перейдуть в точні), отримаємо в лівій частині рівняння похідну р " 0 (ί) (позначимо її для простоти р"0):

Отримали диференціальне рівняння першого порядку, тобто рівняння, що містить як саму невідому функцію, так і її похідну першого порядку.

Міркуючи аналогічно для інших станів системи 5, можна отримати систему диференціальних рівнянь Колмогоровадля ймовірностей станів:

(15.9)

Сформулюємо правило складання рівнянь Колмогорова. В лівої частини кожного з них стоїть похідна ймовірності i-го стану. У правій частині - сума творів ймовірностей всіх станів (з яких йдуть стрілки в даний стан) на інтенсивності відповідних потоків подій, мінус сумарна інтенсивність всіх потоків, які виводять систему з даного стану, помножена на ймовірність даного (i-го стану).

В системі (15.9) незалежних рівнянь на одиницю менше загального числа рівнянь. Тому для вирішення системи необхідно додати рівняння (15.8).

Особливість рішення диференціальних рівнянь взагалі полягає в тому, що потрібно задати так звані початкові умови, тобто в даному випадку ймовірності станів системи в початковий момент t= 0. Так, наприклад, систему рівнянь (15.9) природно вирішувати за умови, що в початковий момент обидва вузла справні і система перебувала в стані 50, тобто при початкових умовах р 0 (0) = 1, рх (о) = р 2 (О) = р 3 (О) = 0.

Рівняння Колмогорова дають можливість знайти все ймовірності станів як функції часу.Особливий інтерес представляють ймовірності системи р- (!)в граничному, стаціонарному режимі,тобто при t →∞, які називаються граничними(або фінальними)можливостями станів.

У теорії випадкових процесів доводиться, що якщо число станів системи звичайно і з кожного з них можна (за кінцеве число кроків) перейти в будь-яке інше стан, то граничні ймовірності існують.

Гранична ймовірність стану S j має чіткий сенс: вона показує середнє відносне час перебування системи в цьому стані.Наприклад, якщо гранична ймовірність стану 50, тобто р 0 = 0,5, то це означає, що в середньому половину часу система знаходиться в стані 50.

Так як гранична вірогідність постійні, то, замінюючи в рівняннях Колмогорова їх похідні нульовими значеннями, отримаємо систему лінійних алгебраїчних рівнянь, що описують стаціонарний режим. для системи Sз графом станів, зображеному на рис. 15.1, така система рівнянь має вигляд:

(15.10)

Систему (15.10) можна скласти безпосередньо по розміченому графу станів, якщо керуватися правилом, згідно з яким зліва в рівняннях варто гранична ймовірність даного стану рг помножена на сумарну інтенсивність всіх потоків, що ведуть з даного

стану, а праворуч - сума творів інтенсивностей всіх потоків, що входять в i-е стан, на ймовірності тих станів, з яких ці потоки виходять.

15.2. Знайти граничні ймовірності для системи Sз завдання 15.1, граф станів якої наведено на рис. 15.1, при

Рішення.Система алгебраїчних рівнянь, що описують стаціонарний режим для даної системи, має вигляд (15.10) або

(15.11)

Тут ми замість одного "зайвого" рівняння системи (15.10) записали нормувального умова (15.8).

Вирішивши систему (15.11), отримаємо р() = 0,40, p i = 0,20, р 2 = 0,27, р 3 = 0,13, тобто в граничному, стаціонарному режимі система Sв середньому 40% часу буде перебувати в стані 5Н (обидва вузла справні), 20% - в стані 5, (перший вузол ремонтується, другий працює), 27% - в стані S 2 (другий вузол ремонтується, перший працює) і 13% часу - в стані 53 (обидва вузла ремонтуються).

15.3. Знайти середній чистий дохід від експлуатації в стаціонарному режимі системи 5 в умовах завдань 15.1 і 15.2, якщо відомо, що в одиницю часу якість його функціонування першого і другого вузлів приносить дохід відповідно в 10 і 6 ден. од., а їх ремонт вимагає витрат відповідно в 4 і 2 ден. од. Оцінити економічну ефективність наявної можливості зменшення вдвічі середнього часу ремонту кожного з двох вузлів, якщо при цьому доведеться вдвічі збільшити витрати на ремонт кожного вузла (в одиницю часу).

Рішення.З завдання 15.2 випливає, що в середньому перший вузол справно працює частку часу, що дорівнює р{) + р 2 = = 0,40 + 0,27 = 0,67, а другий вузол - р 0 + p = 0,40 + 0,20 = = 0,60. У той же час перший вузол знаходиться в ремонті в середньому частку часу, що дорівнює р{ + р3 = 0,20 + 0,13 = 0,33, а другий вузол - р 2 + р 3 = 0,27 + 0,13 = 0,40. Тому середній чистий дохід в одиницю часу від експлуатації системи, тобто різницю між доходами і витратами, дорівнює

Зменшення вдвічі середнього часу ремонту кожного з вузлів відповідно до (15.6) буде означати збільшення вдвічі інтенсивностей потоку "закінчень ремонтів" кожного вузла, тобто тепер, і система лінійних алгебраїчних рівнянь (15.10), що описує стаціонарний режим системи У, разом з нормувального умовою (15.8) набуде вигляду:

Вирішивши систему, одержимо р 0 = 0,60, р, = 0,15, р 2 = 0,20, р 3 = 0,05.

Враховуючи що р 0 + р 2 = 0,60 + 0,20 = 0,80, р 0 + р{ = 0,60 + + 0,15 = 0,75, р{ + р 3 = 0,15 + 0,05 = 0,20, р 2 + р 3 = 0,20 + + 0,05 = 0,25, а витрати на ремонт першого і другого вузла складають тепер відповідно 8 і 4 ден. од., обчислимо середній чистий дохід в одиницю часу:

Так як Д1 більше Д (приблизно на 20%), то економічна доцільність прискорення ремонтів вузлів очевидна.

• При записи системи (15.10) одне «зайве» рівняння ми виключили.

Розглянемо математичний опис марковского процесу з дискретними станами і безперервним часом на прикладі випадкового процесу з завдання 1, граф якого зображений на рис. 1. Будемо вважати, що всі переходи системи зі стану S iв S j відбуваються під впливом найпростіших потоків подій з інтенсивностями l ij (I, j = 0,1,2,3); так, перехід системи зі стану S 0 в S 1 відбуватиметься під впливом потоку відмов першого вузла, а зворотний перехід зі стану S 1 в S 0 - під впливом потоку «закінчень ремонтів» першого вузла і т.п.
Граф станів системи з проставленими у стрілок интенсивностями будемо називати розмічені (див.Мал. 1). Вже згадана система S має чотири можливих стани: S 0, S 1, S 2, S 3.
Ймовірністю i-го стануназивається ймовірність p i (t)того, що в момент tсистема буде перебувати в стані S i.Очевидно, що для будь-якого моменту tсума ймовірностей всіх станів дорівнює одиниці:
. (8)
Розглянемо систему в момент tі, задавши малий проміжок D t, Знайдемо ймовірність p 0 (t + Dt)того, що система в момент t +Dtбуде перебувати в стані S 0. Це досягається різними способами.
1. Система в момент tз ймовірністю p 0 (t)перебувала в стані S 0, а за час D tне вийшла з нього.
Вивести систему з цього стану (Див.граф на рис. 1) можна сумарним найпростішим потоком з інтенсивністю (l 01 + l 02), тобто відповідно до (15.7), з імовірністю, приблизно рівної (l 01 + l 02) D t. А ймовірність того, що система не вийде зі стану S 0, дорівнює. Імовірність того, що система буде перебувати в стані S 0, за першим способом (тобто того, що перебувала в стані S 0 і не вийде з нього за час Dt), Дорівнює по теоремі множення ймовірностей:
p 0 (t) ·.
2. Система в момент tз вірогідністю р 1 (t) (або p 2 (t))перебувала в стані S 1 або S 2 і за час D tперейшла в стан S 0.
Потоком інтенсивністю l 10 (або l 20 - см.Мал. 1) система перейде в стан S 0 з ймовірністю, приблизно рівній l 10 D t(Або l 20 D t). Імовірність того, що система буде перебувати в стані S 0 за цим способом, дорівнює р 1 (t) × l 10 D t(або р 2 (t)× l 20 D t).
Застосовуючи теорему додавання ймовірностей, одержимо
p 0 (t + Δt) = p 1 · λ 10 · Δt + p 2 (t) · λ 20 · Δt + p 0 (t),
звідки
,
Переходячи до межі при D t®0 (наближені рівності, пов'язані із застосуванням формули (7), перейдуть в точні), отримаємо в лівій частині рівняння похідну p '0 ( t) (Позначимо її для простоти p '0):
p '0 = λ 10 · p 1 + λ 20 · p 2 + (λ 10 + λ 20) · p 0,
Отримали диференціальне рівняння першого порядку, тобто рівняння, що містить як саму невідому функцію, так і її похідну першого порядку.
Міркуючи аналогічно для інших станів системи S, можна отримати систему диференціальних рівнянь Колмогорова для ймовірностей станів:
(9)
Сформулюємо правило складання рівнянь Колмогорова. У лівій частині кожного з них стоїть похідна ймовірності i-го стану. У правій частині - сума творів ймовірностей всіх станів (з яких йдуть стрілки в даний стан) на інтенсивності відповідних потоків подій, мінус сумарна інтенсивність всіх потоків, які виводять систему з даного стану, помножена на ймовірність даного (i-го стану).
В системі (9) незалежних рівнянь на одиницю менше загального числа рівнянь. Тому для вирішення системи необхідно додати рівняння (8).
Особливість рішення диференціальних рівнянь взагалі полягає в тому, що потрібно задати так звані початкові умови, тобто в даному, випадку ймовірності станів системи в початковий момент t= 0. Так, наприклад, систему рівнянь (9) природно вирішувати за умови, що в початковий момент обидва вузла справні і система перебувала в стані S 0, тобто при початкових умовах p 0 (0) = 1, p 1 (0) = p 2 (0) = p 3 (0) = 0.
Рівняння Колмогорова дають можливість знайти все ймовірності станів як функції часу. Особливий інтерес представляють ймовірності системи p i ( t) в граничному стаціонарному режимі,тобто при t → ∞, які називаються граничними(або фінальними)можливостями станів.
У теорії випадкових процесів доводиться, що якщо число станів системи звичайно і з кожного з них можна (за кінцеве число кроків) перейти в будь-яке інше стан, то граничні ймовірності існують.
Гранична ймовірність стану S i має чіткий сенс: вона показує середнє відносне час перебування системи в цьому стані.Наприклад, якщо гранична ймовірність стану S 0, тобто p 0 = 0,5, то це означає, що в середньому половину часу система знаходиться в стані S 0 .
Так як гранична вірогідність постійні, то, замінюючи в рівняннях Колмогорова їх похідні нульовими значеннями, отримаємо систему лінійних алгебраїчних рівнянь, що описують стаціонарний режим. Для системи S з графом станів, зображеному на рис. 1, така система рівнянь має вигляд:
(10)
Систему (10) можна скласти безпосередньо по розміченому графу станів, якщо керуватися правилом, згідно з яким зліва в рівняннях варто гранична ймовірність даного стану p i, помножена на сумарну інтенсивність всіх потоків, що ведуть з даного стану, а справа- сума творів інтенсивностей всіх потоків, що входять в i-е стан, на ймовірності тих станів, з яких ці потоки виходять.

Завдання 2. Знайти граничні ймовірності для системи S завдання 1, граф станів якої наведено на рис. 1, при l 01 = 1, l 02 = 2, l 10 = 2, l 13 = 2, l 20 = 3, l 23 = 1, l 31 = 3, l 32 = 2.
Рішення . Система алгебраїчних рівнянь, що описують стаціонарний режим для даної системи, має вигляд (10) або
3p 0 = 2p 1 + 3p 2 (11)
4p 1 = p 0 + 3p 3
4p 2 = 2p 0 + 2p 3
p 0 + p 1 + p 2 + p 3 = 1
(Тут ми замість одного "зайвого" рівняння системи (10) записали нормувального умова (8)).
Вирішивши систему (11), отримаємо p 0 = 0,40, p 1 = 0,20, p 2 = 0,27, p 3 = 0,13, тобто в граничному, стаціонарному режимі система S в середньому 40% часу буде перебувати в стані S 0 (обидва вузла справні), 20% - в стані S 1 (перший вузол ремонтується, другий працює), 27% - в стані S 2 (другий вузол ремонтується, перший працює) і 13% часу - в стані S 3 (обидва вузла ремонтуються).

Завдання 3. Знайти середній чистий дохід від експлуатації в стаціонарному режимі системи S в умовах завдань 1 і 2, якщо відомо, що в одиницю часу якість його функціонування першого і другого вузлів приносить дохід відповідно в 10 і 6 грош, а їх ремонт вимагає витрат відповідно в 4 і 2 грош Оцінити економічну ефективність СМО наявної можливості зменшення вдвічі середнього часу ремонту кожного з двох вузлів, якщо при цьому доведеться вдвічі збільшити витрати на ремонт кожного вузла (в одиницю часу).
Рішення. З завдання 2 слід, що в середньому перший вузол справно працює частку часу, рівну p 0 + p 3 = 0,40 + 0,27 = 0,67, а другий вузол - p 0 + p 1 = 0,40 + 0, 20 = 0,60. У той же час перший вузол знаходиться в ремонті в середньому частку часу, що дорівнює p 1 + p 3 = 0,20 + 0,13 = 0,33, а другий вузол - p 2 + p 3 = 0,27 + 0,13 = 0,40. Тому середній чистий дохід в одиницю часу від експлуатації системи, тобто різницю між доходами і витратами, дорівнює
Д = 0,67 × 10 + 0,60 × 6-0,33 × 4-0,40 × 2 = 8,18 ден.ед.
Зменшення вдвічі середнього часу ремонту кожного з вузлів відповідно до (6) буде означати збільшення вдвічі інтенсивностей потоку "закінчень ремонтів" кожного вузла, тобто тепер l 10 = 4, l 20 = 6, l 31 = 6, l 32 = 4 і система лінійних алгебраїчних рівнянь (10), що описує стаціонарний режим системи разом з нормувального умовою (8) набуде вигляду:
3p 0 = 4p 1 + 6p 2
6p 1 = p 0 + 6p 3
7p 2 = 2p 0 + 4p 3
p 0 + p 1 + p 2 + p 3 = 1
Вирішивши систему, одержимо p 0 = 0,60, p 1 = 0,15, p 2 = 0,20, p 3 = 0,05.
З огляду на, що p 0 + p 2 = 0,60 + 0,20 = 0,80, p 0 + p 1 = 0,60 + 0,15 = 0,75, p 1 + p 3 = 0,15 + 0 , 05 = 0,20, p 2 + p 3 = 0,20 + 0,05 = 0,25, а витрати на ремонт першого і другого вузла складають тепер відповідно 8 і 4 ден. од., обчислимо середній чистий дохід в одиницю часу: Д 1 = 0,80 × 10 + 0,75 × 6-0,20 × 8-0,25 × 4 = 9,9 грош
Так як Д 1 більше Д (приблизно на 20%), то економічна доцільність прискорення ремонтів вузлів очевидна.

Приклад. Технічний пристрій може перебувати в одному з трьох станів S 0, S 1, S 2. Інтенсивність потоків, що переводять пристрій зі стану, задані в таблиці.

Необхідно побудувати розмічений граф станів, записати систему рівнянь Колмогорова, знайти фінальні ймовірності і зробити аналіз отриманих рішень.
Розмічений граф станів має вигляд.

p 0 (t) + p 1 (t) + p 2 (t) = 1

p 0 (t) + p 1 (t) + p 2 (t) = 1

2p 0 -3p 1 = 0
2p 0 + 2p 1 -3p 2 = 0
p 0 + p 1 + p 2 = 1
Вирішимо СЛАР за допомогою методу Гаусса.
Висновок: При досить великому часу роботи технічний пристрій з ймовірністю p 0 = 0.36 буде перебувати в стані S 0, з імовірністю p 1 = 0.24 в стані S 1 і з ймовірністю p 2 = 0.4 в стані S 2.

Приклад.
Технічний пристрій може перебувати в одному з трьох станів S 0, S 1, S 2. Інтенсивність потоків, які переводять пристрої з одного стану в друге, відомі λ 01 = 2, λ 10 = 4, λ 21 = 2, λ 12 = 3, λ 20 = 4.
Необхідно побудувати розмічений граф станів, записати систему рівнянь Колмогорова, знайти фінальні ймовірності і зробити аналіз отриманих рішень.
Розмічений граф станів має вигляд.

За графу запишемо систему рівнянь Колмогорова в загальному вигляді:

Замість інтенсивності потоків λ ij запишемо їх конкретні значення і отримаємо шукану систему:

Щоб знайти фінальні ймовірності станів, в рівняннях Колмогорова відкинемо перше рівняння, а по іншим складемо систему алгебраїчних рівнянь:
2p 0 -7p 1 + 2p 2 = 0
3p 1 -6p 2 = 0
p 0 + p 1 + p 2 = 1
Ділимо перше рівняння на 2, а друге на 3 та отримаємо систему
p 0 -7p 1 + 2p 2 = 0
3p 1 -6p 2 = 0
p 0 + p 1 + p 2 = 1
З третього рівняння віднімаємо перший
p 0 -3.5p 1 + p 2 = 0
p 1 -2p 2 = 0
4.5p 1 = 1
Звідси отримаємо p 1 = 0,22, p 2 = 0,11 і p 0 = 0,67.
Висновок: При досить великому часу роботи технічний пристрій з ймовірністю p 0 = 0,67 буде знаходитися в стані S 0, з імовірністю p 1 = 0,22 в стані S 1 і з ймовірністю p 2 = 0,11 в стані S 2.

Процес загибелі та розмноження

У теорії масового обслуговування широке поширення має спеціальний клас випадкових процесів - так званий процес загибелі і розмноження. Назва цього процесу пов'язане з рядом біологічних задач, де він є математичною моделлю зміни чисельності біологічних популяцій.
Граф станів процесу загибелі і розмноження має вигляд, показаний на рис. 4.

Мал. 4
Розглянемо впорядкована множина станів системи S 0, S 1, S 2, ..., S k. Переходи можуть здійснюватися з будь-якого стану тільки в стани з сусідніми номерами, тобто зі стану S k можливі переходи тільки або в стан S k-1, або в стан S k + 1. (При аналізі чисельності популяцій вважають, що стан S k відповідає чисельності популяції, що дорівнює k, і перехід системи зі стану S k в стан S k + 1 відбувається при народженні одного члена популяції, а перехід в стан S k-1, - при загибелі одного члена популяції).
Припустимо, що всі потоки подій, що переводять систему по стрілках графа, найпростіші з відповідними інтенсивностями l k, k + 1 або l k + 1, k.
За графу, представленому на рис. 4, складемо і вирішимо рівняння алгебри для граничних ймовірностей станів (їх існування випливає з можливості переходу з кожного стану в кожне інше і кінцівки числа станів).
Відповідно до правила складання таких рівнянь (див. 13) отримаємо: для стану S 0
λ 01 p 0 = λ 10 p 1 (12)
для стану S 1 - (l 12 + l 10) p 1 = l 01 p 0 + l 21 p 2, яке з урахуванням (12) приводиться до вигляду
λ 12 p 1 = λ 21 p 2 (13)
Аналогічно, записуючи рівняння для граничних ймовірностей інших станів, можна отримати наступну систему рівнянь:
(14)
до якої додається нормувального умова
p 0 + p 1 + p 2 + ... + p n = 1 (15)
Вирішуючи систему (14), (15), можна отримати (16)
(17)
Легко помітити, що в формулах (17) для p 1, p 2, ..., p n коефіцієнти при p 0 є складові, які стоять після одиниці у формулі (16). Чисельники цих коефіцієнтів представляють твір всіх інтенсивностей, що стоять біля стрілок, що ведуть зліва направо до даного стану S k (k = 1, 2, ..., n), а знаменники - твір всіх інтенсивностей, що стоять біля стрілок, що ведуть справа наліво до стану S k .

Завдання 4. Процес загибелі та розмноження представлений графом (рис. 5). Знайти граничні ймовірності станів.

Мал. 5

Рішення. За формулою (16) знайдемо

по (17) - тобто в сталому, стаціонарному режимі в середньому 70,6% часу система буде перебувати в стані S 0, 17,6% - в стані S 1 і 11,8% - в стані S 2.