ланцюги Маркова
Завдання 1. Задана матриця ймовірностей переходу дискретної ланцюга Маркова з i -го стану в j -е за один крок (i. J = 1, 2). Розподіл ймовірностей по станам в початковий момент t = 0 визначається вектором = (0,1; 0,9). знайти:
1. матрицю Р2 переходу ланцюга зі стану i в стан j за два
кроку;
2. розподіл ймовірностей по станам в момент t = 2;
3. ймовірність того, що в момент t = 1 станом ланцюга буде А2;
4. стаціонарний розподіл.
Рішення. Для дискретної ланцюга Маркова в разі її однорідності справедливо співвідношення
де Р1 - матриця перехідних ймовірностей за один крок;
Рn - матриця перехідних ймовірностей за n кроків;
1. Знайдемо матрицю Р2 переходу за два кроки
Нехай розподіл ймовірностей по станам на S -ом кроці визначається вектором
.
Знаючи матрицю Pn переходу за n кроків, можна визначити розподіл ймовірностей по станам на (S + n) -му кроці. (5)
2. Знайдемо розподіл ймовірностей по станам системи в момент t = 2. Покладемо в (5) S = 0 і n = 2. Тоді.
3. Знайдемо розподіл ймовірностей по станам системи в момент t = 1.
Покладемо в (5) s = 0 і n = 1, тоді.
Звідки видно, що ймовірність того, що в момент t = 1 станом ланцюга буде А2, дорівнює р2 (1) = 0,69.
Розподіл ймовірностей по станам називається стаціонарним, якщо воно не змінюється від кроку до кроку, тобто
Тоді зі співвідношення (5) при n = 1 отримаємо
4. Знайдемо стаціонарний розподіл. Так як = 2 маємо = (р1; р2). Запишемо систему лінійних рівнянь (6) в координатної формі
Остання умова називається нормувального. В системі (6) завжди одне рівняння є лінійною комбінацією інших. Отже, його можна викреслити. Вирішимо спільно перше рівняння системи і нормувального. Маємо 0,6р1 = 0,3р2. тобто р2 = 2р1. Тоді р1 +2 р1 = 1 або, тобто. Отже,.
відповідь:
1) матриця переходу за два кроки для цього ланцюга Маркова має вигляд;
2) розподіл ймовірностей по станам в момент t = 2 дорівнює;
3) ймовірність того, що в момент t = 1 станом ланцюга буде А2. дорівнює р2 (t) = 0,69;
4) стаціонарний розподіл має вигляд
Задана матриця інтенсивностей переходів безперервного ланцюга Маркова. Скласти розмічений граф станів, відповідний матриці Λ; скласти систему диференціальних рівнянь Колмогорова для ймовірностей станів; знайти граничне розподіл ймовірностей. Рішення. Однорідна ланцюг Маркова з кінцевим числом станів А1. А2, ... А характеризується матрицею інтенсивностей переходів,
де - інтенсивність переходу ланцюга Маркова зі стану А i в стан Аj; Рij (Δt) -ймовірність переходу Ai → Aj за інтервал часу Δt.
Переходи системи зі стану в стан зручно задавати за допомогою розміченого графа станів, на якому зазначаються дуги, відповідні интенсивностям λij> 0. Складемо розмічений граф станів для заданої матриці інтенсивностей переходів
Нехай - вектор ймовірностей рj (t).
j = 1, 2, ... ,, знаходження системи в стані Аj в момент t.
Очевидно, що 0≤рj (t) ≤1 і. Тоді за правилом диференціювання векторної функції скалярного аргументу отримаємо. Ймовірності рj (t) задовольняють системі диференціальних рівнянь Колмогорова (СДУК), яка в матричної формі має вигляд. (7)
Якщо в початковий момент система перебувала в стані Аj. то СДУК слід вирішувати при початкових умовах
рi (0) = 1, рj (0) = 0, j ≠ i, j = 1, 2, ... ,. (8)
Сукупність СДУК (7) і початкових умов (8) однозначно описує однорідну ланцюг Маркова з безперервним часом і кінцевим числом станів.
Складемо СДУК для заданої ланцюга Маркова. Оскільки = 3, то j = 1, 2, 3.
Зі співвідношення (7) отримаємо
.
Звідси матимемо
Остання умова називається нормувального.
Розподіл ймовірностей по станам називається стаціонарним. якщо воно не змінюється з плином часу, тобто, де рj = const. j = 1,2, ... ,. Звідси.
Тоді з СДУК (7) отримуємо систему для знаходження стаціонарного розподілу
(9)
Для даної задачі з СДУК матимемо
З нормувального умови отримаємо 3р2 + р2 + р2 = 1 або. Отже, граничне розподіл має вигляд.
Зауважимо, що цей результат можна отримати безпосередньо по розміченому графу станів, якщо скористатися правилом: для стаціонарного розподілу сума творів λjipi. j ≠ i. для стрілок, що виходять з i -го стану, дорівнює сумі творів λjipi. j ≠ i. для стрілок, що входять в i -е стан. дійсно,
Очевидно, що отримана система еквівалентна тій, яка складена за СДУК. Отже, вона має те саме рішення.
Відповідь: стаціонарний розподіл має вигляд.
підручники
Пропонуємо найбільш хороші на наш погляд підручники для самостійного вивчення математики та економіки
Довідники
Компактні довідкові матеріали, формули з різних розділів вищої математики та економічної статистики.