Метод максимальної правдоподібності є одним з найбільш універсальних методів оцінювання невідомих параметрів розподілів.
Нехай - вибірка з генеральної сукупності, що має функцію розподілу. залежну від невідомого скалярного параметра (задана параметричне модель спостережень).
Якщо закон розподілу спостережуваної випадкової величини є безперервним, тобто існує щільність ймовірностей. то функція
розглянута при фіксованій вибірці як функція параметра. називається функцією правдоподібності.
Якщо спостерігається випадкова величина має дискретний закон розподілу, що задається імовірностями. то функція правдоподібності визначається рівністю:
Оцінкою максимальної правдоподібності параметра називається таке значення параметра. при якому функція правдоподібності при заданій вибірці досягає максимуму:
При фіксованому функція правдоподібності задає закон розподілу випадкового вектора. координати якого є копіями спостерігається випадкової величини:
в разі безперервному;
в разі дискретно.
Тому сенс методу максимальної правдоподібності полягає в тому, що в якості оцінки вибирається таке значення параметра. при якому ймовірність отримання даних вибіркових значень. як реалізації випадкового вектора. максимальна.
Якщо функція правдоподібності дифференцируема по. то оцінку максимальної правдоподібності можна знайти, вирішивши щодо рівняння правдоподібності
природно, переконавшись при цьому, що рішення доставляє функції правдоподібності саме максимум.
Часто буває зручніше досліджувати на екстремум не функція правдоподібності. а її логарифм. Оскільки функції і мають максимум в одній і тій же точці в силу монотонного зростання логарифмічною функції, то оцінку максимальної правдоподібності можна знайти також, вирішивши щодо рівносильне рівняння правдоподібності
Якщо параметр є векторним, то для відшукання оцінки максимальної правдоподібності слід вирішити систему рівнянь правдоподібності
або рівносильну систему рівнянь
Всі викладені результати залишаються в силі і при оцінюванні не найбільш параметра. а деякою параметричної функції.
Цінність оцінок максимальної правдоподібності обумовлена наступними їхніми властивостями, справедливими при досить загальних припущеннях (без доведення):
- оцінка максимальної правдоподібності є спроможною оцінкою невідомого параметра. ;
- оцінка максимальної правдоподібності є асимптотично ефективною оцінкою невідомого параметра. . де
- ефективна оцінка параметра;
- оцінка максимальної правдоподібності є асимптотично нормальною оцінкою невідомого параметра. тобто при відповідній нормировке закон розподілу оцінки максимальної правдоподібності є нормальним: Це властивість дуже важливо для знаходження ймовірностей відхилення оцінки від істинного значення параметра.
Однак метод максимальної правдоподібності не завжди призводить до незміщеної оцінками і рівняння (системи рівнянь) для знаходження оцінок максимальної правдоподібності можуть вирішуватися досить складно.
Приклад 1. Спостерігається випадкова величина має нормальний закон розподілу з невідомим математичним очікуванням і відомої дисперсією. тобто має щільність ймовірностей виду:. Знайти за вибіркою оцінку максимальної правдоподібності параметра.
Рішення. Знайдемо функцію правдоподібності:
Знайдемо логарифм функції правдоподібності:
Складемо рівняння правдоподібності:
Рішення рівняння правдоподібності:
Таким чином, в нормальної моделі оцінка максимальної правдоподібності є несмещенной, заможної і ефективної оцінкою невідомого математичного очікування.
Зауважимо, що до того ж результату в даній моделі призводить і метод моментів, але істотно простіше:
Приклад 2. Спостерігається випадкова величина має нормальний закон розподілу з відомим математичним очікуванням і невідомої дисперсією. тобто має щільність ймовірностей виду:. Знайти за вибіркою оцінку максимальної правдоподібності параметра.
Рішення. Знайдемо функцію правдоподібності:
Знайдемо логарифм функції правдоподібності:
Складемо рівняння правдоподібності:
Рішення рівняння правдоподібності:
Таким чином, в нормальної моделі оцінка максимальної правдоподібності є несмещенной, заможної і ефективної оцінкою невідомої дисперсії (показати самостійно!).
Зауважимо, що до того ж результату в даній моделі призводить і метод моментів, але істотно простіше:
Приклад 3. Що Спостерігається випадкова величина має нормальний закон розподілу з невідомим математичним очікуванням і невідомої дисперсією. тобто має щільність ймовірностей виду:. Знайти за вибіркою оцінку максимальної правдоподібності параметра.
Рішення. Знайдемо функцію правдоподібності:
Знайдемо логарифм функції правдоподібності:
Для знаходження оцінки максимальної правдоподібності двовимірного параметра складемо систему рівнянь правдоподібності:
Рішення системи рівнянь правдоподібності:
Таким чином, в загальній нормальної моделі оцінка максимальної правдоподібності. При цьому, вибіркове середнє є несмещенной, заможної і ефективної оцінкою невідомого математичного очікування. а вибіркова дисперсія є асимптотично несмещенной, заможної і асимптотично ефективною оцінкою невідомої дисперсії.
Зауважимо, що до того ж результату в даній моделі призводить і метод моментів, але істотно простіше:
Приклад 4. Видимий випадкова величина має закон розподілу Пуассона з невідомим параметром:
Знайти за вибіркою оцінку максимальної правдоподібності параметра.
Рішення. Знайдемо функцію правдоподібності:
Знайдемо логарифм функції правдоподібності:
Складемо рівняння правдоподібності:
Рішення рівняння правдоподібності:
Зауважимо, що до такого ж результату в даній моделі призводить і метод моментів.