Парадокс оцінок математичного сподівання.

↑

▷ Содержание

⇐ ПредыдущаяСтр 7 из 7

Парадокс.

Нехай  - реалізація вибірки  з розподілу . Розподіл  залежить від параметра , де  - математичне сподівання розподілу . Значення параметра  в розподілі  невідомо, і його необхідно оцінити за реалізацією  вибірки .

Якщо за розподіл  обрати нормальний розподіл , то оцінка

незміщена, спроможна, ефективна оцінка для параметра . Для розподілу ж , відмінного від нормального, оцінка  не є незміщеною оцінкою з найменшою дисперсією.

У цьому і полягає парадокс оцінки математичного сподівання.

Пояснимо парадокс.

Розглянемо сім’ю розподілів  на , які залежать від параметра  і задаються щільністю .

Кількість інформації за Фішером має вигляд:

 (1)

За умов, що щільність  ми вважаємо, що підінтегральний вираз дорівнює нулю. Отже формула (1) перепишеться у вигляді:

 (2)

В 1965 роціКаган, Ліннік та Раосформулювали теорему, згідно з якою у класі щільностей ,  зі скінченою дисперсією , які задовольняють умови 1.  - неперервно - диференційовна функція.2.  при , нерівність Крамера-Рао

обертається на рівність на гауссівському розподілі.

Доведення. Будемо вважати, що середне значення розподілу  дорівнює нулеві. Позначимо через  множину точок , для яких щільність  додатна.

Інтеграл по множині  від х помножене на похідну від щільності дорівнює - 1:

.

Користуючись нерівністю Коші - Буняковського для інтегралів здобуваємо нерівність

, (3)

при цьому знак рівності досягається тоді й тільки тоді, коли справедлива формула

 (4)

Розв’язуючи диференціальне рівняння (4), знайдемо щільність

. (5)

Для знаходження сталих  скористаємося тим, що 1)  - інтеграл від щільності дорівнює 1,2)  - середнє дорівнює 0 та 3)  - дисперсія скінчена й дорівнює .

Отже, маємо щільність нормального розподілу з параметрами :

.

Теорема доведена.

Отже парадокс показує, що за виключенням нормального розподілу, середнє арифметичне вибірки не є незміщеною оцінкою з найменшою дисперсією для математичного сподівання розподілу .

Парадокс оцінок дисперсії.

Історія парадоксу.

Найважливішою характеристикою випадкових величин і їх розподілів разом з математичним сподіванням є дисперсія.

Нехай  вибірка з розподілу . Якщо дисперсія  розподілу  скінченна, то при відомому математичному сподіванні  розподілу  вибіркова дисперсія дорівнює виразу

і є незміщеною оцінкою дисперсії .

Ситуація змінюється, коли математичне сподівання розподілу  невідоме і в якості оцінки математичного сподівання розглядається

.

Тоді вибіркова дисперсія

вже не є незміщеною оцінкою.

Оцінка  є асимптотично незміщеною оцінкою для . Оскільки незміщеність - одна з необхідних властивостей, яку повинна мати добра оцінка, змінимо оцінку  так, щоб отримати незміщену оцінку для .

.

Оцінка  незміщена оцінка для .

Проте парадокс оцінок дисперсії показує, що не завжди треба обмежуватися розглядом лише незміщених оцінок. Інколи оцінка з малим зсувом і малою мірою розкиду значень оцінки краща незміщеної оцінки з великою дисперсією.

Парадокс.

Нехай  - вибірка з нормального розподілу  з параметрами . Оцінка

незміщена оцінка для , а оцінка

для  така, що міра розкиду оцінки  відносно  мінімальна. Вимога незміщеності і мінімуму міри розкиду приводять до різних оцінок. Треба дізнатися якій з оцінок віддати перевагу.

Пояснимо парадокс. Розглянемо клас оцінок

.

Математичне сподівання оцінок  дорівнює

.

Тобто в класі оцінок  існує єдина незміщена оцінка , яка відповідає  і ця оцінка є :

. (1)

Міра розсіювання оцінок  відносно  обчислюється за формулою:

. (2)

Позначимо через  функцію параметра

. (3)

Знайдемо , при якому досягає найменшого значення. Це значення

. (4)

При цьому  має вигляд:

. (5)

Одержуємо нерівність (6). Міра розсіювання оцінки  відносно  менша ніж міра розсіювання оцінки  відносно .

. (6)

Таким чином, на підставі вимоги мінімуму міри розсіювання оцінки зміщена оцінка

,

зміщення якої

 (7)

мале при чималому об'ємі вибірки , краще оцінює дисперсію , чим незміщена оцінка .

Цей парадокс показує, що не може бути єдиного критерію, за яким необхідно порівнювати всі оцінки, як не існує єдиної оцінки даного параметра , яка прийнятна для всіх випадків.

Зауважимо.

Вибіркова дисперсія

при відомому математичному сподіванні - ефективна оцінка для . Оцінка  не є ефективною оцінкою для . Ефективної оцінки для  (при невідомому математичному сподіванні) не існує, тобто ні для якої незміщеної оцінки параметра  нерівність Крамера - Рао не обертається в рівність.

Парадокс Байєса.

Історія парадоксу.

Теорема Томас Байєс, доведена близько 1750 р. і опублікована лише після смерті автора, стала джерелом суперечок в статистиці. Вони не припинилися й досі. Сформулюємо теорему Байєса. Нехай події , утворюють повну групу подій. Тоді для будь-якої події  умовна ймовірність події  відносно  рахується за формулою

 (1)

Формула Байєса дозволяє за апріорними ймовірностями  подій знайти апостеріорні ймовірності подій . В більшості її застосувань апріорні імовірності  невідомі. В цьому випадку вважають, що, оскільки відсутня попередня інформація про події , то усі ймовірності  рівні, але такий підхід, взагалі кажучи, неприйнятний.

Байєс використовував свою теорему у випадках, коли апріорні імовірності  були випадковими величинами, зокрема, рівномірно розподіленими на .

Нехай  - випадкова величина рівномірно розподілена на .

.

Вважаємо, що щільність апріорна.

Позначимо через  - подію, яка полягає у тому, що "в  випробовуваннях Бернуллі подія  відбулась  разів", при цьому ймовірність події  дорівнює .

Тоді умовна ймовірність події  за умов, що  набуло значення  має вигляд

. (2)

А умовна щільність випадкової величини  перепишеться у вигляді

. (3)

І вона є апостеріорною щільністю. Імовірність того, що  рахується за формулою

. (4)

Наприклад, якщо , , , , то імовірність того, що  більше , дорівнює :

Не всі довіряють цьому результату, зокрема, тому, що мають сумніви щодо рівномірності апріорного розподілу.

Парадокс.

Нехай можливими значеннями випадкової величини  є цілі числа. Припустимо, що ймовірнісний розподіл  залежить від параметру . Якщо вибірка  здобута з невідомого розподілу , то послідовність апостеріорних розподілів при збільшенні числа спостережень  концентрується навколо істинного значення невідомого параметра .

 (5)

Оцінка  параметра  обирається виходячи з максимуму апостеріорної щільності, тобто

. (6)

Парадоксально, але це не завжди вірно. Наприклад, істинне значення параметра  може дорівнювати , а послідовність апостеріорних розподілів все більше зосереджується, наприклад, біля .

Пояснення парадоксу.

Нехай апріорний розподіл параметра  рівномірний на відрізку

~ . (7)

Визначимо функцію  на цьому відрізку таким чином. Визначимо функцію  на цьому відрізку таким чином, що значеннями  завжди є натуральні числа, за виключенням точок  та , де :

 (8)

Нехай розподіл випадкової величини  (який залежить від ) має вигляд

, (9)

де  знаходиться з рівності

. (10)

При відповідному виборі  вказана вище парадоксальна ситуація здійснена.

Познавательные статьи:



Как правильно слушать собеседника

Типичные ошибки при выполнении бросков в баскетболе

Принятие христианства на Руси и его значение

Средства массовой информации США