Регресії методом найменших квадратів

коефіцієнт називають коефіцієнтом регресії на й позначають символом . Очевидно, що з геометричної точки зору - кутовий коефіцієнт прямої лінії регресії на . Аналогічно коефіцієнт при в рівнянні лінійної регресії на називається коефіцієнтом регресії на й позначають символом . Тому рівняння лінійної регресії на . і на часто пишуть у вигляді

,

і

відповідно.

Метод (принцип) найменших квадратів перебуває в повній відповідності із загальним положенням математичної статистики, відповідно до якого як міра розсіювання береться дисперсія або середнє квадратическое відхилення .. Вводячи поняття дисперсії в теорії ймовірностей, ми ставили задачу охарактеризувати розкид значень випадкової величини біля її математичного сподівання. Представлялося природним як таку характеристику взяти середнє значення (математичне сподівання) відхилення випадкової величини від її математичного сподівання , але виявилося, що

,

Це говорить про те, що в середньому додатні відхилення врівноважують негативні.

У математичній статистиці доведене аналогічне твердження: сума добутків відхилень значення ознаки від загальної середньої дорівнює нулю:

.

Щоб не враховувати знаки відхилень, як характеристика розкиду випадкової величини біля її математичного сподівання в теорії ймовірностей прийнята дисперсія:

.

У математичній статистиці це визначення приймає наступний вид:

,

де - частоти значень відповідної ознаки вибірки об'єму п.

Приклад. У результаті спостереження над дослідними ділянками була встановлена наступна врожайність (у ц с 1 га) при різній кількості внесених у ґрунт добрив (таблиця 1)

Таблиця 1

Кількість добрив (у т. на 1 га)
Урожайність (у ц. з 1 га)	15,0	15,6	16,6	18,0	19,2

Досвід показує, що в певних межах залежність між урожайністю й кількістю внесених добрив близька до лінійної (перевірте це геометрично для проведених даних). Знайти рівняння регресії на .

Розв’язання. Шукаємо рівняння у вигляді

.

Складемо розрахункову таблицю 2.

Таблиця 2

	15,0 15,6 16,6 18,0 19,2		15,0 31,2 49,8 72,0 96,0

По формулах (1.4.2.4) і (1.4.2.5) знайдемо параметри і :

Отже, шукане рівняння регресії має вигляд:

.

Як ми вже відзначали в пункті 1.2, це рівняння, як і будь-які інші отримані рівняння регресії, потрібно піддати регресійному й кореляційному аналізу.

1.5. Двовимірна дискретна випадкова величина і її закон розподілу. Кореляційна таблиця

У теорії ймовірностей при опису багатьох випадкових явищ доводиться використовувати не одну, а кілька випадкових величин. Наприклад, точка влучення снаряда визначається двома випадковими величинами: абсцисою та ординатою. При імовірнісному моделюванні структури витрат родини необхідно розглядати в комплексі витрати випадково обраної родини на харчування, одяг, транспорт і т.д.

Під -мірною випадковою величиною розуміється впорядкований набір випадкових величин . Будемо позначати її символом .

Говорять також, що -мірна випадкова величина визначає систему випадкових величин .

Для вивчення системи випадкових величин недостатньо вивчити окремо кожну складову системи. Тут виникає потреба вивчення взаємних зв'язків між ними, що приводить до нових задач, які не виникали при розгляді “звичайних”, одномірних випадкових величин.

Надалі ми будемо говорити про двовимірну дискретну випадкову величину . Її складові дискретні.

Законом розподілу дискретної двовимірної випадкової величини називається перелік всіх можливих значень цієї величини й відповідних імовірностей.

Нехай випадкова величина приймає значення , а випадкова величина - значення . Тоді значення випадкової величини - усілякі пари чисел . Відповідні ймовірності - це ймовірності того, що приймає значення а приймає значення : .

Звичайно закон розподілу двовимірної дискретної випадкової величини задають у вигляді таблиці із двома входами (таблиця 3).

Таблиця 3

			…		…
			…		…
			…		…
…	…	…	…	…	…	…
			…		…
…	…	…	…	…	…	…
			…		…

Тому що випадкова величина обов'язково прийме одне й тільки одне зі значень , то сума всіх імовірностей у клітках таблиці 3 дорівнює одиниці:

.

Знак подвійної суми – це повторне застосування символу підсумовування. Дійсно, якщо розкрити спочатку символ те одержимо:

.

Тепер розкриємо символ

Одержали суму ймовірностей, що стоять у всіх клітках таблиці 3. При перестановці символів підсумовування міняється лише порядок доданків.

У таблиці 3 кожному з відповідає ряд розподілу величини , тобто кожному значенню х відповідає набір значень величини й відповідних імовірностей. І навпаки, кожному з відповідає ряд розподілу величини .

Нехай у результаті кожного з п випробувань ми реєструємо по одному значенню досліджуваних нами величин і . Якщо ми маємо є підстави розглядати й як сумісно розподілені випадкові величини, то пари значень

можна розглядати як випадкову вибірку з генеральної сукупності всіх можливих значень двовимірної дискретної випадкової величини . У п.п. 1.4.1 і 1.4.2 була поставлена задача знаходження лінійного рівняння регресії в найпростішому випадку, коли кожна пара спостерігалася по одному разу. Розглянемо загальний випадок, коли конкретне значення х може зустрітися раз, конкретне значення раз, а та сама пара раз. Нехай і - упорядковані по зростанню різні значення й . Побудуємо таблицю 4.

Таблиця 4

			…		…
			…		…
			…		…
…	…	…	…	…	…	…
			…		…
…	…	…	…	…	…	…
			…		…

У верхньому рядку таблиці зазначені спостережувані значення ознаки , у лівому стовпці таблиці – спостережувані значення величини . На перетинанні рядків і стовпців зазначені частоти спостережуваних пар значень і . Очевидно, що

,

де - загальне число всіх спостережень.

Таблиця 4 називається кореляційною таблицею частот або просто кореляційною таблицею.

Якщо в таблиці 4 частоти замінити відносними частотами , то одержимо кореляційну таблицю відносних частот.

Очевидно, що

.

У таблиці 4 кожному спостережуваному значенню відповідає статистичний розподіл частот величини , а в кореляційній таблиці відносних частот кожному значенню відповідає статистичний розподіл відносних частот.

Кореляційна таблиця відносних частот є статистичним аналогом закону розподілу дискретної двовимірної випадкової величини (див. таблицю 3). Якщо ми хочемо за результатами досить великої кількості спостережень скласти імовірнісну модель випадкової величини ,то можемо використовувати для цього (у якості одного зі способів) кореляційну таблицю відносних частот, поклавши (точно або з округленням) значення ймовірностей рівними відповідним відносним частотам , тому що при досить більших п (статистична ймовірність).

Для приклада складемо кореляційну таблицю по вибірці, представленої в таблиці 5.

Таблиця 5

№ п/п			№ п/п			№ п/п			№ п/п			№ п/п
		0,7			0,2			0,8			0,9			0,3
		0,1			0,3			0,6			0,4			0,7
		0,2			0,8			0,3			0,7			0,4
		0,3			0,5			0,7			0,4			0,1
		0,5			0,7			0,3			0,6			0,5
		0,5			0,4			0,6			0,4			0,4
		0,5			0,4			0,5			0,7			0,3
		0,6			1,0			0,1			0,6			0,6

Розташувавши значення і у порядку зростання й підрахувавши відповідні частоти, одержимо кореляційну таблицю (таблиця 6).

Таблиця 6

0,1				–	–	–	–	–	–
0,2	–			–	–	–	–	–	–
0,3	–					–	–	–	–
0,4	–	–					–	–	–
0,5	–	–	–					–	–
0,6	–	–	–					–	–
0,7	–	–	–	–					–
0,8	–	–	–	–	–	–			–
0,9	–	–	–	–	–	–	–	–	–
1,0

Відповідна кореляційна таблиця відносних частот має такий вигляд (таблиця 7):

Таблиця 7

0,1				–	–	–	–	–	–
0,2	–			–	–	–	–	–	–
0,3	–					–	–	–	–
0,4	–	–					–	–	–
0,5	–	–	–					–	–
0,6	–	–	–					–	–
0,7	–	–	–	–					–
0,8	–	–	–	–	–	–			–
0,9	–	–	–	–	–	–	–		–
1,0	–	–	–	–	–	–	–	–

Коефіцієнт кореляції

У теорії ймовірностей було доведено, що математичне сподівання добутку двох незалежних випадкових величин дорівнює добутку їхніх математичних сподівань:

або

.

Тому, якщо для двох випадкових величин виявиться, що

, (1.6.1)

те це є ознакою того, що між і існує зв'язок. При цьому, треба думати, чим більше різниця буде відрізнятися від нуля, тим тісніше зв'язок між і , тобто логічно висловити припущення, що різниця в лівій частині рівності (1.6.1) може служити числовою характеристикою тісноти кореляційного зв'язку між і . Надалі ми побачимо, що наше припущення справедливо лише для лінійного зв'язку між і .

Недоліком запропонованої числової характеристики тісноти зв'язку є те, що її розмірність дорівнює добутку размірностей і . Щоб усунути цей недолік, для характеристики тісноти зв'язку між і у теорії ймовірностей уводиться безрозмірна величина – коефіцієнт кореляції , що визначається формулою

(1.6.2)

де – середнє квадратическое відхилення величини ,

– середнє квадратическое відхилення величини .

Аналогом математичного сподівання в математичній статистиці є середня величина, тому чисельник у формулі (1.6.2) запишеться у вигляді

.

Після приведення до загального знаменника одержуємо статистичний аналог формули (1.6.2):

. (1.6.3)

По цій формулі й обчислюється коефіцієнт кореляції в математичній статистиці. Середні квадратические відхилення, як відомо, мають такий вигляд:

. (1.6.4)

Це статистичний аналог відповідної величини в теорії ймовірностей:

.

Перелічимо деякі властивості коефіцієнта кореляції.