Сущность метода наименьших квадратов

↑

▷ Содержание

⇐ ПредыдущаяСтр 7 из 10Следующая ⇒

Уравнение приближенной регрессии существенно зависит от выбранного метода приближения. Пусть задан некоторый класс функций (базисных функций). Например, в качестве базисных функций могут использоваться степенные функции:

(2.1)

Критерием приближения в методе наименьших квадратов является функция:

(2.2)

Здесь объем выборки; экспериментальное значение выходной величины в ом опыте; значение аппроксимирующей функции в ом опыте.

Решение задачи аппроксимации табличной экспериментальной зависимости по выше приведенному критерию метода наименьших квадратов сводится к поиску таких значений параметров аппроксимирующей функции

(2.3)

при которых критерий оптимизации будет принимать минимальное значение.

Таким образом, критерий оптимизации можно записать в виде:

(2.4)

Необходимым и достаточным условием минимума функции , является выполнение условий:

. (2.5)

Частные производные будут иметь вид:

(2.6)

После преобразования уравнения будут иметь вид:

(2.7)

Это система нормальных уравнений. Поскольку выполняется условие , должен существовать хотя бы один минимум функции . Поэтому, если система уравнений имеет единственное решение, которое обеспечивает единственный минимум функции .

При изучении зависимости от одной переменной полезно для выбора вида уравнения регрессии построить эмпирическую кривую регрессии, рисунок 2.1. Для этого весь диапазон изменения на поле корреляции разбивается на интервалов . Все точки, попавшие в интервал , относят к его середине. Тогда подсчитываются частные средние для каждого интервала, то есть

(2.8)

Рисунок 2.1. Эмпирическая кривая регрессии

Здесь число точек в ом интервале;

объем выборки. (2.9)

Полученные точки последовательно соединяют отрезками прямой. Такая ломаная линия называется эмпирической линией регрессии от [3].

По виду эмпирической зависимости можно подобрать уравнение регрессии

Линейная регрессия

Пусть необходимо определить коэффициенты и для линейной регрессии по методу наименьших квадратов:

(2.10)

по выборке объема Критерий оптимизации и частное производные от него представлены в виде:

(2.11)

Система нормальных уравнений при этом будет иметь вид:

(2.13)

В матричной форме данная система имеет вид:

(2.14)

Решение данной системы уравнений может быть представлено, как

(2.15)

Из уравнения

(2.16)

получается, что коэффициент и связаны следующим уравнением

(2.17)

Это уравнение показывает, что между и существует корреляционная зависимость. Для оценки силы корреляционной связи вычисляется выборочный коэффициент корреляции , который оценивается по формуле:

(2.18)

После того, как уравнение регрессии найдено, необходимо провести статистический анализ результатов. Этот результата заключается в проверке значимости коэффициентов регрессии и адекватности уравнения. Такое исследование называется регрессионным анализом.

При этом принимаются следующие допущения:

1. Фактор определяется с пренебрежимо малой ошибкой по сравнению с ошибкой в определении Большая ошибка объясняется наличием в каждом процессе не выявленных факторов, не вошедших в уравнение регрессии.

2. Значения независимые нормально распределенные случайные величины.

3. Выборочные дисперсии с опытами, которые повторены () раз, однородны. Однородность дисперсий проверяется по критериям Кохрена или Бартлетта.

Оценка значимости коэффициентов производится по критерию Стьюдента. Для этого вычисляется оценка дисперсии коэффициента регрессии . Затем, вычисляется расчетный коэффициент Стьюдента по формуле:

(2.19)

Величина определяется по закону накопления ошибок вида:

(2.20)

Если выборочные дисперсии однородны, то

(2.21)

Незначимые коэффициенты исключаются из уравнения регрессии. Остальные коэффициенты необходимо пересчитать заново, поскольку они коррелированны друг с другом.

Адекватность модели (уравнения) проверяется по критерию Фишера:

(2.22)

Сумма квадратов адекватности Число степеней свободы дисперсии адекватности

(2.23)

Здесь число степеней свободы, связанное с остаточной дисперсией;

число степеней свободы, связанное с дисперсией воспроизводимости;

объем выборки;

количество коэффициентов в уравнении регрессии.

Сумма квадратов, связанная с дисперсией воспроизводимости:

(2.24)

Дисперсия воспроизводимости вычисляется по формуле:

(2.25)

или

(2.26)

Остаточная сумма квадратов вычисляется по формуле:

(2.27)

или

(2.28)

Если то уравнение регрессии можно считать адекватным моделируемому объекту.

Познавательные статьи:



Где возникла философия и почему?

Относительная высота сжатой зоны бетона

Сущность проекции Гаусса-Крюгера и использование ее в геодезии

Тарифы на перевозку пассажиров