Заглавная страница Избранные статьи Случайная статья Познавательные статьи Новые добавления Обратная связь FAQ Написать работу КАТЕГОРИИ: ТОП 10 на сайте Приготовление дезинфицирующих растворов различной концентрацииТехника нижней прямой подачи мяча. Франко-прусская война (причины и последствия) Организация работы процедурного кабинета Смысловое и механическое запоминание, их место и роль в усвоении знаний Коммуникативные барьеры и пути их преодоления Обработка изделий медицинского назначения многократного применения Образцы текста публицистического стиля Четыре типа изменения баланса Задачи с ответами для Всероссийской олимпиады по праву
Мы поможем в написании ваших работ! ЗНАЕТЕ ЛИ ВЫ?
Влияние общества на человека
Приготовление дезинфицирующих растворов различной концентрации Практические работы по географии для 6 класса Организация работы процедурного кабинета Изменения в неживой природе осенью Уборка процедурного кабинета Сольфеджио. Все правила по сольфеджио Балочные системы. Определение реакций опор и моментов защемления |
Метод инструментальных переменныхСодержание книги Поиск на нашем сайте
Предполагаем, что в регрессии x = z α + ε переменные-факторы z являются случайными, и нарушена гипотеза g 2 в обобщенной формулировке: ошибка ε зави- сит от факторов z, так что корреляция между z и ошибкой ε не равна нулю. Такую
274 Глава 8. Нарушение гипотез основной линейной модели
регрессию можно оценить, имея набор вспомогательных переменных y, называ- емых инструментальными переменными. Часто инструментальные переменные называют просто инструментами. Для того, чтобы переменные y можно было использовать в качестве инстру- ментальных, нужно, чтобы они удовлетворяли следующим требованиям: 1) Инструменты y некоррелированы с ошибкой ε. (В противном случае метод даст несостоятельные оценки, как и МНК.) Если это условие не выполнено, то такие переменные называют негодными инструментами 4. 2) Инструменты y достаточно сильно коррелированы с факторами z. Если данное условие не выполнено, то это так называемые «слабые» инструменты. Если инструменты слабые, то оценки по методу будут неточными и при малом количестве наблюдений сильно смещенными. Обычно z и y содержат общие переменные, т.е. часть факторов используется в качестве инструментов. Например, типична ситуация, когда z содержит константу; тогда в y тоже следует включить константу. Пусть имеются N наблюдений, и X, Z и Y — соответствующие данные в матричном виде. Оценки по методу инструментальных переменных (сокращенно IV от англ. instrumental variables) вычисляются по следующей формуле:
Z t Y .Y t Y .−1
Y t X. (8.8)
В случае, если количество инструментальных переменных в точности равно количеству факторов, (rank Y = n + 1) получаем собственно классический ме- тод инструментальных переменных. При этом матрица Y t Z квадратная и оценки вычисляются как a IV =. Y t Z. −1 Y t Y. Z t Y. −1 Z t Y. Y t Y. −1 Y t X. Средняя часть формулы сокращается, поэтому a IV =. Y t Z. −1 Y t X. (8.9) Рассмотрим вывод классического метода инструментальных переменных, т.е. случай точной идентификации (ср. с (6.15) в главе 6): Умножим уравнение регрессии x = z α + ε слева на инструменты y (с транс- понированием). Получим следующее уравнение: y t x = y t z α + y tε.
4 В модели ошибок в переменных ошибка регрессии имеет вид ε − ε z α, где ε — ошибка в исходном уравнении, а ε z — ошибка измерения факторов z . Чтобы переменные y можно было использовать в качестве инструментов, достаточно, чтобы y были некоррелированы с ε и ε z.
8.5. М е тод ин с тру ме нта ль н ы х п е р еме нн ы х 275
Если взять от обеих частей математическое ожидание, то получится E (y t x) = E (y t z α), где мы учли, что инструменты некоррелированы с ошибкой, E (y tε) = 0. Заменяя теоретические моменты на выборочные, получим следующие нормаль- ные уравнения, задающие оценки a: Myx = Myz a,
N N Фактически, мы применяем здесь метод моментов. Метод инструментальных переменных можно рассматривать как так называе- мый д вухшаговый метод наименьших квадратов. (О нем речь еще пойдет ниже в пункте 10.3.) 1
t Y)−1 Y t Z. Заметим, что если Zj входит в число инструментов, то по
= Zj , т.е. эта переменная останется без изменений. Поэтому данную процедуру достаточно применять только к тем факторам, которые не являются инструментами (т.е. могут быть коррелированы с ошибкой). В целом для всей матрицы факторов можем записать Z c = Y (Y t Y)−1 Y t Z. 2 -й шаг. В исходной регрессии используются Z c вместо Z. Смысл состоит в том, чтобы использовать факторы «очищенные от ошибок». Получаем следующие оценки: a 2 M =. Z c t Z c. −1 Z c t x = = Z t Y. Y t Y. −1 Y t Y. Y t Y. −1 Y t Z −1 Z t Y. Y t Y. −1 Y t x =
Видим, что оценки совпадают. Если записать оценки в виде a IV = (Z c t Z)−1 Z c t x, то видно, что обобщенный метод инструментальных переменных можно рассматривать как простой метод ин- струментальных переменных с матрицей инструментов Z c.
276 Глава 8. Нарушение гипотез основной линейной модели
Другое обоснование обобщенного метода инструментальных переменных со- стоит, как и выше для классического метода, в использовании уравнений E (y t x) = = E (y t z α). Заменой теоретических моментов выборочными получим уравнения M yx = M yz a, число которых больше числа неизвестных. Идея состоит в том, чтобы невязки M yx − M yz a были как можно меньшими. Это достигается минимизацией следующей квадратичной формы от невязок:
M zy M −1 M yx.
Чтобы можно было использовать метод инструментальных переменных на практике, нужна оценка ковариационной матрицы, с помощью которой можно было бы вычислить стандартные ошибки коэффициентов и t -статистики. Такая оценка имеет вид Ma IV = s 2. Z c t Z c. −1. Здесь s 2 — оценка дисперсии ошибок σ2, например s 2 = e t e / N или s 2 = = e t e / (N − 1). Остатки рассчитываются по обычной формуле e = x − Za IV . (Здесь следует помнить, что остатки, получаемые на втором шаге тут не годят- ся, поскольку они равны x − Z c a IV . Если использовать их для расчета оценки дисперсии, то получим заниженную оценку дисперсии и ковариационной матрицы. Отсюда следует, что из регрессии второго шага можно использовать только оценки коэффициентов. Стандартные ошибки и t -статистики требуется пересчитывать.) Обсудим теперь более подробно проблему идентификации5. Чтобы можно было вычислить оценки (8.8), нужно, чтобы выполнялись следу- ющие условия: 1) Матрица инструментов должна иметь полный ранг по столбцам, иначе (Y t Y)−1 не существует. 2) Z t Y (Y t Y)−1 Y t Z должна быть невырожденной. В частности, матрица Z t Y (Y t Y)−1 Y t Z необратима, когда rank Y < rank Z. Предположим, что матрица факторов Z имеет полный ранг, т.е. rank Z = n +1.
5 См. также обсуждение идентификации в контексте систем уравнений ниже в пункте 10.2.
8.5. М е тод ин с тру ме нта ль н ы х п е р еме нн ы х 277
Т.е. если rank Y < n + 1, то уравнение неидентифицируемо, т.е. невозмож- но вычислить оценки (8.8). Таким образом, количество инструментов (включая константу) должно быть не меньше n +1 (количество регрессоров, включая кон- станту). Если rank Y > n + 1, то говорят, что уравнение сверхидентицировано. Если количество инструментов равно n + 1, то это точная идентификация. Если возможен случай сверхидентификации, то это обобщенный метод инстру- ментальных переменных. При точной идентификации (rank Y = n + 1) получаем собственно классический метод инструментальных переменных. Таким образом, необходимое условие идентификации имеет следующий вид:
rank Y “ rank Z (= n + 1).
Это так называемое порядковое условие идентификации, условие на размерность матриц. Словесная формулировка порядкового условия:
Количество инструментов Y должно быть не меньше количества ре- грессоров Z (учитывая константу).
Заметим, что можно сначала «вычеркнуть» общие переменные в Z и Y и смотреть только на количество оставшихся. Количество оставшихся инструментов должно быть не меньше количества оставшихся регрессоров.
Необходимое и достаточное условие идентификации формулируется следую- щим образом:
Матрица Z c имеет полный ранг по столбцам: rank Z c = n + 1.
Это так называемое ранговое условие идентификации. Встречаются случаи, когда ранговое условие идентификации соблюдается, но матрица Z c близка к вырожденности, т.е. в Z c наблюдается мультиколли- неарность. Например, если инструмент Zj является слабым (Zj и Y почти ор- тогональны), то Z c близка к вырожденности. Один из способов проверки того, является ли инструмент слабым, состоит в анализе коэффициентов детерминации и F -статистик в регрессиях на первом шаге.
278 Глава 8. Нарушение гипотез основной линейной модели
Упражнения и задачи
Упраж н е н ие 1
Таблица 8.1
Дано уравнение регрессии X = Z α + ε = −1. 410 z 1 + + 0. 080 z 2 + 56. 962 + ε, где ε — вектор-столбец нормальный случайных ошибок с нулевым средним и ковариационной мат- рицей
1 ρ ρ2
2 σ
N −3 (8.10)
ρ 1 ··· ρ
... ... ... ...
ρ N −1 ρ N −2 ρ N −3 ··· 1 с ρ = 0. 9 и σ2 = 21. 611. Используя нормальное распределение с незасисимыми на- блюдениями, средним 0 и ковариационной матрицей (8.10), получите 100 выборок вектора ε размерности (N × 1), k = 1 ,..., 100, где N = 20. Эти случайные векторы потом используйте вместе с известным вектором αt = = (−1. 410, 0. 080, 56. 962) и матрицей регрессоров (табл. 8.1). Сначала получите ожидаемое значения X 0 = Z α, затем, чтобы получить 100 выборок вектора X размерности (20 × 1), добавьте случайные ошибки: X 0 + ε = X.
1.1. Рассчитайте невырожденную матрицу D такую, что D −1 D t−1 = Ω.
1.2. Найдите истинную матрицу ковариации для МНК-оценки (a = (Z t Z)−1 Z t X): E. (a − α) (a − α)t. = = E.. Z t Z. −1 Z tεεt Z. Z t Z. −1. = = σ2 . Z t Z. −1 Z tΩ Z. Z t Z. −1
8.6. Упражнения и задачи 279
и истинную матрицу ковариации для ОМНК-оценки (a омнк = . Z tΩ−1 Z. −1 Z tΩ−1 X): E. (a омнк − α) (a омнк − α)t. = σ2 (Z t D t DZ) = σ2 . Z tΩ−1 Z. −1 . Результат поясните.
1.3. Используйте 10 из 100 выборок, чтобы посчитать по каждой выборке зна- чения следующих оценок:
– МНК-оценки a = (Z t Z)−1 Z t X; – ОМНК-оценки a омнк =. Z tΩ−1 Z. −1 Z tΩ−1 X; – МНК-оценки остаточной дисперсии s ˆ2 = (x − Z a) (x − Z a)t;
– ОМНК-оценки остаточной дисперсии 1 s ˆ2 (x − Za омнк) Ω− (x − Za омнк)t .
N − n − 1
Объясните результаты.
1.4. Вычислите среднее и дисперсию для 10 выборок для каждого из параметров, полученных в упражнении 1.3 и сравните эти средние значения с истинными параметрами.
1.5.
, который является первым
.ZtΩ−1 Z. −1 и S 2 , который явля-
s ˆ2 (Z t Z)−1. Сравните раз-
2
друг с другом и с соответствующими значени- ями из упражнения 1.2.
1.6. На основе результатов упражнений 1.3 и 1.5 рассчитайте значения t -статис- тики, которые могут быть использованы для проверки гипотез: H 0: α1 = 0.
1.7. Повторите упражнение 1.3 для всех 100 выборок, постройте распределения частот для оценок и прокомментируйте результаты.
280 Глава 8. Нарушение гипотез основной линейной модели
Упраж н е н ие 2
Таблица 8.2 Предположим, есть данные, состоящие из 100 выборок X, по 20 значений в каждой, сгенерированных при помощи моде- ли X = Z α + ε = α1 z 1 + α2 z 2 + 1 N β + ε, где ε i — нормально и независимо распределенная случайная величина с E (ε i) = 0,
2 (γ1 zi 2 +γ2 ) i i и σ i = e . Наблюдения за X были полу- чены с использованием следующих значений параметров: α = = (α1 α2 β)t = (−1. 410, 0. 080, 56. 962)t и γ = (γ1 γ2)t = = (0. 25, −2)t , а матрица значений факторов, упорядоченных в соответствии с величиной z 2 , имеет следующий вид (табл. 8.2).
Найдите матрицу ковариации для – ОМНК-оценки a омнк =. Z tΩ−1 Z. −1 Z tΩ−1 X; – МНК-оценки a = (Z t Z)−1 Z t X. Что вы можете сказать об относительной эффективности этих оценок? Используйте 10 из 100 выборок, чтобы посчитать по каждой выборке значения следующих оценок: – МНК-оценки a = (Z t Z)−1 Z t X;
– оценки γ = . N
i =1 .−1 N
i =1
– ОМНК-оценки a, используя найденую оценку γ. Сравните все эти оценки друг с другом и с соответствую- щими истинными значениями.
, кото- рый является первым диагональным элементом матри-
e омнк (Z tΩ−1 Z)−1, S 2 , который является первым
S 2 s ˆ2 (Z t Z)−1, а также a 1 Уайта , который является первым диагональным эле- ментом скорректированной оценки ковариационной матрицы (оценка Уайта или устойчивая к гетероскедастичности оценка). Сравните различные оцен- ки S 2 , S 2 и S 2 друг с другом и с соответствующими значениями a 1 a 1 омнк a 1 Уайта из упражнения 2.1.
8.6. Упражнения и задачи 281
2.4. На основе результатов упражнений 2.1 и 2.3 рассчитайте значения t -статис- тики, которые могут быть использованы для проверки гипотез H 0: α1 = 0. 2.5. Возьмите те же выборки, что и в упражнении 2.2, и проведите проверку на гетероскедастичность с помощью: – критерия Бартлета; – метода второй группы (метод Голдфельда—Квандта) с пропуском 4-х значений в середине выборки; – метода третьей группы (метод Глейзера). 2.6. Выполните упражнение 2.2 для всех 100 выборок и, используя результаты, оцените математическое ожидание и матрицу среднеквадратических ошибок для каждой оценки. Есть ли среди оценок смещенные? Что можно сказать об относительной эффективности МНК-оценки и ОМНК-оценки?
Упраж н е н ие 3
Предположим, есть данные, состоящие из 100 выборок X, по 20 значений в каждой, сгенерированных при помощи модели X = Z α+ε = α1 z 1 +α2 z 2 +1 N β + + ε, где ε i = ρε i −1 + η i , и η — нормально распределенная случайная величина с E (η i) = 0, E. η2. = σ2 . Наблюдения за X были получены с использованием i η следующих значений параметров: αt = (α1 α2 β) = (−1. 410, 0. 080, 56. 962),
3.1. Найдите матрицу ковариации для: – ОМНК-оценки a омнк =. Z tΩ−1 Z. −1 Z tΩ−1 X; – МНК-оценки a = (Z t Z)−1 Z t X. Что вы можете сказать об относительной эффективности этих оценок?
3.2. Используйте 10 из 100 выборок, чтобы посчитать по каждой выборке зна- чения следующих оценок: – МНК-оценки a = (Z t Z)−1 Z t X; N e i e i −1 – оценку r = i =2 ;
i i =1 – ОМНК-оценки, используя найденую оценку r.
282 Глава 8. Нарушение гипотез основной линейной модели
Сравните все эти оценки друг с другом и с соответствующими истинными значениями. 3.3. Возьмите те же выборки, что и в упражнении 3.2, и проверьте гипотезу об ав- токорреляции ошибок. 3.4. Найдите скорректированную оценку ковариационной матрицы, устойчивую к гетероскедастичности и автокорреляции (оценку Ньюи—Уэста). 3.5. Выполните упражнение 3.2 для всех 100 выборок и, используя результаты, оцените математическое ожидание и матрицу среднеквадратических ошибок для каждой оценки. Есть ли среди оценок смещенные? Что можно сказать об относительной эффективности МНК-оценки и ОМНК-оценки?
Упраж н е н ие 4 Для уравнения X = Z o α+ε = −1. 410 z 0 +0. 080 z 0 +1 N 56. 962+ε, z 1 = z 0 +ε z , 1 2 1 1
+ ε z 2 и при предположении, что ε i ∼ N (0, 21. 611), ε z 1 ∼ N (0, 21. 700) и ε z 2 ∼ N (0, 21. 800), были генерированы 20 значений выборки. Результаты при- ведены в таблице 8.3. Предполагая, что истинная матрица факторов Z 0 неизвестна, выполните сле- дующие задания: 4.1. Найдите МНК-оценки a = (Z t Z)−1 Z t X параметров уравнения регрессии X = Z α + ε = α1 z 1 + α2 z 2 + 1 N β + ε. 4.2. Рассчитайте ковариационную матрицу ошибок измерения факторов — W и ковариационный вектор — w и оцените параметры регрессии как a = (M − W)−1(m − w). 4.3. Найдите оценку через ортогональную регрессию. 4.4. Сравните эти все оценки друг с другом и с соответствующими истинными значениями.
Зада ч и
1. Какие свойства МНК-оценок коэффициентов регрессии теряются, если ошибки по наблюдениям коррелированы и/или имеют разные дисперсии? 2. Как оцениваются параметры уравнения регрессии, если известна матрица ковариации ошибок и она не диагональна с равными элементами по диа- гонали?
8.6. Упражнения и задачи 283 Таблица 8.3
284 Глава 8. Нарушение гипотез основной линейной модели
3. Рассматривается регрессионная модель X = Z α + ε. Пусть α∗ = AX — это любая несмещенная оценка параметра α. Полагая, что E (εεt) = σ2Ω, покажите, что матрица ковариации α∗ превышает матрицу ковариации αомнк = (Z tΩ−1 Z)−1 Z tΩ−1 X на какую-то положительно полуопределенную матрицу.
4. Докажите, что σ2 (x z α)t Ω−
1 (x − z α) есть оценка σ2.
N − n − 1 5. Какое преобразование матрицы наблюдений перед оценкой регрессии полез- но сделать, если среднеквадратические отклонения ошибок регрессии про- порциональны какому-либо фактору?
6. Оценивается регрессия по 10 наблюдениям. Известно, что дисперсия оши- бок для первых 5 наблюдений в два раза больше, чем дисперсия ошибок остальных 5 наблюдений. Опишите процедуру оценивания этой регрессии.
7. Рассмотрите регрессию xt = α1 t + β + ε t , t = 1 ,..., 5, где
– определите Ω; – найдите Ω−1; α1 – найдите матрицу ковариации МНК-оценки параметра α = ; β
α1 – найдите матрицу ковариации ОМНК-оценки параметра α = . β
8. Рассмотрите регрессию xt = α1 t + ε t , t = 1 ,..., 5,
– определите оценку МНК для α1 и ее дисперсию; – определите оценку ОМНК для α1 и ее дисперсию; – сравните эти оценки друг с другом и сделайте вывод.
9. Рассматривается модель X = Z α + ε, где ε i — нормально и независимо распределенная случайная величина с E (ε i) = 0 и E. ε2. = σ2 = e y i γ . i i
8.6. Упражнения и задачи 285 2 1 4 2 1
8 5 1 3 1 В предположении, что X = 6 , Z = 2 1 , Y = 1 1 , 2 1 1 0 1 9 10 1 2 1
– найдите МНК-оценки a = (Z t Z)−1 ZX; – найдите ОМНК-оценки a омнк =. Z tΩ−1 Z. −1 Z tΩ−1 X; – постройте два 95%-х доверительных интервала для α1: один непра- вильный, основанный на результатах МНК, а другой правильный, осно- ванный на результатах ОМНК; – проверьте гипотезу γ1 = 0. 10. Параметры трехфакторного уравнения регрессии оценены по 20 наблю- дениям. S 1 и S 2 — остаточные дисперсии по первой и второй половинам временного ряда. В каком случае гипотезы о гомоскедастичности следует отвергнуть? 11. Приведите примеры графиков зависимостей ошибки от времени в авторе- гресионной схеме первого порядка для случаев, когда модуль коэффициента авторегрессии превышает единицу. Что можно сказать об автокорреляции ошибок, если этот коэффициент равен нулю? 12. Ошибка в регрессии задана процессом ε i = 0. 6ε i −1 + η i, и η — нор- мально распределенная случайная величина с E (η i) = 0, E (η2) = σ2 i η и i = 1 ,..., 5. Как выглядит матрица преобразования в пространстве пе- ременных для ОМНК? 13. Проверьте, что D t D = Ω−1, где
0 ... − ... r 1 ... ··· ...
. 0 0 0 ··· 1
286 Глава 8. Нарушение гипотез основной линейной модели
··· r N −1 r 1 r ··· r N −2
r 1 ··· r
... ... ... ..
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Последнее изменение этой страницы: 2021-01-08; просмотров: 241; Нарушение авторского права страницы; Мы поможем в написании вашей работы! infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 216.73.216.198 (0.009 с.) |