Обобщенная линейная модель множественной регрессии, теорема айткена и обобщенный метод наименьших квадратов

В теореме Гаусса-Маркова предполагалось, что случайные возмущения имеют постоянную дисперсию и не коррелированы между собой. Это указывает, что ковариационная матрица имеет форму: , где — единичная матрица размерности n. В случае если существует корреляция между неточностями наблюдений либо дисперсия неточностей наблюдений не планируется постоянной, то мы выясняемся в условиях обобщенной линейной модели множественной регрессии.

Обобщенная линейная модель множественной регрессии предполагает следующую совокупность условий и соотношений:

1) ; .

Ранг неслучайной (детерминированной) матрицы предполагается равным p + 1 n, p — число предикторов, случайный вектор, n — число наблюдений;

2) — где — матрица размера n´n складывающаяся из нулей.

3) , где — положительно определенная матрица. Это указывает, что определители всех основных миноров матрицы хороши. Отметим, что главными минорами матрицы являются миноры вида:

.

Итак, в обобщенной линейной ковариации ошибок и регрессионной модели дисперсии наблюдений смогут быть произвольными.

Доказано, что при применении простого МНК для построения оценок коэффициентов в условиях обобщенной модели получается смещенная оценка ковариационной матрицы . Исходя из этого, оценки коэффициентов модели полученные по способу МНК будут несмещенными, состоятельными, но не действенными. Для получения действенных оценок необходимо применять оценки коэффициентов взятых на базе вторых способов, к примеру, на базе обобщенного способа мельчайших квадратов ОМНК.

Теорема Айткена. В классе линейных несмещенных оценок вектора коэффициентов модели оценка

(4.2)

есть действенной.

Подтверждение пребывает в сведении условий теоремы Айткена к условиям теоремы Гаусса–Маркова методом введения и соответствующих преобразований запасных переменных-векторов. Представим (4.2) в виде

(4.3)

Из (4.3) и условия вытекает несмещенность оценки . Потом, матрица W есть симметричной, другими словами , и невырожденной, другими словами ее определитель не равен нулю. Из теории матриц вытекает, что существует, по крайней мере, одна невырожденная матрица такая, что . Тогда по свойству обратных матриц справедливо равенство .

Умножим обе части обобщенной регрессионной модели слева на матрицу . Приобретаем . Введем новые вспомогательные переменные:

; (4.4)

Удостоверимся в надежности, что уравнение (4.4) удовлетворяет условиям Гаусса-Маркова и, следовательно, МНК оценки для коэффициентов уравнения (4.4) действенные. Но просто проверить, что МНК оценки для коэффициентов уравнения (4.4) являются оценками (4.2) обобщенного МНК для уравнения . Другими словами теорема Айткена будет нами доказана. Удостоверимся в надежности, что Имеем, , что и требовалось. Потом

(4.5)

Удостоверимся в надежности, наконец, что МНК оценка есть ОМНК оценкой для исходных переменных. Имеем

=

= ,

другими словами мы взяли оценку (4.2). Подтверждение теоремы завершено.

Так как оценка (4.2) в соответствии с МНК минимизирует остаточную сумму квадратов

(4.6)

то оценка ОМНК есть точкой минимума обобщенного критерия (4.6).

Устранение гетероскедастичности методом применения ОМНК требует знания матрицы ковариаций неточностей наблюдений, что не редкость на практике крайне редко. В случае если же вычислять все элементы матрицы малоизвестными размерами, то число малоизвестных вместе с параметрами модели будет равняется , другими словами превысит число наблюдений. Исходя из этого, в общем случае, задача одновременного ковариационной параметров матрицы и нахождения модели неточностей наблюдений неразрешима. Приходится накладывать дополнительные ограничения на структуру ковариационной матрицы . Значительно чаще предполагается, что ковариационная матрица вектора случайных неточностей диагональная, другими словами

. (4.7)

В случае если дисперсии , , …, известны, то использование обратной матрицы к уравнению регрессии МНК сводится к делению переменных модели в i-ом наблюдении на . Таковой способ расчета коэффициентов модели именуется взвешенным МНК. В этом случае минимизируется сумма

. (4.8)

В настоящих экономических задачах значения малоизвестны. Исходя из этого правильные значения заменяют их оценками . Сперва приобретают уравнение регрессии посредством простого МНК. После этого строят уравнение регрессии квадратов остатков на квадраты растолковывающих переменных и их попарные произведения. Приобретают расчетные (прогнозные) значения . Наконец, веса находят по формуле . Вероятен и подход Глейзера, в котором строятся регрессии модулей остатков простой МНК модели на растолковывающие переменные в разных степенях. Выбирается важнейшая регрессия и ее прогнозные значения берут за веса в ОМНК модели.

4.6. Контрольные вопросы к главе 4 «Гетероскедастичность моделей, ее методы и обнаружение устранения гетероскедастичности»

1. Дайте определение гетероскедастичности наблюдений.

2. Поведайте о тестировании гетероскедастичности на базе теста Голдфелда-Кванта.

3. Обрисуйте как используется для обнаружения гетероскедастичности тест ранговой корреляции Спирмена.

4. Каковы последствия гетероскедастичности при при применения МНК для построения модели?

5. Обрисуйте подходы к устранению гетероскедастичности основанные на преобразовании данных.

6. Сформулируйте теорему Айткена о коэффициентах обобщенного МНК.

7. Обрисуйте метод обобщенного способа мельчайших квадратов (ОМНК) для построения уравнения регрессии при гетероскедастических наблюдений.

Александр Филатов \


Также читать:

Понравилась статья? Поделиться с друзьями: