Свойства оценок выборочных коэффициентов регрессии, полученных методом наименьших квадратов. теорема гаусса-маркова

регрессия и Корреляция взаимосвязаны между собой – корреляция исследует силу(тесноту) связи, регрессия исследует её форму. И та и вторая помогают для установления соотношения между явлениями, для определения наличия либо отсутствия связи. По форме зависимости различают линейную регрессию (уравнение прямой ?x = a0 + a1x) и нелинейную ( парабола ?x=a0 + a1 * x + a2*x^2, преувеличение и т.д.). Направление связи – прямая, обратная.

Целью регрессионного анализа есть оценка функциональной зависимости математического ожидания результативного показателя У от факторных (х1, х2,…).

Способ мельчайших квадратов (МНК, OLS, Ordinary Least Squares) — один из базисных способов регрессионного анализа для оценки малоизвестных параметров регрессионных моделей по выборочным данным. Способ основан на минимизации суммы квадратов остатков регрессии.

Оценки, полученные по МНК, владеют следующими особенностями:

1. Оценки параметров являются несмещенными, т. е. M(b1) = ?1, M(b0) = ?0 (математические ожидания оценок параметров равны их теоретическим значениям). Это вытекает из того, что M(?i) = 0, и говорит об отсутствии систематической неточности в определении положения линии регрессии. Оценка, для которой смещение – разность между его оценкой и значением параметра – пытается к нулю при возрастании выборки – есть асимптотически несмещенной.

2. Оценки параметров состоятельны, в случае если при повышении количества выборки надежность оценок возрастает (b1 точно близко к ?1, b0 — близко к ?0), т.е. D(b0) 0, D(b1) 0 при n ? .

3. Оценки параметров действенны, т. е. они имеют мельчайшую дисперсию по сравнению с другими оценками данных параметров, линейными относительно величин yi.

Т.е. МНК-оценки являются несмещенными линейными оценками с минимальной дисперсией, имеющими обычное распределение.

В взятом уравнении регрессии параметр а0 показывает усредненное влияние на результативный показатель неучтенных факторов; параметр а1, а2 и т.д. показывает, как в среднем изменяется значение результативного показателя при повышении факторного на единицу собственного измерения.

Теорема Гаусса-Маркова.

Как мы знаем, что для получения по МНК отличных показателей требуется, дабы выполнялся последовательность предпосылок довольно случайного отклонения. Их кроме этого именуют предпосылками Гаусса-Маркова. Теорема Гаусса-Маркова гласит, что наилучшие оценки параметров уравнения регрессии смогут быть взяты при необходимом соблюдении следующих предпосылок:

1. Математическое ожидание случайного отклонения еi равняется нулю: M(еi) = 0 для всех наблюдений.

Данное условие свидетельствует, что случайное отклонение в среднем не оказывает влияния на зависимую переменную, случайный член возможно хорошим либо отрицательным, но он не должен иметь систематического смещения.

2. Дисперсия случайных отклонений постоянна: D(?ij) = ?2 = const для любых наблюдений i и j.

Условие независимости дисперсии неточности от номера наблюдения именуется гомоскедастичностью (homoscedasticity). Невыполнимость данной предпосылки именуется гетероскедастичностью (heteroscedasticity).

Потому, что D(?)=M((?j — M?j))2 = M(?2), то эту предпосылку возможно переписать в форме: M(е2i) = ?2.

3. Случайные отклонения ?i и ?j являются свободными друг от друга для i ? j. Выполнимость данной предпосылки предполагает, что отсутствует систематическая связь между любыми случайными отклонениями. определённый знак и Величина любого случайного отклонения не должны быть обстоятельствами знака и величины любого другого отклонения.

Выполнимость данной предпосылки влечет следующее соотношение:

В случае если данное условие выполняется, то возможно сказать об отсутствии автокорреляции.

4. Случайное отклонение должно быть независимо от растолковывающих переменных.

Данное условие предполагает выполнимость следующего соотношения:

Увидим, что выполнимость данной предпосылки не столь критична для эконометрических моделей.

5. Модель есть линейной относительно параметров. Для случая множественной линейной регрессии значительными являются еще две предпосылки.

6. Отсутствие мультиколлинеарности. Между растолковывающими переменными отсутствует сильная линейная зависимость.

7. Случайные отклонения ?i, i = 1, 2, … , n, имеют обычное распределение.

Выполнимость данной предпосылки серьёзна для проверки статистических построения и гипотез интервальных оценок.

Наровне с этим, имеется еще кое-какие предположения. К примеру:

  • растолковывающие переменные не являются случайными размерами;
  • число наблюдений намного больше числа растолковывающих переменных (числа факторов уравнения);
  • отсутствуют неточности спецификации, т. е. верно выбран вид уравнения и в него включены все нужные переменные.

Обратная ее использование и матрица во множественном регрессионном анализе

На практике рекомендуется, дабы число наблюдений (n)превышало число разбираемых показателей (m) не меньше, чем в пять-шесть раз.
Для расчета вектора оценок коэффициентов регрессии по способу мельчайших квадратов употребляется формула
, (2.4)
где
; ; ;

где
– транспонированная матрица X;
– матрица, обратная матрице .
Для устранения единиц различия измерения и влияния дисперсий отдельных переменных на результаты регрессионного анализа во многих случаях целесообразно вместо исходных значений переменных применять нормированные значения . В этом случае уравнение множественной линейной регрессии будет иметь следующий вид:
(1.5)
где – нормированное значения отклика ;
– нормированные значения предикторов (свободных переменных – ,);
— нормированные коэффициенты регрессии, каковые смогут быть вычислены исходя из следующей совокупности уравнений:

Лекция 6: Статистические особенности МНК оценок параметров линейной регрессии


Также читать:

Понравилась статья? Поделиться с друзьями: