Парная линейная регрессия

В случае если функция регрессии линейна, то говорят о линейной регрессии. Модель линейной регрессии (линейное уравнение) есть самый распространенным (и несложным) видом зависимости между экономическими переменными. Помимо этого, выстроенное линейное уравнение может служить начальной точкой эконометрического анализа.

К примеру, Кейнсом была предложена формула для того чтобы типа для моделирования зависимости частного потребления Сот располагаемого дохода I: , где — величина независимого потребления, b — предельная склонность к потреблению. Но при применении данной модели при анализе конкретных данных мы фактически постоянно будем иметь определенную погрешность, поскольку строгой функциональной зависимости между этими показателями нет. Но никто не будет отрицать, что люди (домохозяйства) с громадным доходом имеют большее в среднем потребление.

Эта обстановка наглядно представлена на рис. 2.

Рис. 2.

Из прошлых рассуждений ясно, что линейная регрессия (теоретическое линейное уравнение регрессии) представляет собой линейную функцию между условным математическим ожиданием зависимой переменной Y и одной растолковывающей переменной X ( — значения свободной переменной в -м наблюдении, ).

(5)

Напомним, что принципиальной в этом случае есть линейность по параметрам и уравнения.

Для отражения того факта, что каждое личное значение отклоняется от соответствующего условного математического ожидания, нужно ввести в соотношение (5) случайное слагаемое

(6)

Соотношение (6) именуется теоретической линейной регрессионной моделью; и -теоретическими параметрами (теоретическими коэффициентами) регрессии; — случайным отклонением.

Следовательно, личные значения представляются в виде суммы двух компонент — систематической и случайной ( ), обстоятельство появления которой достаточно детально рассмотрена ранее. В общем виде теоретическую линейную регрессионную модель будем воображать в виде

. (7)

Для определения значений теоретических коэффициентов регрессии нужно знать и применять все значения переменных X и Y главной совокупности, что фактически нереально.

Так, задачи линейного регрессионного анализа пребывают в том, дабы по имеющимся статистике , , для переменных X и Y:

а) взять наилучшие оценки малоизвестных параметров аиb;

б) проверить статистические догадки о параметрах модели;

в) проверить, достаточно ли прекрасно модель согласуется со статистическими данными (адекватность модели данным наблюдений).

Следовательно, по выборке ограниченного количества мы сможем выстроить так именуемое эмпирическое уравнение регрессии

, (8)

где — оценка условного математического ожидания ; и — оценки малоизвестных параметров аи b,именуемые эмпирическими коэффициентами регрессии. Следовательно, в конкретном случае

(9)

где отклонение — оценка теоретического случайного отклонения .

В силу несовпадения статистической базы для выборки оценки и генеральной — совокупности и фактически постоянно отличаются от подлинных значений коэффициентов аи b что ведет к несовпадению эмпирической и теоретической линий регрессии. Разные выборки из одной и той же главной совокупности в большинстве случаев приводят к определению отличающихся друг от друга оценок.

Задача пребывает в том, дабы по конкретной выборке , , отыскать неизвестных параметров и оценки аи bтак, дабы выстроенная линия регрессии являлась бы наилучшей в определенном смысле срели остальных прямых. Иначе говоря выстроенная прямая должна быть «ближайшей» к точкам наблюдений по их совокупности. Мерами качества отысканных оценок могут служить определенные композиции отклонений , . К примеру, коэффициенты и эмпирического уравнения регрессии смогут быть оценены исходя из условия минимизации следующей суммы:

.

Данный способ нахождения коэффициентов есть самым распространенным и теоретически обоснованным. Он стал называться способ мельчайших квадратов (МНК). Данный способ оценки есть самоё простым с вычислительной точки зрения. Помимо этого, оценки коэффициентов регрессии, отысканные МНК при определенных предпосылках, владеют рядом оптимальных особенностей.

Среди вторых способов определения оценок коэффициентов регрессии отметим способ моментов (ММ) и способ большого правдоподобия (ММП).

4. Способ мельчайших квадратов

Пускай по выборке , , требуется выяснить эмпирического уравнения и оценки регрессии (8). В этом случае при применении МНК минимизируется следующая функция (рис. 3):

. (10)

Рис. 3.

Нетрудно подметить, что функция Qявляется квадратичной функцией двух параметров и ( ), потому, что , — узнаваемые эти наблюдений. Так как функция Qнепрерывна, выпукла и ограничена снизу , то она имеет минимум.

Нужным условием существования минимума функции двух переменных (10) есть равенство нулю ее частных производных по малоизвестным параметрам и [1]:

(11)

(12)

Так как , , , для заданной выборки являются по сути числами, то имеем совокупность 2-х линейных алгебраических уравнений с двумя малоизвестными и , решить которую возможно любым из известных способов (подстановкой, Гаусса, Крамера, обратной матрицы).

Комфортно взять и пользоваться готовыми формулами для вычисления коэффициентов регрессии. Введем средние арифметические

, , , .

Поделив оба уравнения совокупности (12) на п, возьмём:

(13)

Так, по МНК оценки параметров и определяются по формулам (13).

Нетрудно подметить, что возможно вычислить по формуле:

. (14)

Тогда

(15)

где rxy- выборочный коэффициент корреляции; Sx, Sy — стандартные отклонения. Так, коэффициент регрессии пропорционален ковариации и коэффициенту корреляции, а коэффициенты пропорциональности помогают для соизмерения перечисленных разномерных размеров.

Итак, в случае если коэффициент корреляции rхууже вычислен, то легко возможно отыскан коэффициент парной регрессии по формуле (15).

В случае если, не считая уравнения регрессии Y на X( ), для тех же эмпирических данных отыскано уравнение регрессии Xна Y ( ), то произведение коэффициентов и равняется :

. (16)

Напомним, что коэффициенты и находятся по формулам, подобным формулам (13):

(17)

Характеристики оценок, приобретаемых по этому способу, следуют из теоремы Гаусса-Маркова.

Теорема Гаусса-Маркова. В догадках для парной линейной регрессионной модели с пространственной выборкой оценки коэффициентов регрессии а и b, полученные способом мельчайших квадратов, имеют мельчайшую дисперсию в классе всех линейных несмещенных оценок.

Неспециализированный суть: оценки коэффициентов линейной регрессии аи b, полученные способом мельчайших квадратов, являются в определенном смысле «наилучшими» из всех оценок.

Выводы

Совершённые формулы и рассуждения 10 — 17 разрешают сделать последовательность выводов:

1. Оценки МНК являются функциями от выборки, что разрешает их легко рассчитывать.

2. Оценки МНК являются точечными оценками теоретических коэффициентов регрессии.

3. В соответствии с второй формуле соотношения (13), эмпирическая прямая регрессии в обязательном порядке проходит через точку .

4. Эмпирическое уравнение регрессии выстроено так, что сумма отклонений , и среднее значение отклонения равны нулю.

Вправду, из формулы в соотношении (11) направляться, что .

5. Случайные отклонения не коррелированы с замечаемыми значениями зависимой переменной Y.

Для обоснования данного утверждения продемонстрируем, что ковариация между Y и еравна нулю. Вправду,

.

Продемонстрируем, что .Просуммировав по все соотношения (9), возьмём: , так как .

Поделив последнее соотношение на п, имеем: .

Вычитая из (9) полученное соотношение, приходим к следующей формуле:

. (18)

Тогда

.

Следовательно, .

6. Случайные отклонения не коррелированы с замечаемыми значениями свободной переменной X.

Вправду, в силу второй формулы совокупности (11) (подтверждение выносится для независимой работы). Случайные отклонения , не коррелированы с замечаемыми значениями зависимой переменной Y.

Вопросы для самоподготовки

1. Что такое функция регрессии?

2. Чем регрессионная модель отличается от функции регрессии?

3. Назовите главные обстоятельства наличия в регрессионной модели случайного отклонения.

4. Назовите главные этапы регрессионного анализа.

5. Что понимается под спецификацией модели, и как она осуществляется?

6. В чем состоит различие между теоретическим и эмпирическим уравнениями регрессии?

7. Дайте определение теоретической линейной регрессионной модели.

8. В чем сущность способа мельчайших квадратов (МНК)?

9. Приведите формулы расчета коэффициентов эмпирического парного линейного уравнения регрессии по МНК.

10. Как связаны эмпирические коэффициенты линейной регрессии с выборочным коэффициентом корреляции между переменными уравнения регрессии?

11. Какие конкретно выводы возможно сделать об оценках случайного отклонения и коэффициентов регрессии, взятых по МНК?

12. Проинтерпретируйте коэффициенты эмпирического парного линейного уравнения регрессии.

13. Какое из следующих утверждений действительно, ложно, не выяснено? Из-за чего?

а) отклонение и Случайная погрешность совпадают.

б) В регрессионной модели растолковывающая переменная есть причиной трансформации зависимой переменной.

в) Линейное уравнение регрессии есть линейной функцией относительно входящих в него переменных.

г) Коэффициенты теоретического и эмпирического уравнений регрессии являются по сути СВ.

д) Значения растолковывающей переменной парного линейного уравнения регрессии являются СВ.

е) Коэффициент эмпирического парного линейного уравнения регрессии показывает процентное изменение зависимой переменной Y при однопроцентном трансформации X.

ж) Коэффициент регрессии Y на X имеет тот же символ, что и коэффициент корреляции .

з) МНК эргономичен тем, что нахождение оценок коэффициентов регрессии сводится к ответу совокупности линейных алгебраических уравнений.

и) Парная линейная регрессионная модель имеет не сильный практическую значимость, поскольку каждая экономическая переменная зависит не от одного, а от солидного числа факторов.

14. Возможно ли ожидать, с вашей точки зрения, наличия зависимости между следующими показателями:

а) ВНП и количество чистого экспорта;

б) процентная ставка и объём инвестиций;

в) затраты на расходы и оборону на образование;

г) оценки в школе и оценки в университете;

д) доход и объём импорта на одного человека в некоей стране;

е) цена на кофе и цена на чай?

При утвердительного ответа оцените направление зависимости (прямая либо обратная), и решите, какая из переменных будет в этих обстоятельствах растолковывающей, а какая — зависимой.

15. Как вы вычисляете, в случае если по одной и той же выборке вычислены регрессии Y на X и X на Y, то совпадут ли в этом случае линии регрессии?

16. Сущность МНК пребывает в:

а) минимизации суммы квадратов коэффициентов регрессии;

б) минимизации суммы квадратов значений зависимой переменной;

в) минимизации суммы квадратов отклонений точек наблюдений от уравнения регрессии;

г) минимизации суммы квадратов отклонений точек эмпирического уравнения регрессии от точек теоретического уравнения регрессии.

Выберите верные ответы.

17. В случае если переменная X принимает среднее по выборке значение , то:

а) замечаемая величина зависимой переменной Y равна среднему значению ;

б) вычисленное по уравнению регрессии значение переменной Y в среднем равняется , но не обязательно равняется ему в каждом конкретном случае;

в) вычисленное по уравнению регрессии значение переменной Y равняется среднему значению ;

г) отклонение значения минимально срели остальных отклонений.

Какой из выводов вам представляется верным и из-за чего?

[1] В последующих формулах для упрощения символы сумм будем писать без индексов, предполагая, что суммирование ведется от до . Кроме этого для переменных с индексом будем подразумевать, что (если не указано иное).

Лекция 16: Уравнение парной линейной регрессии


Также читать:

Понравилась статья? Поделиться с друзьями: