Спецификация регрессионной модели. Реферат: Шпоры по эконометрике

Основной целью множественной регрессии является построение модели с большим числом факторов и определение при этом влияния каждого из факторов в отдельности на результат, а так же определение совокупного воздействия факторов на моделированный показатель.

Спецификация модели множественной регрессии включает в себя отбор фактора и выбор вида математической функции (выбор вида уравнения регрессии). Факторы, включаемые во множественную регрессию должны быть количественно измеримы и не должны быть интеркоррелированы и тем более находиться в точной функциональной связи (т.е. должны в меньшей степени влиять друг на друга, а в большей степени на результативный признак).

Включаемые во множественную регрессию факторы должны объяснять вариацию независимой переменной. Например, если строится модель с набором - факторов, то для нее находится значение показателя детерминации , который фиксирует долю объясненной вариации результативного признака за счет - факторов.

Влияние других неучтенных факторов в модели оценивается как соответствующей остаточной дисперсии .

При включении в модель дополнительного фактора значение показателя детерминации должно возрастать, а значение остаточной дисперсии должно уменьшиться. Если этого не происходит, то дополнительный фактор не улучшает модель и практически является лишним, причем введение такого фактора может привести к статистической не значимости параметров регрессии по - критерию Стьюдента.

Отбор факторов для множественной регрессии осуществляется в две стадии:

1. Подбираются факторы, исходя из сущности проблемы.

2. На основе матрицы показателей корреляции определяют статистики для параметров регрессии.

Коэффициенты корреляции между объясняющими переменными , которые еще называют коэффициентами интеркорреляции, позволяют исключить из модели дублирующие факторы.

Две переменные и называют явно коллинеарными, если коэффициент корреляции .

Если переменные явно коллинеарны, то они находятся в сильной линейной зависимости.

При наличии явно коллинеарных переменных предпочтение отдается не фактору более тесно связанному с результатом, а фактору, который при этом имеет наименьшую тесноту связи с другими факторами.

По величине парных коэффициентов корреляции обнаруживается лишь явная коллениарность факторов.

При использовании множественной регрессии может возникнуть мультиколлениарность фактов, т.е. более чем два фактора связаны между собой линейной зависимостью. В таких случаях менее надежным становится МНК при оценке отдельных факторов, результатом чего становится затруднение интерпретации параметров множественной регрессии как характеристик действия фактора в чистом виде. Параметры линейной регрессии теряют экономический смысл, оценки параметров ненадежны, возникают большие стандартные ошибки, которые при этом могут изменяться с изменением объема наблюдений, т.е. модель становится непригодной для анализа и прогнозирования экономической ситуации. Для оценки мультиколлениарности фактора используют следующие методы:

1. Определение матрицы парных коэффициентов корреляции между факторами, например, если задана линейная модель множественной регрессии , то определитель матрицы парных коэффициентов примет вид:

Если значение данного определителя равно 1

,

то факторы являются неколлинеарными между собой.

Если между факторами существует полная линейная зависимость, то все коэффициенты парной корреляции равны 1, в результате чего

.

2. Метод испытания гипотезы о независимости переменных. В этом случае нулевая гипотеза , доказано, что величина имеет приближенное распределение с числом степеней свободы .

Если , то нулевая гипотеза отклоняется.

Определяя и сравнивая между собой коэффициенты множественной детерминации фактора, используя в качестве зависимой переменной последовательно каждой из факторов можно определить факторы, ответственные за мультиколлениарность, т.е. фактор с наибольшим значением величины .

Существуют следующие способы преодоления сильной межфакторной корреляции:

1) исключение из модели одного или несколько данных;

2) преобразование факторов для уменьшения корреляции;

3) совмещение уравнения регрессии, которые будут отражать не только факторы, но и их взаимодействие;

4) переход уравнения приведенной формы и др.

При построении уравнения множественной регрессии одним из важнейших этапов является отбор факторов, включаемых в модель. Различные подходы к отбору факторов на основе показателей корреляции к различным методам, среди которых наиболее применимы:

1) Метод исключения – производится отсев данных;

2) Метод включения – вводят дополнительный фактор;

3) Шаговый регрессионный анализ – исключают ранее введенный фактор.

При отборе факторов применяют следующее правило: число включаемых факторов обычно в 6-7 раз меньше объема совокупности, по которой строится модель.

Параметр не подлежит экономической интерпретации. В степенной модели нелинейное уравнение множественной регрессии коэффициенты , ,…, являются коэффициентами эластичности, которые показывают насколько, в среднем, изменится результат при изменении соответствующего фактора на 1% при неизменном воздействии остальных факторов.

Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели. Он включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии.

Включение в уравнение множественной регрессии того или иного набора факторов связано прежде всего с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям.

Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность.

Факторы не должны быть интеркоррелированы и тем более находиться в точной функциональной связи.

Отбор факторов производится на основе качественного теоретико-экономического анализа. Однако теоретический анализ часто не позволяет однозначно ответить на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы исходя из сущности проблемы; на второй – на основе матрицы показателей корреляции определяют статистики для параметров регрессии.

Коэффициенты интеркорреляции (т.е. корреляции между объясняющими переменными) позволяют исключать из модели дублирующие факторы. Считается, что две переменные явно коллинеарны , т.е. находятся между собой в линейной зависимости, если. Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами. В этом требовании проявляется специфика множественной регрессии как метода исследования комплексного воздействия факторов в условиях их независимости друг от друга.

По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов, когда более чем два фактора связаны между собой линейной зависимостью, т.е. имеет место совокупное воздействие факторов друг на друга.

Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами.

Чем ближе к нулю определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И, наоборот, чем ближе к единице определитель матрицы межфакторной корреляции, тем меньше мультиколлинеарность факторов.

Существует ряд подходов преодоления сильной межфакторной корреляции. Самый простой путь устранения мультиколлинеарности состоит в исключении из модели одного или нескольких факторов. Другой подход связан с преобразованием факторов, при котором уменьшается корреляция между ними.

При отборе факторов также рекомендуется пользоваться следующим правилом: число включаемых факторов обычно в 6–7 раз меньше объема совокупности, по которой строится регрессия. Если это соотношение нарушено, то число степеней свободы остаточной дисперсии очень мало. Это приводит к тому, что параметры уравнения регрессии оказываются статистически незначимыми, а -критерий меньше табличного значения.

Лекция 4. Нелинейная регрессия

Рассматриваемые вопросы

1. Спецификация модели

2. Классификация нелинейных функций

3. Отдельные виды нелинейных регрессий:

3.1. парабола;

3.2. равносторонняя гипербола;

3.3. степенная функция.

4. Коэффициенты эластичности в нелинейных регрессиях.

5. Корреляция для нелинейной регрессии.

Спецификация модели

Эконометрика как система специфических методов начала развиваться с осознания своей главной задачи – отражения связей экономических переменных. Многие экономические процессы наилучшим образом описываются нелинейными соотношениями, например, функциями спроса и производственными функциями. С этой целью в уравнение регрессии начали включаться переменные не только в первой, но и второй степени – с целью отразить свойства оптимальности экономических переменных, то есть наличия значений, при которых достигается минимальное или максимальное воздействие на зависимую переменную. Таково, например, влияние внесения удобрений на урожайность (до определенного уровня насыщение почвы удобрениями способствует росту урожайности, а по достижении оптимального уровня насыщение его дальнейшее наращивание может привести к снижению урожайности). То же можно сказать о воздействии многих социально-экономических переменных, например, влияния дохода на потребление некоторых продуктов питания. В условиях конкретной выборки данных нелинейность влияния переменных может и не подтвердиться, если эти данные варьируют в узких пределах, то есть являются однородными.

Предполагая, что ошибки измерения переменных сведены к минимуму, основное внимание в эконометрических исследованиях уделяется ошибкам спецификации модели, то есть ошибкам, вызванным неверным видом уравнения регрессии.

В парной регрессии выбор вида математической функции, моделирующей связь переменных, может быть осуществлен тремя методами:

1) графическим;

2) аналитическим, то есть исходя из теории изучаемой взаимосвязи;

3) экспериментальным.

При изучении зависимости между двумя признаками наиболее наглядным является графический метод подбора уравнения. Он основан на построении поля корреляции. Основные типы кривых, используемых при количественной оценке связей, представлены на слайде (рис.4.1).

Класс математических функций для описания связи двух переменных достаточно широк. Кроме указанных, используются и другие типы кривых.

Значительный интерес представляетаналитический метод выбора типа уравнения регрессии. Он основан на изучении материальной природы связи исследуемых переменных. Пусть, например, изучается потребность предприятия в электроэнергии у в зависимости от объема выпускаемой продукции х . Все потребление электроэнергии можно подразделить на две части:

1) не связанное с производством продукции (а);

2) непосредственно связанное с объемом выпускаемой продукции, пропорционально возрастающее с увеличением объема выпуска (в*х) – слайд.

Тогда зависимость потребления электроэнергии от объема продукции можно выразить уравнением регрессии вида

у = а + вх. 4.1.

Если затем разделить обе части уравнения на величину объема выпуска продукции (х), то получим выражение зависимости удельного расхода электроэнергии на единицу продукции z = у/х от объема выпущенной продукции (х) в виде уравнения равносторонней гиперболы

z = в + а/х. 4.2.

Аналогично, текущие производственные затраты предприятия могут быть подразделены на условно-постоянные и условно-переменные, и тогда зависимость себестоимости единицы продукции от объемов производства также характеризуется равносторонней гиперболой.

Выбор вида уравнения регрессии экспериментальным методом обычно осуществляется при обработке информации на компьютере путем сравнения величины остаточной дисперсии, рассчитанной при разных моделях. Чем меньше величина остаточной дисперсии, тем в меньшей мере наблюдается влияние прочих, не учитываемых в уравнении регрессии факторов, тем лучше уравнение регрессии подходит к исходным данным.

Шпоры по эконометрике.

№ 1. СПЕЦИФИКАЦИЯ МОДЕЛИ

Простая регрессия представляет собой регрессию между двумя переменными -у и х, т.е. модель вида

Множественная регрессия представляет собой регрессию результативного признака с двумя и большим числом факторов, т. е. модель вида

Специ­фикация модели - формулировка вида модели, исходя из со­ответствующей теории связи между переменными. В урав­нении регрессии корреляционная по сути связь признаков представляется в виде функциональной связи, выраженной соответствующей математической функцией.

y xj -теоретическое значение результативного признака.

- случайная величина, характеризующая отклонения реального значения результативного признака от теоретического.

Случайная величина ε называется также возмущением. Она включает влияние не учтенных в модели факторов, случайных ошибок и особенностей измерения.

От правильно выбранной спецификации модели за­висит величина случайных ошибок: они тем меньше, чем в боль­шей мере теоретические значения результативного признака

К ошибкам спецификации относятся непра­вильный выбор той или иной математической функции для

Ошиб­ки выборки - исследователь чаще всего имеет дело с выборочными данными при установлении закономерной связи между признаками.

Ошибки измерения практически сводят на нет все усилия по количественной оценке связи между признаками. Основное внимание в эконометрических исследованиях уделяется ошибкам спецификации модели.

В парной регрессии выбор вида математической функции

Графи­ческий метод основан на поле корреляции. Аналитический метод основан на изучении материальной природы связи исследуемых признаков.

Экспериментальный метод осуществляется путем сравнения величины остаточной дисперсии D ост, рассчитанной при разных моделях. Если фактические значения результативного признака совпадают с теоретическими у =

Чем меньше величина остаточной дисперсии, тем лучше уравнение регрессии подходит к исходным данным. Число наблюдений должно в 6 - 7 раз превышать число рассчитывае­мых параметров при переменной х.

№ 2 ЛИНЕЙНАЯ РЕГРЕССИЯ И КОРРЕЛЯЦИЯ: СМЫСЛ И ОЦЕНКА ПАРАМЕТРОВ.

Линейная регрессия сводится к нахождению уравнения вида

Уравнение вида

Построение линейной регрессии сводится к оценке ее пара­метров а и в.

Оценки параметров линейной регрессии могут быть найдены разными методами.

Параметр b называется коэффициентом регрессии. Его вели­чина показывает среднее изменение результата с изменением фактора на одну единицу.

Формально а - значение у при х = 0. Если признак-фактор
не имеет и не может иметь нулевого значения, то вышеуказанная
трактовка свободного члена, а не имеет смысла. Параметр, а может
не иметь экономического содержания. Попытки экономически
интерпретировать параметр, а могут привести к абсурду, особенно при а < 0.

Интерпретировать можно лишь знак при параметре а. Если а > 0, то относительное изменение результата происходит медленнее, чем изменение фактора.

Уравнение регрессии всегда дополняется показателем тесноты связи. При использовании линейной регрессии в качестве такого показателя выступает линейный коэффициент корреляции r xy . Существуют разные модификации формулы линейного коэф­фициента корреляции.

Линейный коэффициент корреляции находится и границах: -1≤. r xy ≤ 1. При этом чем ближе r к 0 тем слабее корреляция и наоборот чем ближе r к 1 или -1, тем сильнее корреляция, т.е. зависимость х и у близка к линейной. Если r в точности =1или -1 все точки лежат на одной прямой. Если коэф. регрессии b>0 то 0 ≤.r xy ≤ 1 и наоборот при b<0 -1≤.r xy ≤0. Коэф. корреляции отражает степени линейной зависимости м/у величинами при наличии ярко выраженной зависимости др. вида.

Для оценки качества подбора линейной функции рассчитывается квадрат линейного коэффициента корреляции

№ 3. МНК.

МНК позволяет получить такие оценки параметров а и b , которых сумма квадратов отклонений фактических значений ре­зультативного признака (у) от расчетных (теоретических)

№ 4. ОЦЕНКА СУЩЕСТВЕННОСТИ ПАРАМЕТРОВ ЛИНЕЙНОЙ РЕГРЕССИИ И КОРРЕЛЯЦИИ .

Оценка значимости уравнения регрессии в целом дается с по­мощью F-критерия Фишера. При этом выдвигается нулевая ги­потеза, что коэффициент регрессии равен нулю, т. е. b = 0, и следовательно, фактор х не оказывает влияния на результат у.

Непосредственному расчету F-критерия предшествует анализ дисперсии. Центральное место в нем занимает разложе­ние общей суммы квадратов отклонений переменной у от средне го значения у на две части - «объясненную» и «необъясненную»:

Любая сумма квадратов отклонений связана с числом степе­ней свободы, т. е. с числом свободы независимого варьирования признака. Число степеней свободы связано с числом единиц совокупности nис числом определяемых по ней констант. Применительно к исследуемой проблеме число cтепеней свободы должно показать, сколько независимых откло­нений из п возможных требуется для образования данной суммы квадратов.

Дисперсия на одну степень свободы D .

F-отношения (F-критерий):

Ecли нулевая гипотеза справедлива, то факторная и остаточная дисперсии не отличаются друг от друга. Для Н 0 необходимо опровержение, чтобы факторная дисперсия превышала остаточную в несколько раз. Английским статистиком Снедекором раз­работаны таблицы критических значений F-отношений при разных уровнях существенности нулевой гипотезы и различном числе степеней свободы. Табличное значение F-критерия - это максимальная величина отношения дисперсий, которая может иметь место при случайном их расхождении для данного уровня вероятности наличия нулевой гипотезы. Вычисленное значение F-отношения признается достоверным, если о больше табличного. В этом случае нулевая гипотеза об отсутствии связи признаков отклоняется и делается вывод о существенности этой связи: F факт > F табл Н 0 отклоняется.

Построение уравнения регрессии начинается с решения вопроса о спецификации модели, т.е. формулировки вида модели, исходя из теории, устанавливающей связь между явлениями. Она включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии. Из всего круга факторов, влияющих на результативный признак, необходимо выделить наиболее существенно влияющие факторы.

От правильно выбранной спецификации модели зависит величина случайных ошибок: они тем меньше, чем в большей мере теоретические значения результативного признака подходят к фактическим данным.

К ошибкам спецификации будут относиться не только неправильный выбор той или иной математической функции, а также влияние лишней переменной и недоучет в уравнении регрессии какого-либо существенного фактора.

Влияние неучтенной переменной.

Пусть - истинная модель.

Т.о. по МНК: (для ложной модели).

А на самом деле: - несмещенная, эффективная, состоятельная.

Т.е. - смещенная оценка параметра (т.к. в модель не включен ).

Рассмотрим величину смещения оценки : .

В истинной модели и прямо воздействуют на у с силой воздействия и соответственно. В ложной модели прямо воздействуют на у с силой воздействия , а также замещает переменную в ее воздействии на у, т.е. имеет место эффект замещения .

Это замещение возможно, т.к. , т.е. между и есть связь: , где по МНК.

Влияние лишней переменной.

Пусть - истинная модель.

Будем рассматривать ложную модель . По выборке для этой модели мы оценили уравнение регрессии: .

Т.к. на самом деле , то - оценка , т.е.

При этом , т.е. - несмещенная оценка.

Однако (см. условия Г-М).

Т.о. оценка - неэффективная. Она менее точная, чем . Учет лишней переменной дает неточную оценку параметра.

Мультиколлинеарность.

Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям:

1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность.

2. Включаемые во множественную регрессию факторы должны объяснять вариацию независимой переменной. При дополнительном включении в регрессию фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться. Если этого не происходит, то включаемый фактор не улучшает модель и практически является лишним фактором. Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии и не увеличивает показатель детерминации, но и приводит к статистической незначимости параметров регрессии по критерию Стьюдента.

3. Факторы не должны быть интеркоррелированы и тем более находиться в точной функциональной связи.

Включение в модель факторов с высокой интеркорреляцией, когда для зависимости может привести к нежелательным последствиям – система нормальных уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии.

Отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы исходя из сущности проблемы; на второй – на основе матрицы показателей корреляции.

Матрица коэффициентов корреляции:

Коэффициенты интеркорреляции (т.е. корреляции между объясняющими переменными) позволяют исключать из модели дублирующие факторы. Считается, что две переменные явно коллинеарны, т.е. находятся между собой в линейной зависимости, если ( - парный коэффициент корреляции).

Если факторы явно коллинеарны, то они дублируют друг друга, и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами. В этом требовании проявляется специфика множественной регрессии как метода исследования комплексного воздействия факторов в условиях их независимости друг от друга.

Очевидно, что факторы x и z дублируют друг друга. В анализ целесообразно включить фактор z , а не х, так как корреляция z с результатом у слабее, чем корреляция фактора х с у (), но зато слабее межфакторная корреляция . Поэтому в данном случае в уравнение множественной регрессии включаются факторы z, v.

По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов.

Наибольшие трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов, когда более чем два фактора связаны между собой линейной зависимостью, т.е. имеет место совокупное воздействие факторов друг на друга.

Мультиколлинеарность – ситуация, при которой линейная зависимость между независимыми переменными приводит к получению неэффективных, ненадежных оценок линейной регрессии.

Реальная (частичная) мультиколлинеарность возникает в случае существования достаточно тесных статистических связей между объясняющими переменными.

Наличие мультиколлинеарности факторов может означать, что некоторые факторы всегда будут действовать вместе. В результате вариация в исходных данных перестает быть полностью независимой, и нельзя оценить воздействие каждого фактора в отдельности. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка распределения суммы объясненной вариации по отдельным факторам с помощью МНК:

предполагается, что , где

Общая сумма квадратов отклонений ;

Факторная (объясненная) сумма квадратов отклонений ;

Остаточная сумма квадратов отклонений .

В свою очередь, при независимости факторов друг от друга выполнимо равенство

Где

Суммы квадратов отклонений, обусловленные влиянием соответствующих факторов.

Если же факторы интеркоррелированы, то данное равенство нарушается.

Включение в модель мультиколлинеарных факторов нежелательно в силу следующих последствий :

· Затрудняется интерпретация параметров множественной регрессии; параметры линейной регрессии теряют экономический смысл;

· Оценки параметров ненадежны, обнаруживают большие стандартные ошибки и меняются с изменением объема наблюдений (не только по величине, но и по знаку), что делают модель непригодной для анализа и прогнозирования.

Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами.

Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции была бы единичной матрицей, поскольку все недиагональные элементы были бы равны 0. Так для уравнения регрессии, включающего три объясняющих переменных, матрица парных коэффициентов корреляции имела бы определитель, равный 1:

. , то гипотеза Н 0 отклоняется. Это означает, что , недиагональные ненулевые коэффициенты корреляции указывают на коллинеарность факторов. Мультиколлинеарность считается доказанной.

Существует ряд подходов преодоления сильной межфакторной корреляции .

1) Самый простой путь устранения мультиколлинеарности состоит в исключении из модели одного или нескольких факторов.

2) Другой подход связан с преобразованием факторов, при котором уменьшается корреляция между ними. Например, при построении модели на основе рядов динамики переходят от первоначальных данных к первым разностям уровней , чтобы исключить влияние тенденции.

3) Используются такие методы, которые сводят к нулю межфакторную корреляцию, т.е. переходят от исходных переменных к их линейным комбинациям, не коррелированных друг с другом (метод главных компонент: с помощью метода главных компонент осуществляется переход к ортогонализированным объясняющим переменным. Эти новые объясняющие переменные представляют собой некоторые линейные комбинации исходных регрессоров, выбранные так, чтобы корреляции между ними были малы или вообще отсутствовали).

4) Решению проблемы устранения мультиколлинеарности факторов может помочь переход к уравнениям приведенной формы. С этой целью в уравнение регрессии производится подстановка рассматриваемого фактора через выражение его из другого уравнения.

5) К способам снижения мультиколлинеарности можно отнести увеличение объема выборки; увеличение (нерепрезентативность выборки→анализ ограниченной части генеральной совокупности→ занижена→оценки ненадежны); уменьшение (добавим важную переменную → снижается ); использование некоррелированных переменных: 1) использование теоретических ограничений на параметры модели, 2) использование внешних оценок.