26. Уравнение множественной линейной регрессии
До сих пор мы рассматривали однофакторные регрессионные модели. Грубо говоря, нам был дан единственный признак-фактор (причина), который влиял на признак-результат (следствие). И на основании эмпирических данных (выборочных пар значений в объеме штук) мы оценивали тесноту корреляционной зависимости от , а также строили линейные и нелинейные уравнения регрессии.
Но, разумеется, на зависимый показатель часто влияют несколько или даже очень много факторов: и наша сегодняшняя цель состоит в том, чтобы покорить множественную регрессию. Тема не очень сложная, однако, обширная и трудоёмкая, и на этом единственном уроке я разберу самые востребованные и распространённые задачи. Итак, мы научимся:
– Быстро строить уравнение множественной линейной регрессии в MS Excel (метод наименьших квадратов), находить основные характеристики модели и проверять её качество. Этот пункт реализован в видеоролике и будет полезен для самопроверки + тем читателям, кто не погружён в статистику, а проводит лишь прикладное исследование в какой-либо предметной области (экономике, социологии, психологии, etc).
– Выполнять детальные расчёты для двухфакторной линейной модели , в том числе находить весь сопутствующий скарб: коэффициенты корреляции, детерминации, эластичности, бета; проверять значимость коэффициентов и всего уравнения. Помимо подробного мануала, смотрИте то же видео и ещё есть калькулятор, который позволяет не только автоматизировать расчёты, но и распечатать на чистовик готовое решение.
– И в конце статьи – краткая информация по расчётам модели с бОльшим количеством факторов. Формулы и добрые пожелания.
Чего НЕ будет? Не будет подробной теории и теоретизации; если вам нужен подобный материал, то некоторые источники я уже рекомендовал на уроке Модель однофакторной регрессии, копипаст:
Н. Ш. Кремер Б. А. Путко Эконометрика
И. И. Елисеева Эконометрика
и ещё мне понравилась нижегородская методичка ННГАСУ:
О. В. Любимцев О. Л. Любимцева Линейные регрессионные модели в эконометрике
Желающие без труда отыщут и более серьёзную литературу, как говорится, степень геморроя зависит от вашего аппетита 🙂
Ну а здесь будет всё (или почти всё) просто и популярно; …некоторые меня обвиняют в поверхностности, но пусть лучше материал усвоит максимальное количество читателей. Всё разберём на конкретном примере и простейшем случае, когда нам дано лишь два фактора:
По результатам выборочного исследования торговых предприятий региона были получены отчётные данные за предыдущий год:
…как обычно, я не ручаюсь за правдоподобность и достоверность приведённых данных, оставляя их на совести автора методички. Но это на самом деле и не важно, у нас на повестке дня математика.
– обосновать и оценить влияние каждого фактора на размер чистой прибыли предприятия;
– спрогнозировать среднеожидаемую прибыль предприятия при оборотах и чел. / 1 млн. руб.
Но перед тем как решать, конечно же, нужно понять смысл предложенных показателей.
Итак, фактор – количество оборотов оборотных средств. Что это такое? Оборотные средства – это деньги на закупку товара. Компания закупила товар и полностью продала его: таким образом, оборотные средства совершили один оборот. И предложенные в условии значения – это количество оборотов, которые совершили оборотные средства за год. Очевидно, что чем быстрее обращаются деньги, тем больше совершается продаж и тем больше может быть прибыль предприятия. Таким образом, предполагаем прямую корреляционную зависимость прибыли предприятия от количества оборотов оборотных средств . Следует ещё раз заметить, что это лишь общая тенденция, а не какое-то жёсткое правило, ведь есть товары с высокой и очень низкой маржой (наценкой).
Фактор второй, – трудоёмкость продаж. К сожалению, автор задачи не уточнил данный показатель, но, судя по всему, это среднее (за год) количество персонала, которое приходилось на один миллион выручки. Так или иначе, суть состоит в том, что чем больше людей в компании, тем больше расходы на оплату труда и тем меньше может быть её прибыль. Таким образом, предполагаем обратную корреляционную зависимость прибыли от трудоёмкости продаж .
Построив диаграммы рассеяния, не поленюсь:
– легко уловить, что обе зависимости близкИ к линейной.
И в самом деле, вычислим линейные коэффициенты корреляции:
– таким образом, существует сильная прямая корреляционная зависимость прибыли от количества оборотов оборотных средств;
– и сильная обратная корреляционная зависимость прибыли от трудоёмкости продаж;
Коэффициенты можно рассчитать подробно (см. по ссылке выше), но в данном случае это «проходные» вычисления, поэтому используем стандартную экселевскую функцию:
= КОРРЕЛ(выделяем мышкой массив признака-фактора; выделяем массив ) и жмём Enter.
Теперь нам нужно совместить обе причины в единой модели и построить выборочное уравнение двухфакторной линейной регрессии . Но не всё так просто. Для того чтобы модель множественной регрессии была качественной и вообще вменяемой, должны выполняться ряд условий. Во-первых, признаки-факторы должны быть некоррелированы. Вычислим коэффициент линейной корреляции между ними:
– таким образом, корреляция между факторами весьма слабА и это очень хорошо. А логика здесь простА – если факторы сильно коррелированы (что называют мультиколлинеарностью), то один из них просто не имеет смысла включать в модель.
И, во-вторых, для линейной модели должны выполняться условия Гаусса-Маркова. Проверка этих условий – это отдельная большая тема, требующая местами кропотливых вычислений. Если у вас серьёзное исследование, то изучИте её более подробно (например, с помощью рекомендованной выше литературы) и воспользуйтесь специализированными статистическими программами. Ну а мы будем решать задачу в учебном режиме (по принципу «дано задание – нужно решить») и рассмотрим саму технику вычислений.
Коэффициенты уравнения регрессии найдём методом наименьших квадратов – как решение системы:
Заполним расчётную таблицу, в нижней строке «подобьём» суммы:
Таким образом, получаем систему:
Систему решим по формулам Крамера, определители рассчитаем с помощью функции =МОПРЕД(выделяем область три на три) приложения MS Excel.
Вычислим главный определитель системы:
, значит, система имеет единственное решение.
В результате, искомое уравнение регрессии:
Полученное уравнение показывает, что с ростом оборота оборотных средств на 1 оборот (при неизменной трудоёмкости) прибыль увеличивается в среднем на 22,044 млн. руб., а с увеличением трудоемкости продаж на 1 чел. / млн. руб. (при неизменном обороте) – прибыль уменьшается в среднем на 3,9084 млн. руб.
Как видите, сделанный вывод аналогичен выводу, который мы сделали для уравнения линейной регрессии с одним фактором. И многие показатели также будут похожи, в том числе и методика их быстрого расчёта – самое время посмотреть кино:
Как быстро найти уравнение множественной регрессии? (Ютуб)
Вы без труда сможете повторить все действия! – открываем экселевский файл и решаем! Достаточно будет «черновых» расчётов, не таких красивых, как в видео. А у кого совсем нет времени и / или желания оформлять задание, есть калькулятор, который не только автоматически выполняет расчёты, но и ставит нужные выводы!
Вычислим коэффициент множественной корреляции – он показывает силу совокупного влияния факторов на результат . Технически это можно реализовать несколькими способами.
Чаще всего для расчёта использует найденные выше пАрные коэффициенты корреляции:
, сведённые в симметричную матрицу :
И коэффициент множественной корреляции можно рассчитать по формуле:
, где – определитель матрицы парных коэффициентов линейной корреляции, а – определитель её факторной части (без «игрековой» строки и столбца). Это общая формула (не только для двух, но и для бОльшего количества факторов).
! Здесь и далее я буду местами пренебрегать знаком .
В результате:
– таким образом, прибыль предприятий очень сильно зависит от предложенных в задаче факторов.
Здесь используем ту же шкалу Чеддока с той поправкой, что коэффициент множественной корреляции принимает значения и не показывает направление зависимости (ибо факторы могут оказывать разнонаправленное действие, как в нашем случае):
Если фактора два, то формулу можно выразить в более человеческом виде:)
– именно такой вариант употребим в массовой практике.
Вычислим коэффициент множественной детерминации:
– таким образом, в рамках построенной модели 93,3% вариации прибыли обусловлено числом оборотов оборотных средств и показателем трудоёмкости продаж. Остальные вариации объясняются факторами, не учтёнными в модели.
Коэффициент множественной детерминации также можно вычислить другим, более содержательным способом, о котором я рассказал на уроке Однофакторная регрессия. Здесь подход такой же:
, где – общая сумма квадратов, а – остаточная сумма квадратов.
Найдём среднее значение признака-результата млн. руб. и заполним расчётную таблицу:
Таким образом, , в результате чего получаем тот же результат:
, с тем же выводом. Ну а для желающих понять или освежить в памяти смысл выполненных действий, ещё раз приведу ссылку на урок об однофакторной регрессии. Только сейчас случай двухфакторный, с тем же принципиальным подходом.
Вычислим частные коэффициенты корреляции. Что это такое, и чем они отличаются от парных коэффициентов ? Дело в том, что любой фактор опосредованно включает в себя (как правило) влияние других факторов, и это учитывается в парных коэффициентах. И в рамках модели множественной регрессии целесообразно исключить такое влияние, чтобы оценить «чистый» вклад каждого фактора в результат. Что и выражается частными коэффициентами корреляции
«Очистим» 1-й фактор от влияния 2-го:
– таким образом, при устранении влияния трудоёмкости продаж чистая прибыль предприятий очень сильно зависит от числа оборотов оборотных средств.
И, наоборот, «очистим» 2-й фактор от опосредованного влияния 1-го:
таким образом, при устранении влияния фактора оборотов оборотных средств чистая прибыль предприятий сильно зависит от трудоёмкости продаж.
Кроме того, можно найти частные коэффициенты детерминации и сделать вывод об «очищенном» процентном вкладе каждого фактора в результат.
Но повторюсь в который раз, что все эти выводы делаются в рамках построенной модели и не являются какой-то «абсолютной истиной».
Вернёмся к полученному уравнению регрессии и посмотрим на его коэффициенты при факторных переменных. Как мы видим, коэффициент по модулю больше коэффициента , но это ещё не значит, что 1-й фактор оказывает бОльшее влияние на результат, чем 2-й фактор. Это лишь номинальные значения. Истинная же весомость факторов рассчитывается с помощью относительных показателей – коэффициентов средней эластичности и бета-коэффициентов, о смысле которых я рассказал ещё в начальной школе. Здесь всё аналогично.
Для расчёта этих и некоторых других показателей нам потребуется найти средние значения признаков:
Отклонения можно рассчитать подробно (см. по ссылке выше), я же использовал экселевскую функцию =СТАНДОТКЛОН(массив значений выборки), которая возвращается исправленные стандартные отклонения; в новой версии Экселя эта функция модифицирована: =СТАНДОТКЛОН.В(массив значений выборки).
Вычислим коэффициенты средней эластичности:
– таким образом, при увеличении оборотов оборотных средств на 1% (при неизменной трудоёмкости продаж) чистая прибыль увеличивается в среднем на 1,6%.
– таким образом, при увеличении трудоёмкости продаж на 1% (при неизменных оборотах) чистая прибыль уменьшается в среднем на 0,6%.
И как мы видим, прибыль действительно более чувствительна к изменению 1-го фактора, однако всё же не настолько, насколько можно было подумать, глядя на коэффициенты .
Вычислим бета-коэффициенты:
– таким образом, при увеличении оборотов оборотных средств на одно стандартное отклонение (при неизменной трудоёмкости продаж) чистая прибыль увеличивается примерно на 0,69 своего стандартного отклонения.
– таким образом, при увеличении трудоёмкости продаж на одно стандартное отклонение (при неизменных оборотах) чистая прибыль уменьшается примерно на 0,46 своего стандартного отклонения.
Что ещё раз подтверждает бОльшую весомость 1-го фактора.
Проверим значимость коэффициентов уравнения регрессии на уровне значимости При этом рассмотрим лишь ключевые факторные коэффициенты .
Алгоритм такой же, как и в однофакторной модели. Но сначала повторим краткую суть предстоящих действий. Дело в том, что уравнение получено по результатам выборки. Но существует генеральная совокупность торговых предприятий региона и генеральное уравнение . И возникает вопрос, насколько полученные выборочные значения далеки от истинных значений ? Насколько можно доверять выборочным результатам? (тем более выборка малА). Для проверки статистической значимости полученных значений используем аппарат статистических гипотез.
1) Проверим значимость коэффициента . Рассмотрим нулевую гипотезу – о том, что соответствующий коэффициент генерального уравнения равен нулю. По существу, это означает, что полученный выборочный результат обусловлен случайностью (малой выборкой, в частности) и на самом деле чистая прибыль не зависит от количества оборотов оборотных средств.
В качестве конкурирующей рассмотрим – гипотезу о том, что линейная корреляционная зависимость прибыли от оборотов существует.
Для проверки гипотезы на уровне значимости используем статистический критерий , где – значение выборочного коэффициента при 1-й факторной переменной, а – его стандартная ошибка. Случайная величина имеет распределение Стьюдента с количеством степеней свободы , где – количество факторов модели. Их у нас два, а посему .
Для уровня значимости и количества степеней свободы по соответствующей таблице либо с помощью Экселя (пункт 10в) находим критическое значение двусторонней области .
Найдём наблюдаемое значение критерия . Если оно попадёт в «красную» область ( либо ), то нулевая гипотеза отвергается в пользу альтернативной; если же , то оснований отвергать нулевую гипотезу на данном уровне значимости – нет.
Вычислим стандартную ошибку коэффициента, учитывая, что нас -факторная модель:
Наблюдаемое значение критерия:
– поэтому на уровне значимости гипотезу отвергаем в пользу конкурирующей гипотезы .
Вывод: коэффициент статистически значимо отличен от нуля, и полученное значение вряд ли объяснимо случайными факторами.
2) Аналогично проверяем статистическую значимость коэффициента , гипотезу против конкурирующей гипотезы .
Вычислим стандартную ошибку 2-го коэффициента:
и наблюдаемое значение критерия:
– поэтому на уровне значимости гипотезу отвергаем в пользу конкурирующей гипотезы .
Вывод: коэффициент статистически значим.
Определим соответствующие доверительные интервалы.
Для первого коэффициента:
(млн. руб.) – таким образом, с доверительной вероятностью данный интервал накроет истинное значение генерального коэффициента .
И аналогично для второго коэффициента:
(млн. руб.) – таким образом, с доверительной вероятностью данный интервал накроет истинное значение генерального коэффициента
Интервалы получились грубые, конечно, ибо выборка малА.
Проверим статистическую значимость всего выборочного уравнения регрессии . Этот вопрос эквивалентен вопросу о проверке значимости выборочного коэффициента множественной детерминации .
Рассмотрим гипотезу – о том, что генеральный коэффициент множественной детерминации равен нулю, иными словами факторы модели вообще никак не влияют на прибыль компаний. И альтернативное утверждение гласит о том, что такое влияние есть.
Для проверки гипотезы используем статистический критерий , где – значение выборочного коэффициента множественной детерминации (которое от исследования к исследованию случайно), а – количество факторных (причинных) переменных. В нашей модели фактора два: , поэтому критерий принимает вид . Эта случайная величина имеет распределение Фишера (-распределение) с количеством степеней свободы .
Для того же уровня значимости и количества степеней свободы по соответствующей таблице или с помощью расчётного макета (пункт 12) определяем критическое значение критерия:
Теперь вычислим наблюдаемое значение критерия. Если окажется что (красная область) то гипотезу на уровне значимости отвергаем; если же , то отвергать её – оснований нет:
В нашей задаче:
– таким образом, на уровне значимости гипотезу отвергаем в пользу конкурирующей гипотезы .
Вывод: коэффициент множественной детерминации статистически значим, а значит, статистически значимо и уравнение .
И немного лирики, спрогнозируем среднеожидаемую прибыль предприятия при оборотах и трудоёмкости чел. / 1 млн.:
В заключение урока краткая информация о том, как рассчитать модель множественной регрессии с бОльшим количеством факторов. Пусть признак-результат зависит, например, от трёх показателей . На первом шаге нужно составить симметричную матрицу парных коэффициентов линейной корреляции:
Важнейшим условием качества модели является слабая попарная коррелированность факторов (достаточно близкие к нулю значения ). В серьёзных исследованиях, кроме того, следует проверить условия Гаусса-Маркова, но это большая и обстоятельная тема, которую я оставил за кадром.
Коэффициенты регрессии находим как решение системы:
СравнИте её с системой двухфакторной модели и уловИте закономерность в коэффициентах. Да, столбцов в расчётной таблице будет побольше, но всё подъёмно, тестовые расчёты у меня заняли порядка 15 минут.
Коэффициент множественной детерминации удобно рассчитать по формуле:
, где – определитель матрицы коэффициентов парной корреляции (см. выше), а – определитель её факторной части (без последней строки и столбца).
Следует сказать, что у этого коэффициента есть недостаток. Дело в том, что при включении в модель любых дополнительных факторов, в том числе малозначимых или вовсе посторонних, значение безвариантно возрастёт. И поэтому для контроля ситуации рассчитывают скорректированный коэффициент множественной детерминации:
, где – количество факторов модели.
Теперь при добавлении явно «плохого» фактора, значение даже уменьшится. Одним из критериев качества модели является тот факт, что значения достаточно близки к единице и не сильно отличаются друг от друга.
Для коэффициентов частной корреляции тоже есть свои формулы, но них я не останавливаюсь, как на второстепенных. А с коэффициентами эластичности и бета-коэффициентами проблем вообще никаких – просто добавляется дополнительный коэффициент:
Вывод по каждому коэффициенту делается с оговоркой, что два других фактора неизменны.
Аналогичная ситуация в проверке значимости коэффициентов, просто проверяется ещё 3-й коэффициент.
И на посошок всё-таки общие формулы для линейной модели с «эм» факторами , корреляционная матрица:
и система линейных уравнений в матричной форме:
…вроде нигде не ошибся, перепроверьте!
И я вас поздравляю! И себя тоже. Курс математической статистики на МатПрофи завершён. У него была непростая судьба – по разным обстоятельствам его создание растянулось на несколько лет. Но это свершилось, и мы здесь…. И я вам желаю всегда доводить важные дела до конца. Всего наилучшего!
Автор: Емелин Александр
(Переход на главную страницу)
Zaochnik.com – профессиональная помощь студентам,
cкидкa 15% на первый зaкaз, при оформлении введите прoмoкoд: 5530-hihi5
© Copyright mathprofi.ru, Александр Емелин, 2010-2024. Копирование материалов сайта запрещено
Основы линейной регрессии
Цель этой статьи — рассказать о линейной регрессии, а именно собрать и показать формулировки и интерпретации задачи регрессии с точки зрения математического анализа, статистики, линейной алгебры и теории вероятностей. Хотя в учебниках эта тема изложена строго и исчерпывающе, ещё одна научно-популярная статья не помешает.
! Осторожно, трафик! В статье присутствует заметное число изображений для иллюстраций, часть в формате gif.
Введение
Есть три сходных между собой понятия, три сестры: интерполяция, аппроксимация и регрессия.
У них общая цель: из семейства функций выбрать ту, которая обладает определенным свойством.
Интерполяция — способ выбрать из семейства функций ту, которая проходит через заданные точки. Часто функцию затем используют для вычисления в промежуточных точках. Например, мы вручную задаем цвет нескольким точкам и хотим чтобы цвета остальных точек образовали плавные переходы между заданными. Или задаем ключевые кадры анимации и хотим плавные переходы между ними. Классические примеры: интерполяция полиномами Лагранжа, сплайн-интерполяция, многомерная интерполяция (билинейная, трилинейная, методом ближайшего соседа и т.д). Есть также родственное понятие экстраполяции — предсказание поведения функции вне интервала. Например, предсказание курса доллара на основании предыдущих колебаний — экстраполяция.
Аппроксимация — способ выбрать из семейства «простых» функций приближение для «сложной» функции на отрезке, при этом ошибка не должна превышать определенного предела. Аппроксимацию используют, когда нужно получить функцию, похожую на данную, но более удобную для вычислений и манипуляций (дифференцирования, интегрирования и т.п). При оптимизации критических участков кода часто используют аппроксимацию: если значение функции вычисляется много раз в секунду и не нужна абсолютная точность, то можно обойтись более простым аппроксимантом с меньшей «ценой» вычисления. Классические примеры включают ряд Тейлора на отрезке, аппроксимацию ортогональными многочленами, аппроксимацию Паде, аппроксимацию синуса Бхаскара и т.п.
Регрессия — способ выбрать из семейства функций ту, которая минимизирует функцию потерь. Последняя характеризует насколько сильно пробная функция отклоняется от значений в заданных точках. Если точки получены в эксперименте, они неизбежно содержат ошибку измерений, шум, поэтому разумнее требовать, чтобы функция передавала общую тенденцию, а не точно проходила через все точки. В каком-то смысле регрессия — это «интерполирующая аппроксимация»: мы хотим провести кривую как можно ближе к точкам и при этом сохранить ее максимально простой чтобы уловить общую тенденцию. За баланс между этими противоречивыми желаниями как-раз отвечает функция потерь (в английской литературе «loss function» или «cost function»).
В этой статье мы рассмотрим линейную регрессию. Это означает, что семейство функций, из которых мы выбираем, представляет собой линейную комбинацию наперед заданных базисных функций
Цель регрессии — найти коэффициенты этой линейной комбинации, и тем самым определить регрессионную функцию (которую также называют моделью). Отмечу, что линейную регрессию называют линейной именно из-за линейной комбинации базисных функций — это не связано с самыми базисными функциями (они могут быть линейными или нет).
Регрессия с нами уже давно: впервые метод опубликовал Лежандр в 1805 году, хотя Гаусс пришел к нему раньше и успешно использовал для предсказания орбиты «кометы» (на самом деле карликовой планеты) Цереры. Существует множество вариантов и обобщений линейной регрессии: LAD, метод наименьших квадратов, Ridge регрессия, Lasso регрессия, ElasticNet и многие другие.
Точки генерируются случайно по распределению Гаусса с заданным средним и вариациями. Синяя линия — регрессионная прямая.
Метод наименьших квадратов
Начнём с простейшего двумерного случая. Пусть нам даны точки на плоскости и мы ищем такую аффинную функцию
чтобы ее график ближе всего находился к точкам. Таким образом, наш базис состоит из константной функции и линейной .
Как видно из иллюстрации, расстояние от точки до прямой можно понимать по-разному, например геометрически — это длина перпендикуляра. Однако в контексте нашей задачи нам нужно функциональное расстояние, а не геометрическое. Нас интересует разница между экспериментальным значением и предсказанием модели для каждого поэтому измерять нужно вдоль оси .
Первое, что приходит в голову, в качестве функции потерь попробовать выражение, зависящее от абсолютных значений разниц . Простейший вариант — сумма модулей отклонений приводит к Least Absolute Distance (LAD) регрессии.
Впрочем, более популярная функция потерь — сумма квадратов отклонений регрессанта от модели. В англоязычной литературе она носит название Sum of Squared Errors (SSE)
Метод наименьших квадратов (по англ. OLS) — линейная регрессия c в качестве функции потерь.
Такой выбор прежде всего удобен: производная квадратичной функции — линейная функция, а линейные уравнения легко решаются. Впрочем, далее я укажу и другие соображения в пользу .
Регрессионная прямая (синяя) и пробная прямая (зеленая). Справа показана функция потерь и точки соответствующие параметра пробной и регрессионной прямых.
Математический анализ
Простейший способ найти — вычислить частные производные по и , приравнять их нулю и решить систему линейных уравнений
Значения параметров, минимизирующие функцию потерь, удовлетворяют уравнениям
которые легко решить
Мы получили громоздкие и неструктурированные выражения. Сейчас мы их облагородим и вдохнем в них смысл.
Статистика
Полученные формулы можно компактно записать с помощью статистических эстиматоров: среднего , вариации (стандартного отклонения), ковариации и корреляции
где это нескорректированное (смещенное) стандартное выборочное отклонение, а — ковариация. Теперь вспомним, что коэффициент корреляции (коэффициент корреляции Пирсона)
Теперь мы можем оценить все изящество дескриптивной статистики, записав уравнение регрессионной прямой так
- прямая проходит через центр масс ;
- если по оси за единицу длины выбрать , а по оси — , то угол наклона прямой будет от до . Это связано с тем, что .
Возведя коэффициент корреляции в квадрат, получим коэффициент детерминации . Квадрат этой статистической меры показывает насколько хорошо регрессионная модель описывает данные. , равный , означает что функция идеально ложится на все точки — данные идеально скоррелированны. Можно доказать, что показывает какая доля вариативности в данных объясняется лучшей из линейных моделей. Чтобы понять, что это значит, введем определения
— вариация исходных данных (вариация точек ).
— вариация остатков, то есть вариация отклонений от регрессионной модели — от нужно отнять предсказание модели и найти вариацию.
— вариация регрессии, то есть вариация предсказаний регрессионной модели в точках (обратите внимание, что среднее предсказаний модели совпадает с ).
Дело в том, что вариация исходных данных разлагается в сумму двух других вариаций: вариации случайного шума (остатков) и вариации, которая объясняется моделью (регрессии)
Как видим, стандартные отклонения образуют прямоугольный треугольник.
Мы стремимся избавиться от вариативности, связанной с шумом и оставить лишь вариативность, которая объясняется моделью, — хотим отделить зерна от плевел. О том, насколько это удалось лучшей из линейных моделей, свидетельствует , равный единице минус доля вариации ошибок в суммарной вариации
или доле объясненной вариации (доля вариации регрессии в полной вариации)
равен косинусу угла в прямоугольном треугольнике . Кстати, иногда вводят долю необъясненной вариации и она равна квадрату синуса в этом треугольнике. Если коэффициент детерминации мал, возможно мы выбрали неудачные базисные функции, линейная регрессия неприменима вовсе и т.п.
Теория вероятностей
Ранее мы пришли к функции потерь из соображений удобства, но к ней же можно прийти с помощью теории вероятностей и метода максимального правдоподобия (ММП). Напомню вкратце его суть. Предположим, у нас есть независимых одинаково распределенных случайных величин (в нашем случае — результатов измерений). Мы знаем вид функции распределения (напр. нормальное распределение), но хотим определить параметры, которые в нее входят (например и ). Для этого нужно вычислить вероятность получить датапоинтов в предположении постоянных, но пока неизвестных параметров. Благодаря независимости измерений, мы получим произведение вероятностей реализации каждого измерения. Если мыслить полученную величину как функцию параметров (функция правдоподобия) и найти её максимум, мы получим оценку параметров. Зачастую вместо функции правдоподобия используют ее логарифм — дифференцировать его проще, а результат — тот же.
Вернемся к задаче простой регрессии. Допустим, что значения нам известны точно, а в измерении присутствует случайный шум (свойство слабой экзогенности). Более того, положим, что все отклонения от прямой (свойство линейности) вызваны шумом с постоянным распределением (постоянство распределения). Тогда
где — нормально распределенная случайная величина
Исходя из предположений выше, запишем функцию правдоподобия
Таким образом, максимум правдоподобия достигается при минимуме
что дает основание принять ее в качестве функции потерь. Кстати, если
мы получим функцию потерь LAD регрессии
которую мы упоминали ранее.
Подход, который мы использовали в этом разделе — один из возможных. Можно прийти к такому же результату, используя более общие свойства. В частности, свойство постоянства распределения можно ослабить, заменив на свойства независимости, постоянства вариации (гомоскедастичность) и отсутствия мультиколлинеарности. Также вместо ММП эстимации можно воспользоваться другими методами, например линейной MMSE эстимацией.
Мультилинейная регрессия
До сих пор мы рассматривали задачу регрессии для одного скалярного признака , однако обычно регрессор — это -мерный вектор . Другими словами, для каждого измерения мы регистрируем фич, объединяя их в вектор. В этом случае логично принять модель с независимыми базисными функциями векторного аргумента — степеней свободы соответствуют фичам и еще одна — регрессанту . Простейший выбор — линейные базисные функции . При получим уже знакомый нам базис .
Итак, мы хотим найти такой вектор (набор коэффициентов) , что
Знак «» означает, что мы ищем решение, которое минимизирует сумму квадратов ошибок
Последнее уравнение можно переписать более удобным образом. Для этого расположим в строках матрицы (матрицы информации)
Тогда столбцы матрицы отвечают измерениям -ой фичи. Здесь важно не запутаться: — количество измерений, — количество признаков (фич), которые мы регистрируем. Систему можно записать как
Квадрат нормы разности векторов в правой и левой частях уравнения образует функцию потерь
которую мы намерены минимизировать
Продифференцируем финальное выражение по (если забыли как это делается — загляните в Matrix cookbook)
приравняем производную к и получим т.н. нормальные уравнения
Если столбцы матрицы информации линейно независимы (нет идеально скоррелированных фич), то матрица имеет обратную (доказательство можно посмотреть, например, в видео академии Хана). Тогда можно записать
псевдообратная к . Понятие псевдообратной матрицы введено в 1903 году Фредгольмом, она сыграла важную роль в работах Мура и Пенроуза.
Напомню, что обратить и найти можно только если столбцы линейно независимы. Впрочем, если столбцы близки к линейной зависимости, вычисление уже становится численно нестабильным. Степень линейной зависимости признаков в или, как говорят, мультиколлинеарности матрицы , можно измерить числом обусловленности — отношением максимального собственного значения к минимальному. Чем оно больше, тем ближе к вырожденной и неустойчивее вычисление псевдообратной.
Линейная алгебра
К решению задачи мультилинейной регрессии можно прийти довольно естественно и с помощью линейной алгебры и геометрии, ведь даже то, что в функции потерь фигурирует норма вектора ошибок уже намекает, что у задачи есть геометрическая сторона. Мы видели, что попытка найти линейную модель, описывающую экспериментальные точки, приводит к уравнению
Если количество переменных равно количеству неизвестных и уравнения линейно независимы, то система имеет единственное решение. Однако, если число измерений превосходит число признаков, то есть уравнений больше чем неизвестных — система становится несовместной, переопределенной. В этом случае лучшее, что мы можем сделать — выбрать вектор , образ которого ближе остальных к . Напомню, что множество образов или колоночное пространство — это линейная комбинация вектор-столбцов матрицы
— -мерное линейное подпространство (мы считаем фичи линейно независимыми), линейная оболочка вектор-столбцов . Итак, если принадлежит , то мы можем найти решение, если нет — будем искать, так сказать, лучшее из нерешений.
Если в дополнение к векторам мы рассмотрим все вектора им перпендикулярные, то получим еще одно подпространство и сможем любой вектор из разложить на две компоненты, каждая из которых живет в своем подпространстве. Второе, перпендикулярное пространство, можно характеризовать следующим образом (нам это понадобится в дальнейшем). Пускай , тогда
равен нулю в том и только в том случае, если перпендикулярен всем , а значит и целому . Таким образом, мы нашли два перпендикулярных линейных подпространства, линейные комбинации векторов из которых полностью, без дыр, «покрывают» все . Иногда это обозначают c помощью символа ортогональной прямой суммы
где . В каждое из подпространств можно попасть с помощью соответствующего оператора проекции, но об этом ниже.
Теперь представим в виде разложения
Если мы ищем решение , то естественно потребовать, чтобы была минимальна, ведь это длина вектора-остатка. Учитывая перпендикулярность подпространств и теорему Пифагора
но поскольку, выбрав подходящий , я могу получить любой вектор колоночного пространства, то задача сводится к
а останется в качестве неустранимой ошибки. Любой другой выбор сделает ошибку только больше.
Если теперь вспомнить, что , то легко видеть
что очень удобно, так как у нас нет, а вот — есть. Вспомним из предыдущего параграфа, что имеет обратную при условии линейной независимости признаков и запишем решение
где уже знакомая нам псевдообратная матрица. Если нам интересна проекция , то можно записать
где — оператор проекции на колоночное пространство.
Выясним геометрический смысл коэффициента детерминации.
Заметьте, что фиолетовый вектор пропорционален первому столбцу матрицы информации , который состоит из одних единиц согласно нашему выбору базисных функций. В RGB треугольнике
Так как этот треугольник прямоугольный, то по теореме Пифагора
Это геометрическая интерпретация уже известного нам факта, что
Красиво, не правда ли?
Произвольный базис
Как мы знаем, регрессия выполняется на базисных функциях и её результатом есть модель
но до сих пор мы использовали простейшие , которые просто ретранслировали изначальные признаки без изменений, ну разве что дополняли их постоянной фичей . Как можно было заметить, на самом деле ни вид , ни их количество ничем не ограничены — главное, чтобы функции в базисе были линейно независимы. Обычно, выбор делается исходя из предположений о природе процесса, который мы моделируем. Если у нас есть основания полагать, что точки ложатся на параболу, а не на прямую, то стоит выбрать базис . Количество базисных функций может быть как меньшим, так и большим, чем количество изначальных фич.
Регрессия в полиномиальном базисе. Выделенная часть кода демонстрирует использование стандартных функций scikit-learn для выполнения регрессии полиномами разной степени, снизу — визуализация результата работы.
Если мы определились с базисом, то дальше действуем следующим образом. Мы формируем матрицу информации
записываем функцию потерь
и находим её минимум, например с помощью псевдообратной матрицы
Заключительные замечания
Проблема выбора размерности
На практике часто приходится самостоятельно строить модель явления, то есть определяться сколько и каких нужно взять базисных функций. Первый порыв «набрать побольше» может сыграть злую шутку: модель окажется слишком чувствительной к шумам в данных (переобучение). С другой стороны, если излишне ограничить модель, она будет слишком грубой (недообучение).
Есть два способа выйти из ситуации. Первый: последовательно наращивать количество базисных функций, проверять качество регрессии и вовремя остановиться. Или же второй: выбрать функцию потерь, которая определит число степеней свободы автоматически. В качестве критерия успешности регрессии можно использовать коэффициент детерминации, о котором уже упоминалось выше, однако, проблема в том, что монотонно растет с ростом размерности базиса. Поэтому вводят скорректированный коэффициент
где — размер выборки, — количество независимых переменных. Следя за , мы можем вовремя остановиться и перестать добавлять дополнительные степени свободы.
Вторая группа подходов — регуляризации, самые известные из которых Ridge(/гребневая/Тихоновская регуляризация), Lasso( регуляризация) и Elastic Net(Ridge+Lasso). Главная идея этих методов: модифицировать функцию потерь дополнительными слагаемыми, которые не позволят вектору коэффициентов неограниченно расти и тем самым воспрепятствуют переобучению
где и — параметры, которые регулируют «силу» регуляризации. Это обширная тема с красивой геометрией, которая заслуживает отдельного рассмотрения. Упомяну кстати, что для случая двух переменных при помощи вероятностной интерпретации можно получить Ridge и Lasso регрессии, удачно выбрав априорное распределения для коэффициента
Численные методы
Скажу пару слов, как минимизировать функцию потерь на практике. SSE — это обычная квадратичная функция, которая параметризируется входными данными, так что принципиально ее можно минимизировать методом скорейшего спуска или другими методами оптимизации. Разумеется, лучшие результаты показывают алгоритмы, которые учитывают вид функции SSE, например метод стохастического градиентного спуска. Реализация Lasso регрессии в scikit-learn использует метод координатного спуска.
Также можно решить нормальные уравнения с помощью численных методов линейной алгебры. Эффективный метод, который используется в scikit-learn для МНК — нахождение псевдообратной матрицы с помощью сингулярного разложения. Поля этой статьи слишком узки, чтобы касаться этой темы, за подробностями советую обратиться к курсу лекций К.В.Воронцова.
Реклама и заключение
Эта статья — сокращенный пересказ одной из глав курса по классическому машинному обучению в Киевском академическом университете (преемник Киевского отделения Московского физико-технического института, КО МФТИ). Автор статьи помогал в создании этого курса. Технически курс выполнен на платформе Google Colab, что позволяет совмещать формулы, форматированные LaTeX, исполняемый код Python и интерактивные демонстрации на Python+JavaScript, так что студенты могут работать с материалами курса и запускать код с любого компьютера, на котором есть браузер. На главной странице собраны ссылки на конспекты, «рабочие тетради» для практик и дополнительные ресурсы. В основу курса положены следующие принципы:
- все материалы должны быть доступны студентам с первой пары;
- лекция нужны для понимания, а не для конспектирования (конспекты уже готовы, нет смысла их писать, если не хочется);
- конспект — больше чем лекция (материала в конспектах больше, чем было озвучено на лекции, фактически конспекты представляют собой полноценный учебник);
- наглядность и интерактивность (иллюстрации, фото, демки, гифки, код, видео с youtube).
Надеюсь вам было интересно, спасибо за внимание.
- линейная регрессия
- метод наименьших квадратов
- линейная алгебра
- Математика
- Машинное обучение
20. Уравнение линейной регрессии
На предыдущем уроке мы уже узнали, что такое линейная регрессия и научились находить её уравнение для несгруппированных данных (это когда даны две строчки или два столбца чисел). И сейчас тема получает продолжение – в данной статье я расскажу вам о том, как вычислить линейный коэффициент корреляции и как найти уравнение линейной регрессии в случае комбинационной группировки. Это когда в условии дана комбинационная таблица:
Имеются выборочные данные по 40 предприятиям региона:
1) Определить признак-фактор и признак-результат и высказать предположение о наличии и направлении корреляционной зависимости от . Построить корреляционное поле и выдвинуть гипотезу о возможной форме зависимости.
2) Вычислить линейный коэффициент корреляции и детерминации, сделать выводы.
3) Найти уравнение линейной регрессии на и изобразить соответствующую прямую на чертеже. Спрогнозировать среднюю суточную переработку сырья, когда стоимость основных фондов предприятий достигнет 9 млрд. руб.
Все термины и понятия вам уже знакомы! А если нет, то будут ссылки по ходу решения и, конечно же, видео – как это всё быстро подсчитать и нарисовать в Экселе + Калькулятор (сразу для особо страждущих).
1) Прежде всего в подобных задачах нам нужно обосновать причинно-следственную связь между признаками (если это не сделано в условии). Очевидно, что чем больше стоимость основных фондов, тем крупнее предприятие и тем больше сырья оно способно переработать. Однако это не является непреложным правилом, ибо любое, самое крупное предприятие может неэффективно работать или даже простаивать. Тем не менее, общая тенденция состоит в том, что при увеличении стоимости фондов предприятий их средняя суточная переработка растёт. Такая нежёсткая зависимость называется… Правильно! Я приду к вам в вещих снах – будете вздрагивать и просыпаться от этой фразы 🙂
Таким образом, мы предполагаем наличие прямой корреляционной зависимости суточной переработки сырья (признак-результат) от стоимости основных фондов (фактор ).
Частоты комбинационной таблицы располагаются преимущественно по диагонали – от левого верхнего до правого нижнего угла, что подтверждает прямое направление зависимости («чем больше, тем больше»).
Теперь определим форму зависимости (линейная, квадратичная, экспоненциальная или какая-то другая). Простейший способ – графический, построили корреляционное поле и посмотрели. Для этого нужно немного модифицировать исходную таблицу, а именно перейти от интервальных вариационных рядов (левый столбец и 2-я сверху строка) к дискретным, выбрав в качестве вариант и середины соответствующих интервалов:
Заодно подсчитаем суммы частот по серым строкам (правый столбец) и суммы частот по серым столбцам (нижняя строка), не забыв убедиться в том, что итоговые суммы равны объёму выборки :
Довольно часто значения и уже подсчитаны и приведены в условии, но так бывает не во всех задачах, и поэтому я насыщаю решение всеми возможными действиями.
Обратите внимание, что значения признака-фактора расположены по вертикали в левом столбце, а значения признака-результата – по горизонтали в «шапке» таблицы. Именно такое расположение (а не наоборот) чаще всего встречается на практике (ещё раз специально просмотрел с десяток методичек). Однако оно не сильно удобно в техническом плане, в частности, для построения корреляционного поля:
Ранее мы строили эмпирические линии регрессии – это простейший способ изобразить форму корреляционной зависимости. Однако гораздо удобнее привлечь на помощь функции. Анализируя чертёж, приходим к выводу, что эмпирические точки «выстроились» примерно по прямой, что позволяет предположить наличие линейной корреляционной зависимости – суточной переработки сырья от – стоимости основных фондов.
Дальнейшие действия состоят в том, чтобы отыскать уравнение линейной регрессии , график которой проходит максимально близко к эмпирическим точкам (с учётом их «весов» – частот в серых полях комбинационной таблицы), а также оценить тесноту линейной корреляционной зависимости – насколько близко расположены точки к построенной прямой. Эта теснота оценивается с помощью линейного коэффициента корреляции, с него и начнём:
2) Коэффициент корреляции вычислим по знакомой формуле .
Лично я привык в первую очередь находить средние и стандартные отклонения . Эти расчёты мы проводили неоднократно.
Сначала разберёмся с признаком-фактором . Для этого из комбинационной таблицы (см. выше) выпишем значения и заполним расчётную таблицу:
Вычислим среднее значение млрд. руб. и среднее квадратическое отклонение, как корень из дисперсии, вычисленной по формуле:
Аналогично, берём игрековые значения из комбинационной таблицы и заполняем расчетную таблицу для признака-результата :
после чего рассчитываем нужные показатели:
тыс. ц;
Теперь найдём среднее значение произведения признаков. Для этого вычислим все возможные произведения и на соответствующие ненулевые частоты , наглядно распишу парочку штук:
Вычислим сумму этих произведений:
и искомую среднюю:
Таким образом, линейный коэффициент корреляции:
В результате получено положительное число и, согласно шкале Чеддока, существует сильная прямая линейная корреляционная зависимость суточной переработки сырья от стоимости основных фондов.
Вычислим коэффициент детерминации:
, таким образом, в рамках построенной модели 69,12% вариации суточной переработки сырья обусловлено стоимостью основных фондов. Остальные вариации обусловлено другими факторами.
В статье об индексе корреляции и детерминации я более подробно разберу построенную модель, и тогда последний вывод станет понятнее (для тех, кому он не очень понятен).
3) Найдём уравнение линейной регрессии на (именно так на). Здесь можно использовать формулы предыдущего урока , но есть более академичный вариант. Искомое уравнение имеет вид:
, в данной задаче (вычисления приближённые):
Полученное уравнение показывает, что при увеличении стоимости основных фондов на 1 млрд. руб. суточная переработка сырья увеличивается в среднем на 1,61 тысяч центнеров.
Это очень важный вывод, который часто требуется в заданиях, по сути, смысл коэффициента «а».
Найдём пару удобных точек для построения графика:
отметим их на чертеже (красный цвет) и аккуратно проведём линию регрессии, её, как правило, изображают на том же чертеже:
Спрогнозируем среднюю суточную переработку сырья при стоимости основных фондов в 9 млрд. руб.:
тыс. ц.
Ещё раз подчёркиваю, что уравнение регрессии возвращает нам среднее, а точнее среднеожидаемое значение признака-результата при различных значениях «икс» признака-фактора. И на самом деле уравнение регрессии корректнее записать так: , но дабы не разводить путаницу я использую максимально простые обозначения.
Теперь видео о том, как быстро расправиться с этой задачей:
Как найти коэффициент корреляции и уравнение регрессии по таблице? (Ютуб)
Для желающих сразу решить эту задачу есть калькулятор.
Помимо рассмотренного, существует второе уравнение линейной регрессии – на , его можно составить по формуле:
, после чего свести к виду:
– полученное уравнение позволяет нам узнать средние значения «икс», соответствующие различным значениям «игрек»
Чисто формально эта регрессия существует всегда, так, в рассмотренной задаче признак явно не зависит от , но вот линейная корреляционная зависимость есть! (причём, такой же тесноты). Помним, что причинно-следственная зависимость и корреляционная – это не одно и то же! Кроме того, в некоторых задачах признаки взаимно влияют друг на друга, уже известный вам пример:
– количество произведённых куриц на птицефабрике;
– количество произведённых яиц.
Здесь в уравнении регрессии на – самый что ни на есть здравый смысл.
График регрессии тоже можно изобразить на чертеже, и примечателен тот факт, что он будет пересекать график в точности в точке .
Следует добавить, что второе уравнение регрессии можно построить и для случая несгруппированных данных (см. задачи предыдущего урока о корреляции). Формула та же.
И я предлагаю вам потренироваться самостоятельно:
Известны следующие данные:
Найти линейный коэффициент корреляции и уравнения регрессии на и на . Построить корреляционное поле, линии регрессии и определить их точку пересечения. Вычислить и . По каждому пункту сделать выводы.
Обратите внимание, что в условии ничего не сказано о признаках , но нам ничего и не нужно о них знать, ведь задачу можно решить вне зависимости от того, где здесь признак-фактор, а где результат, и есть ли вообще причинно-следственная связь между признаками. Хотя, скорее всего, она здесь есть, ибо комбинационная группировка выполнена же из каких-то соображений.
Все числа уже в Экселе и вам остаётся выполнить вычисления; ничего страшного, если получится не очень красиво, важно наработать сам навык. Краткое решение для сверки чуть ниже.
И я вас поздравляю! – на этом «обязательная часть программы» завершена, надеюсь, корреляционно-регрессионный «минимум» освоен успешно.
Читатели с углублённым изучением статистики и просто энтузиасты непременно проверят значимость полученных результатов и затем мы разберём анатомию пАрной регрессии. Далее поговорим о нелинейной регрессии, ранговой корреляции Спирмена, коэффициенте корреляции Фехнера. И вишенка на торте, точнее, тыква на голове:))
. И тыква таки материализовалась;) Снимайте маски и надевайте каски!
Решения и ответы:
Пример 70. Решение: вычислим частоты по каждому признаку: 
Линейный коэффициент корреляции найдём по формуле .
Заполним расчётную таблицу для признака : 
Вычислим среднее значение и среднее квадратическое отклонение:
Заполним расчётную таблицу для признака :
Вычислим и
.
Вычислим произведения :
их сумму и среднюю .
Вычислим линейный коэффициент корреляции:
, таким образом, существует заметная обратная линейная корреляционная зависимость между признаками (в обе стороны).
Составим уравнение линейной регрессии на (здесь и далее вычисления приближённые):
Полученное уравнение показывает, что при увеличении «икс» на 1 единицу «игрек» в среднем уменьшается примерно на 0,47 единицы.
Составим уравнение линейной регрессии на :
Полученное уравнение показывает, что при увеличении «игрек» на 1 единицу «икс» в среднем уменьшается примерно на 0,87 единицы.
Найдём точки для построения графиков:
построим корреляционное поле и изобразим линии регрессии:
Линии регрессии пересекаются в точке
Вычислим:
– среднеожидаемое значение «игрек» при ;
– среднеожидаемое значение «икс» при .
Примечание: вычисления местами не очень точные из-за округлений.
Автор: Емелин Александр
(Переход на главную страницу)
Zaochnik.com – профессиональная помощь студентам,
cкидкa 15% на первый зaкaз, при оформлении введите прoмoкoд: 5530-hihi5
© Copyright mathprofi.ru, Александр Емелин, 2010-2024. Копирование материалов сайта запрещено
23. Нелинейная регрессия. Виды и примеры решений
На предыдущем уроке мы рассмотрели общую модель однофакторной регрессии, а также изучили линейный случай. Но им, разумеется, кухня не ограничивается, а посему тема получает логичное продолжение. Прямо сейчас вы узнаете, как подобрать вид регрессии, и, конечно же, отведаете основные блюда:
Все регрессии строятся по одному шаблону, и мы начинаем:
В результате наблюдения за размножением бактерий были получены следующие результаты:
где, – время (часы), а – количество бактерий …Время обычно обозначают буквой «тэ», но для единообразия пусть будет старый добрый «икс».
1) построить диаграмму рассеяния и подобрать линию, которая эффективно приближает эмпирические данные;
2) методом наименьших квадратов найти уравнение регрессии на , выполнить чертёж;
3) вычислить индекс детерминации и индекс корреляции;
4) проверить значимость полученной модели на уровне значимости ;
6) оценить количество бактерий к 12-му и 24-му часу.
По каждому пункту сделать выводы.
Решение:
1) В Примере 73 мы не только построили диаграмму рассеяния по предложенным числовым данным, но и выполнили почти все пункты задания для линейного случая:
И невооруженным взглядом видно, что линейная регрессия неудовлетворительно аппроксимирует (приближает) опытные данные. Сразу бросается в глаза, что эмпирические точки имеют тенденцию располагаться по кривой, и во-вторых, количество бактерий не может быть отрицательным, но по уравнению – запросто так может.
Таким образом, задача состоит в том, чтобы подобрать линию (её тип), которая удачно приблизит эмпирические точки. Возможно, не наилучшим образом, но, по крайне мере, хорошо. Выбор подходящей линии и соответствующей записи уравнения регрессии называют спецификацией модели.
Этот вопрос можно решить, исходя из содержательного условия задачи, и, естественно, математически. Так, размножение бактерий, насекомых, появление новых частиц в результате физической или химической реакции обычно носит экспоненциальный характер. То есть растёт по экспоненте , где и – некоторые константы. С увеличением значений «икс» наблюдается стремительный, прямо-таки «взрывной» рост «игреков», и наши опытные данные (см. рис. выше) как раз напоминают эту ситуацию.
С другой стороны, подходящий тип линии выявляют прямым перебором основных графиков – методом наименьших квадратов строят оптимальную прямую, параболу, гиперболу, экспоненту и т. д., и анализируют, какая функция лучше приближает эмпирические точки. Качество приближения оценивают с помощью индекса детерминации (чем больше к единице, тем лучше) и средней ошибки аппроксимации (чем ближе к нулю, тем лучше). Но это, конечно, большой объём работы, который лучше поручить статистическим программам. Простейший перебор можно выполнить в обычном Экселе, и я даже записал небольшой ролик на эту тему (смотреть до конца!!):
Итак, в нашей задаче наилучшим выбором действительно является экспонента , а конкретно . Но то было программное решение с готовым результатом, а нам-то нужно всё рассчитать подробно, чем мы сейчас и займёмся:
2) Методом наименьших квадратов найдём уравнение нелинейной, в данном случае экспоненциальной регрессии .
Коэффициенты и определим из решения системы:
, где
Откуда и из каких соображений взялась эта система, можно узнать в статье Метод наименьших квадратов, ну а мы займёмся её эксплуатацией. Заполним расчётную таблицу (в нижней строке – суммы по столбцам):
Неоднократно повторял, но ещё раз – подобные расчёты легко и быстро выполняются в MS Excel, смотрИте, например, этот ролик. Для вычисления натурального логарифма используем стандартную функцию =LN( ).
! Примечание: суммы в последних двух столбцах выглядят округлёнными, но Эксель рассчитывает их более точно, поэтому в последующих вычислениях формально будут некоторые погрешности. Кроме того, довольно часто я буду пренебрегать значком , записывая строгое равенство.
Таким образом, получаем систему:
Систему решим по формулам Крамера. Вычислим главный определитель:
, значит, система имеет единственное решение.
и не забываем выразить непосредственно коэффициент
В результате, искомая экспонента: . Напоминаю, что полученное уравнение наилучшим образом приближает эмпирические точки по сравнению с любой другой экспонентой из семейства . Выполним чертёж:
Если выполняете его от руки, то для построения экспоненты можно использовать опорные значения , вычисленные в таблице ниже.
3) Найдём индекс детерминации и индекс корреляции. Для этого вычислим среднее значение признака-результата и заполним расчётную таблицу, сразу с добавочным столбцом для расчёта СОА в пункте 5:
В результате, общая сумма квадратов , остаточная сумма квадратов и индекс детерминации:
– таким образом, в рамках построенной модели размножение бактерий (результат ) на 98,21% объяснено течением времени (фактором ). Остальные 1,79% вариации признака-результата обусловлены другими, не учтёнными в модели факторами.
Вычислим индекс корреляции:
– таким образом, согласно шкале Чеддока, существует практически функциональная зависимость признака-результата от фактора .
4) Проверим статистическую значимость построенной модели. Говоря простыми словами, нужно выяснить – а можно ли доверять полученным выборочным результатам? Или же они случайны? (по той причине, что выборка малА). Ответ на этот вопрос тут очевиден, но нужно оформить формальное решение.
На уровне значимости проверим нулевую гипотезу – о том, что генеральный индекс детерминации равен нулю, против конкурирующей гипотезы: .
Используем статистический критерий , где – значение выборочного индекса детерминации. В разных выборках оно будет разным, а посему – есть величина случайная (как и любой другой статистический критерий).
Для уровня значимости и количества степеней свободы по соответствующей таблице или с помощью Расчётного макета (пункт 12) определяем критическое значение критерия:
Вычислим наблюдаемое значение критерия: – оно попало, да ещё как, в критическую область :
– поэтому на уровне значимости гипотезу отвергаем в пользу гипотезы .
Вывод: полученный результат статистически значим, следовательно, статистически значимо и выборочное уравнение экспоненциальной регрессии. То есть, с точки зрения статистики, получилось не фуфло.
…Да, если вам не очень понятны эти танцы с бубном, то ознакомьтесь с общей моделью регрессии и линейным случаем в частности, где я рассказал, что к чему.
5) Вычислим среднюю ошибку аппроксимации:
– таким образом, регрессионные значения отличаются от соответствующих эмпирических значений в среднем на 8,16%, что можно признать хорошим результатом.
6) Спрогнозируем количество бактерий к 12-му и 24-му часу:
Вот такой вот он, экспоненциальный рост. Но это не беда. Domestos, миллионы микробов умрут (с).
Аналогичное задание для самостоятельного решения:
В результате исследования получены следующие данные:
где, – количество выпущенной продукции (тысяч единиц), а – себестоимость одной единицы продукции (руб.)
1) Методом наименьших квадратов найти уравнение гиперболической регрессии, выполнить чертёж.
2) Вычислить индекс детерминации и корреляции.
3) Проверить значимость полученной модели на уровне .
4) Найти среднюю ошибку аппроксимации.
По каждому пункту сделать выводы.
а числа уже в Экселе – не ленимся провести вычисления! Ничего страшного, если получится не сильно красиво, важно отработать сам алгоритм.
Обратите внимание, что в этой задаче сразу предложен вид регрессии, и это не случайность. Гиперболическая зависимость характерна для процессов, где есть некий предел («насыщение») – когда дальнейшее увеличение (либо уменьшение) факторной переменной практически перестаёт оказывать влияние на результат (ещё раз проанализируйте числа в таблице выше). Яркий пример есть в физике – это остывание кипятка: наиболее сильно температура падает в первый час, в течение же последующих часов она уменьшается уже незначительно. И пример с ростом: мышечная масса человека будет заметно расти с увеличением физических нагрузок, но настанет такой момент, когда этот рост практически прекратится, как ни увеличивай интенсивность и продолжительность тренировок. И здесь остаётся только «химия», к которой прибегают практически все культуристы (ни в коем случае не призыв).
Рассмотрим ещё одну регрессию и ещё одну классическую задачу, снова из экономики:
По результатам 12 лет имеются следующие данные:
где, – средняя цена товара по торговым точкам региона (ден. ед.), а – общее количество проданных за год товаров (тыс. штук).
1) Методом наименьших квадратов найти функцию спроса , выполнить чертёж.
2) Вычислить индексы детерминации и корреляции и проверить значимость построенной модели на уровне .
3) Вычислить среднюю ошибку аппроксимации.
4) Определить коэффициент эластичности спроса.
И само собой, выводы, выводы, выводы. Выводы.
Но перед тем как оформлять решение, немного порассуждаем: что происходит, когда повышается цена на какой-то товар? Это зависит от того, что это за товар и ещё от некоторых факторов. Но чаще спрос (количество проданных товаров) падает, причём, падать он может разными темпами. Приступаем:
1) Составим уравнение регрессионной зависимости спроса от цены товара. Почему именно степеннАя регрессия во многих случаях удачно моделирует спрос, мы разберёмся чуть позже, после освоения технической стороны вопроса. Заполним расчётную таблицу:
Напоминаю, что в Экселе есть функция =LN( ), и обратите внимание на магию логарифмов – как они уменьшили «иксовые» и особенно «игрековые» значения.
Коэффициенты регрессии найдём из решения системы:
, где .
В нашем случае объём совокупности и:
Систему решим по формулам Крамера,… а, кстати, почему всё время Крамер да Крамер? С десятичными хвостатыми дробями это наиболее удобный способ:
, значит, система имеет единственное решение.
после чего находим сам коэффициент: .
И коэффициент «бэ»:
Таким образом, – степеннАя регрессионная зависимость количества проданных товаров от цены. Изобразим на чертеже эмпирические точки и график регрессии:
Что можно сказать «по первой оглядке»? При увеличении цены спрос сначала припал, а затем уже не очень-то хочет снижаться. Подумайте, что это может быть за товар. Также обращаю внимание на схожесть с гиперболической регрессией, и это неудивительно, ведь график при представляет собой кривую гиперболического типа, а при мы собственно и получаем обычную «школьную» гиперболу.
2) Вычислим индексы детерминации и корреляции. Для этого найдём среднее значение признака-результата и заполним ещё одну расчётную таблицу:
В результате, общая сумма квадратов , остаточная сумма квадратов и индекс детерминации:
– таким образом, в рамках построенной модели спрос на 70,16% зависит от изменения цены, а оставшаяся часть вариации (29,84%) спроса обусловлена факторами, не учтёнными моделью.
Вычислим индекс корреляции:
– таким образом, существует сильная корреляционная зависимость количества проданных товаров от цены.
На уровне значимости проверим нулевую гипотезу (генеральный индекс детерминации равен нулю), против конкурирующей гипотезы . Используем статистический критерий , где – значение выборочного индекса детерминации.
Для и количества степеней свободы по соответствующей таблице или с помощью Расчётного макета (пункт 12) определим критическое значение критерия:
Наблюдаемое значение критерия: – попало в критическую область:
поэтому на уровне значимости гипотезу отвергаем в пользу гипотезы .
Вывод: выборочное значение статистически значимо, следовательно, статистически значимо и выборочное уравнение степеннОй регрессии.
3) Вычислим среднюю ошибку аппроксимации:
– таким образом, регрессионные значения отличаются от соответствующих эмпирических значений в среднем на 8,2%, что является хорошим результатом.
4) Определим коэффициент эластичности («эпсилон»).
Этот коэффициент показывает, на сколько процентов изменится значение признака результата при увеличении признака-фактора на 1%. В случае степеннОй регрессии коэффициент эластичности – постоянен и в точности равен параметру «бэ».
В нашей задаче и – таким образом, при увеличении цены (значения «икс») на один процент – спрос на товар (значение «игрек») уменьшается примерно на 0,35%. Таким образом, спрос падает медленнее, чем растёт цена. Математически этот факт можно записать так: – и это означает, что такой товар неэластичен по спросу. Как правило, это вещи первой необходимости и / или товары, которые трудно заменить – соль, хлеб, некоторые лекарства, бензин, лампочки, патроны и т. п. Так, если хлеб подорожает в два раза, то спрос несколько снизится, но существенно не упадёт. Цена и объём продаж, к слову, в нашей задаче смахивают именно на хлеб.
Если , то спрос падает быстрее, нежели растёт цена. Такой товар называют эластичным по спросу. Это значит, что его легко заменить или вообще отказаться от покупки. Так, если сильно подорожает мясо, то спрос на него резко упадёт – большинство людей «безболезненно» перейдут на курицу и рыбу. Некоторые станут веганами 🙂 Ну а если в два раза подорожает золото, то большинство ювелирных магазинов просто закроется (в отличие от хлебных).
Понятие эластичности, естественно, относится не только к спросу, а формально вообще к любому фактору и результату, и чёткое определение эластичности дано в начале этого пункта. Он (коэффициент) может и не иметь содержательного смысла – это зависит от условия той или иной задачи.
Коэффициент эластичности можно рассчитать и для других видов регрессии – по специальной формуле, которую я привёл в статье Линейный коэффициент корреляции. Но там мы вычислили средний коэффициент эластичности, ибо почти во всех случаях эластичность зависит от значения «икс». И только степеннАя регрессия обладает тем замечательным свойством, что эластичность – есть константа для любого допустимого «икс».
И гвоздь программы! – для любителей хардкора. Завершим урок параболической регрессией:
По результатам выборочного исследования 10 хозяйств области получены следующие данные:
где, – количество внесённых минеральных удобрений на 1 гектар (центнеры), а – соответствующая урожайность картофеля (ц/га – центнеров с га).
1) Методом наименьших квадратов найти уравнение параболической регрессии , выполнить чертёж.
2) Вычислить индексы детерминации и корреляции и проверить значимость построенной модели на уровне .
3) Вычислить среднюю ошибку аппроксимации.
4) С помощью уравнения регрессии найти оптимальное количество удобрений , при котором среднеожидаемая урожайность будет максимальной.
По каждому пункту сделать выводы.
Все числа уже там, и краткий мануал. 1) Для нахождения коэффициентов регрессии нужно составить и решить следующую систему:
Да, расчётная таблица здесь будет пошире, но с Экселем с этим вообще никаких проблем. Чтобы рассчитать определители используйте функцию =МОПРЕД(выделяем мышкой область три на три).
В пункте 2) следует немного поправить статистический критерий: .
И по пункту 4): чтобы определить оптимальное количество удобрений, нужно взять производную и из уравнения найти точку максимума . Затем вычислить максимум .
Когда используется параболическая регрессия? Этот вид регрессии уместен там, где по логике задачи должен быть экстремум (минимум или максимум). Так, в Примере 77 логичен тот факт, что при увеличении количества удобрений урожайность сначала растёт, затем достигает максимальных значений и далее падает (т. к. нарастает вред). В Сети я нашёл довольно много примеров из медицины, но смутно понял только один – эквивалентный, когда при увеличении дозировки лекарства активность рецепторов сначала увеличивается, а затем уменьшается. …Эврика! – это ж алкоголь 🙂 Закуска, так сказать, к поданным мной блюдам.
За кадром сегодняшнего урока остался пример с логарифмическое регрессией , но там всё по шаблону, вот рабочая система:
– и понеслось.
Далее по курсу коэффициент корреляции Спирмена и коэффициент корреляции Фехнера, ибо не регрессией единой живА корреляционная зависимость.
Решения и ответы:
Пример 75. Решение: 1) Заполним расчётную таблицу:
Коэффициенты регрессии найдём как решение системы:
Систему решим по формулам Крамера:
, значит, система имеет единственное решение.
Искомое уравнение: . Изобразим на чертеже эмпирические точки и график гиперболической регрессии:
Примечание: для построения гиперболы от руки можно использовать опорные точки , рассчитанные в таблице ниже.
По графику хорошо видно, что себестоимость единицы продукции значительно падает при увеличении объёма выпуска до 3-4 тыс. единиц. Дальнейшее увеличение объёма имеет мЕньший эффект и в районе 9-10 тысяч практически перестаёт оказывать влияние на себестоимость.
2) Вычислим среднее значение признака-результата (руб.) и заполним расчётную таблицу:
В результате, общая сумма квадратов , остаточная сумма квадратов .
Вычислим индекс детерминации:
– таким образом, в рамках построенной модели вариация себестоимости на 96,77% объяснена изменением объёма производства. Остальные 3,33% вариации обусловлены неучтёнными в модели факторами.
Вычислим индекс корреляции:
– таким образом, себестоимость единицы продукции очень сильно зависит от объёма выпуска.
3) На уровне значимости проверим нулевую гипотезу – о том, что генеральный индекс детерминации равен нулю, против конкурирующей гипотезы: . Используем статистический критерий , где – значение выборочного индекса детерминации.
Для уровня значимости и количества степеней свободы по соответствующей таблице или с помощью Расчётного макета (пункт 12) определяем критическое значение критерия:
Наблюдаемое значение критерия попало в критическую область :
– поэтому на уровне значимости гипотезу отвергаем в пользу гипотезы .
Вывод: выборочный индекс детерминации статистически значим, следовательно, статистически значимо и выборочное уравнение гиперболической регрессии.
4) Вычислим среднюю ошибку аппроксимации:
– таким образом, разница между эмпирическими и соответствующими регрессионными значениями составляет в среднем 9,38%, что можно признать неплохим результатом.
Пример 77. Решение:
1) Методом наименьших квадратов найдём уравнение параболической регрессии . Заполним расчётную таблицу:
Коэффициенты регрессии найдём как решение системы:
Систему решим по формулам Крамера:
, значит, она имеет единственное решение.
Все определители считаем с помощью функции =МОПРЕД() приложения MS Excel:
В результате, искомое уравнение:
Изобразим на чертеже эмпирические точки и линию регрессии:
Очевидно, что при увеличении количества вносимых удобрений урожайность сначала растёт (т. к. увеличивается польза), а затем начинает снижаться (т. к. нарастает вред).
2) Вычислим среднее значение урожайности (ц/г) и заполним расчётную таблицу:
В результате, общая сумма квадратов , остаточная сумма квадратов и индекс детерминации:
– таким образом, в рамках построенной модели урожайность картофеля на 73,51% зависит от количества внесённых удобрений. Оставшаяся часть вариации (26,49%) урожайности обусловлена другими факторами (составом почвы, погодой и т. д.).
Вычислим индекс корреляции:
– таким образом, зависимость урожайности от количества удобрений – сильная.
На уровне значимости проверим нулевую гипотезу – о том, что генеральный индекс детерминации равен нулю, против конкурирующей гипотезы . Используем статистический критерий , где – значение выборочного индекса детерминации.
Для уровня значимости и количества степеней свободы по соответствующей таблице или с помощью Расчётного макета (пункт 12) определяем критическое значение критерия:
Наблюдаемое значение критерия , поэтому на уровне значимости гипотезу отвергаем в пользу гипотезы .
Вывод: индекс детерминации статистически значим, следовательно, статистически значимо и выборочное уравнение параболической регрессии.
3) Вычислим среднюю ошибку аппроксимации:
– таким образом, эмпирически и соответствующие регрессионные значения различаются в среднем на 5,1%, что можно признать очень хорошим результатом.
4) С помощью уравнению регрессии определим оптимальное количество удобрений и соответствующую среднеожидаемую максимальную урожайность .
Найдём производную и приравняем её к нулю:
.
Оптимальному количеству удобрений соответствует корень этого уравнения: центнеров на 1 га.
И, согласно полученному уравнению регрессии, этому значению соответствует среднеожидаемая максимальная урожайность:
ц/га
Точка с координатами – есть в точности вершина параболы на чертеже выше. Следует ещё раз заметить, что это среднеожидаемая оценка, полученная по конкретному уравнению регрессии. В другой выборке будет немного другое уравнение и немного другая точка.
Автор: Емелин Александр
(Переход на главную страницу)
Zaochnik.com – профессиональная помощь студентам,
cкидкa 15% на первый зaкaз, при оформлении введите прoмoкoд: 5530-hihi5
© Copyright mathprofi.ru, Александр Емелин, 2010-2024. Копирование материалов сайта запрещено