Виды регрессии: 5 видов регрессии и их свойства. При помощи построения регрессионных… | by Margarita M | NOP::Nuances of Programming

5 видов регрессии и их свойства. При помощи построения регрессионных… | by Margarita M | NOP::Nuances of Programming

Линейная и логистическая регрессии обычно являются первыми видами регрессии, которые изучают в таких областях, как машинное обучение и наука о данных. Оба метода считаются эффективными, так как их легко понять и использовать. Однако, такая простота также имеет несколько недостатков, и во многих случаях лучше выбирать другую регрессионную модель. Существует множество видов регрессии, каждый из которых имеет свои достоинства и недостатки.

Мы познакомимся с 7 наиболее распространенными алгоритмами регрессии и опишем их свойства. Также мы узнаем, в каких ситуация и с какими видами данных лучше использовать тот или иной алгоритм. В конце мы расскажем о некоторых инструментах для построения регрессии и поможем лучше разобраться в регрессионных моделях в целом!

Регрессия — это метод, используемый для моделирования и анализа отношений между переменными, а также для того, чтобы увидеть, как эти переменные вместе влияют на получение определенного результата. Линейная регрессия относится к такому виду регрессионной модели, который состоит из взаимосвязанных переменных. Начнем с простого. Парная (простая) линейная регрессия — это модель, позволяющая моделировать взаимосвязь между значениями одной входной независимой и одной выходной зависимой переменными с помощью линейной модели, например, прямой.

Более распространенной моделью является множественная линейная регрессия, которая предполагает установление линейной зависимости между множеством входных независимых и одной выходной зависимой переменных. Такая модель остается линейной по той причине, что выход является линейной комбинацией входных переменных. Мы можем построить модель множественной линейной регрессии следующим образом:

Y = a_1*X_1 + a_2*X_2 + a_3*X_3 ……. a_n*X_n + b

Где a_n — это коэффициенты, X_n — переменные и b — смещение. Как видим, данная функция не содержит нелинейных коэффициентов и, таким образом, подходит только для моделирования линейных сепарабельных данных. Все очень просто: мы взвешиваем значение каждой переменной X_n с помощью весового коэффициента a_n. Данные весовые коэффициенты a_n, а также смещение b вычисляются с применением стохастического градиентного спуска. Посмотрите на график ниже в качестве иллюстрации!

Несколько важных пунктов о линейной регрессии:

• Она легко моделируется и является особенно полезной при создании не очень сложной зависимости, а также при небольшом количестве данных.
• Обозначения интуитивно-понятны.
• Чувствительна к выбросам.

Для создания такой модели, которая подойдет для нелинейно разделяемых данных, можно использовать полиномиальную регрессию. В данном методе проводится кривая линия, зависимая от точек плоскости. В полиномиальной регрессии степень некоторых независимых переменных превышает 1. Например, получится что-то подобное:

Y = a_1*X_1 + (a_2)²*X_2 + (a_3)⁴*X_3 ……. a_n*X_n + b

У некоторых переменных есть степень, у других — нет. Также можно выбрать определенную степень для каждой переменной, но для этого необходимы определенные знания о том, как входные данные связаны с выходными. Сравните линейную и полиномиальную регрессии ниже.

Несколько важных пунктов о полиномиальной регрессии:

• Моделирует нелинейно разделенные данные (чего не может линейная регрессия). Она более гибкая и может моделировать сложные взаимосвязи.
• Полный контроль над моделированием переменных объекта (выбор степени).
• Необходимо внимательно создавать модель. Необходимо обладать некоторыми знаниями о данных, для выбора наиболее подходящей степени.
• При неправильном выборе степени, данная модель может быть перенасыщена.

В случае высокой коллинеарности переменных стандартная линейная и полиномиальная регрессии становятся неэффективными. Коллинеарность — это отношение независимых переменных, близкое к линейному. Наличие высокой коллинеарности можно определить несколькими путями:

• Коэффициент регрессии не важен, несмотря на то, что, теоретически, переменная должна иметь высокую корреляцию с Y.
• При добавлении или удалении переменной из матрицы X, коэффициент регрессии сильно изменяется.
• Переменные матрицы X имеют высокие попарные корреляции (посмотрите корреляционную матрицу).

Сначала можно посмотреть на функцию оптимизации стандартной линейной регрессии для лучшего понимания того, как может помочь гребневая регрессия:

min || Xw — y ||²

Где X — это матрица переменных, w — веса, y — достоверные данные. Гребневая регрессия — это корректирующая мера для снижения коллинеарности среди предикторных переменных в регрессионной модели. Коллинеарность — это явление, в котором одна переменная во множественной регрессионной модели может быть предсказано линейно, исходя из остальных свойств со значительной степенью точности. Таким образом, из-за высокой корреляции переменных, конечная регрессионная модель сведена к минимальным пределам приближенного значения, то есть она обладает высокой дисперсией.

Гребневая регрессия добавляет небольшой фактор квадратичного смещения для уменьшения дисперсии:

min || Xw — y ||² + z|| w ||²

Такой фактор смещения выводит коэффициенты переменных из строгих ограничений, вводя в модель небольшое смещение, но при этом значительно снижая дисперсию.

Несколько важных пунктов о гребневой регрессии:

• Допущения данной регрессии такие же, как и в методе наименьших квадратов, кроме того факта, что нормальное распределение в гребневой регрессии не предполагается.
• Это уменьшает значение коэффициентов, оставляя их ненулевыми, что предполагает отсутствие отбора признаков.

В регрессии лассо, как и в гребневой, мы добавляем условие смещения в функцию оптимизации для того, чтобы уменьшить коллинеарность и, следовательно, дисперсию модели. Но вместо квадратичного смещения, мы используем смещение абсолютного значения:

min || Xw — y ||² + z|| w ||

Существует несколько различий между гребневой регрессией и лассо, которые восстанавливают различия в свойствах регуляризаций L2 и L1:

• Встроенный отбор признаков — считается полезным свойством, которое есть в норме L1, но отсутствует в норме L2. Отбор признаков является результатом нормы L1, которая производит разреженные коэффициенты. Например, предположим, что модель имеет 100 коэффициентов, но лишь 10 из них имеют коэффициенты отличные от нуля. Соответственно, «остальные 90 предикторов являются бесполезными в прогнозировании искомого значения». Норма L2 производит неразряженные коэффициенты и не может производить отбор признаков. Таким образом, можно сказать, что регрессия лассо производит «выбор параметров», так как не выбранные переменные будут иметь общий вес, равный 0.
• Разряженность означает, что незначительное количество входных данных в матрице (или векторе) имеют значение, отличное от нуля. Норма L1 производит большое количество коэффициентов с нулевым значением или очень малые значения с некоторыми большими коэффициентами. Это связано с предыдущим пунктом, в котором указано, что лассо исполняет выбор свойств.
• Вычислительная эффективность: норма L1 не имеет аналитического решения в отличие от нормы L2. Это позволяет эффективно вычислять решения нормы L2. Однако, решения нормы L1 не обладают свойствами разряженности, что позволяет использовать их с разряженными алгоритмами для более эффективных вычислений.

Эластичная сеть — это гибрид методов регрессии лассо и гребневой регрессии. Она использует как L1, так и L2 регуляризации, учитывая эффективность обоих методов.

min || Xw — y ||² + z_1|| w || + z_2|| w ||²

Практическим преимуществом использования регрессии лассо и гребневой регрессии является то, что это позволяет эластичной сети наследовать некоторую стабильность гребневой регрессии при вращении.

Несколько важных пунктов о регрессии эластичной сети:

• Она создает условия для группового эффекта при высокой корреляции переменных, а не обнуляет некоторые из них, как метод лассо.
• Нет ограничений по количеству выбранных переменных.

Вот и все! 5 распространенных видов регрессии и их свойства. Все данные методы регуляризации регрессии (лассо, гребневая и эластичной сети) хорошо функционирует при высокой размерности и мультиколлинеарности среди переменных в наборе данных.

Перевод статьи George Seif: 5 Types of Regression and their properties

10 типов регрессии – какой выбрать?

Сегодня мы расскажем о десяти основных видах регрессии и подскажем, какой из них выбрать исходя из контекста поставленной задачи.

Линейная или логистическая? Видов регрессии – сотни, и разобраться с ними порой бывает очень сложно. На основании практического опыта аналитиков и специалистов в области Data Science мы составили список из десяти самых распространенных регрессий, подкрепив их примерами использования для решения различных задач.

1. Линейная регрессия – «старейший» тип, появившийся два с половиной века назад. Вычисления на малых наборах данных с ее помощью легко провести даже вручную. Современные примеры использования включают интерполяцию, однако для реальных прогнозов и упреждающего анализа линейная регрессия не подходит. Плюс ко всему, на современных данных, которым свойственна весьма хаотичная структура, этот тип регрессии склонен «лагать»: сверхточность линейной регрессии, когда модель слишком хорошо работает на одном наборе данных, и из рук вон плохо на другой, тогда как она должна бы описывать общие закономерности, делает ее нестабильной практически во всех случаях.

Целевая функция линейной регрессионной модели (, где   — параметры модели,  — случайная ошибка модели )  имеет вид  , где   — параметры (коэффициенты) регрессии,   — регрессоры (факторы модели), k — количество факторов модели.

2. Логистическая регрессия широко используется в клинических испытаниях, определении количественных показателей и, например, определении мошенничества, когда ответ может быть получен в двоичном виде («да»/«нет») – для тестируемого препарата или транзакции по кредитной карте. Обладает некоторыми недостатками, свойственными линейной регрессии – низкая устойчивость к ошибкам, зависимость от набора данных, но в общем работает лучше, и может быть приведена к виду линейной регрессии для упрощения вычислений. Некоторые версии – к примеру, регрессия Пуассона – усовершенствованы для использования в случае необходимости получения недвоичного ответа – классификации, возрастных групп и даже регрессионных деревьев.

Делается предположение, что вероятность наступления события   равна:  где ,   и  — векторы-столбцы значений независимых переменных   и параметров (коэффициентов регрессии) — вещественных чисел , соответственно, а  — так называемая логистическая функция (иногда также называемая логит-функцией):

Ридж-регрессия или гребневая регрессия предполагает оценку параметров по следующей формуле:

4. Лассо-регрессия сходна с гребневой, за исключением того, что коэффициенты регрессии могут равняться нулю (часть признаков при этом исключается из модели).

5. Так называемая экологическая регрессия используется в случаях, когда данные разделены на достаточно большие пласты или группы (регрессия применяется к каждой из них по отдельности) – к примеру, этот тип регрессии используется в политологии для оценки группового поведения избирателей исходя из сводных данных. Следует, однако, остерегаться «проклятия больших данных»: если происходит подсчет миллионов регрессий, какие-то из моделей могут быть абсолютно неточными, и удачные модели окажутся «задавленными» моделями шумными c высокой (и, естественно, искусственной) степенью согласия. Поэтому такой вид регрессии не подходит для прогнозирования экстремальных событий (землетрясения) и исследования причинных взаимосвязей (глобальное потепление).

6. Байесовская регрессия похожа на гребневую регрессию, однако основана на том допущении, что в данных шум (ошибка) распределен нормально – соответственно, предполагается, что общее понимание о структуре данных уже имеется, и это дает возможность получать более точную модель (по сравнению с линейной регрессией уж точно). Однако на практике, особенно если мы имеем дело с большими данными, первоначальные знания о данных не могут похвастаться точностью, поэтому предположение строится на основании сопряженных величин, то есть оно искусственно по своей сути – и это существенный недостаток данного типа регрессии.

Наблюдаемая переменная вычисляется так:

ошибка распределена нормально: 

7. Логическая регрессия используется, когда все переменные имеют двоичную природу – в особенности, в алгоритмах определения количественных показателей. Это специализированная, более точная форма логистической регрессии, использующаяся для определения случаев мошенничества, когда все переменные приведены к двоичному виду.

, где  – булева комбинация сопряженных величин

8. Квантильная регрессия используется в связи с экстремальными событиями – этот тип предполагает намеренное введение смещения в результат, повышая точность модели.

9. LAD-регрессия

10. Джекнайф-регрессия (метод складного ножа) – новый тип регрессии, использующийся в целях кластеризации и прореживания данных. При этом «складной нож» не обладает недостатками классических типов, предоставляя приблизительное, но при этом очень точное и устойчивое к ошибкам решение задач на регрессию, отлично работает с «независимыми» переменными, которые коррелируют или не могут «похвастать» нормальным распределением. Считается, что этот тип регрессии идеален для алгоритмов прогнозирования типа «черный ящик» — он прекрасно аппроксимирует линейную регрессию без потери точности и работает даже в тех случаях, когда допущения традиционной регрессии (не коррелирующие переменные, нормальное распределение данных, постоянная условная дисперсия) принять невозможно в силу особенностей данных.

Пусть дана выборка . В вероятностно-статистической теории предполагаем, что это — набор независимых одинаково распределенных случайных величин. Пусть интересует некоторая статистика   Идея, которую предложил в 1949 г. М. Кенуй (это и есть «метод складного ножа») состоит в том, чтобы из одной выборки сделать много, исключая по одному наблюдению (и возвращая ранее исключенные). Перечислим выборки, которые получаются из исходной:

Всего n новых (размноженных) выборок объемом (n-1) каждая. По каждой из них можно рассчитать значение интересующей эконометрика статистики (с уменьшенным на 1 объемом выборки):

Полученные значения статистики позволяют судить о ее распределении и о характеристиках распределения — о математическом ожидании, медиане, квантилях, разбросе, среднем квадратическом отклонении.

 Автор: Елизавета Филиппова

Общие регрессионные модели



Общие регрессионные модели (GRM)

Модуль Общие регрессионные модели (GRM) включает в себя методы анализа общих линейных моделей и позволяет строить модели планов эффектов с множественными степенями свободы для категориальных предикторов и планы анализа эффектов с одной степенью свободы непрерывных предикторов. В GRM используется пошаговая техника и методы наилучшего подмножества Дисперсионного анализа (ANOVA), регрессии и анализа ковариаций (ANCOVA). Для построения и оценки включенных в модель итоговых эффектов в GRM используется метод наименьших квадратов общих линейных моделей.

Основные идеи: Использование простых моделей

Хорошая теория является результатом процесса сложных и одновременно красивых исследований. Мы начинаем наши исследования с модели, которая включает все возможные, поддающиеся изучению факторов влияющих на цель нашего исследования. Затем, проводим тестирования элементов начальной модели, с целью выявления менее сложных моделей, адекватно описывающих цель исследований. В итоге из упрощенных моделей выделяем наипростейшую модель, которая по принципу «простоты» будет являться «наилучшей» интерпретацией нашей цели исследования.

Выбирая более простую модель, мы руководствуемся не только философскими побуждениями, а скорее практическими. Простые модели намного легче тестировать во время кросс-проверки и повторного использования. С другой стороны, простые модели намного легче использовать в будущем с точки зрения стоимости получения отклика и значений предикторов. Так же не стоит преуменьшать философские основы простых моделей. Простые модели намного легче для понимания и зачастую намного «красивее» более сложных.

Процесс исследования, описанный выше, сосредоточен в технике построения модели пошаговой регрессии или регрессии наилучшего подмножества. Использование данной техники начинается с момента задания плана «общей модели.» Затем производится тестирование упрощенных подмоделей, с целью определить адекватность описания. В итоге принимаем одну из простых моделей в качестве «наилучшей.»

Построение модели в GRM

В отличие от модели множественной регрессии, в которой анализируются планы с непрерывными предикторами, планы общих линейных моделей используются при анализе планов Дисперсионного анализа с категориальными предикторами, планов Ковариационного анализа с категориальными и непрерывными предикторами и регрессионных планов с непрерывными предикторами. Эффекты категоризованных предикторов представляются в виде матрицы плана X используя либо перепараметризованную модель, либо сигма-ограниченную модель.

Для построения модели используется сигма-ограниченная параметризация. На основе точного определения, общие линейные модели используются для анализа планов эффектов категориальных предикторов, которые закодированы каким либо методом. В большинстве случаев использования общих линейных моделей, метод параметризации категориальных предикторов, будь то сигма-ограниченный метод или перепараметризованный метод, выбирается произвольным образом. При построение модели, выбор перепараметризованной модели в качестве параметризации является не самым удачным решением; эффекты низких порядков категориальных предикторов вместе с эффектами высокого порядка, содержащих взаимодействия, будут избыточными, что может привести к резкой потери качества оценивания.

При использовании сигма-ограниченной параметризации категориальных предикторов, данная проблема не возникает, поэтому данный вид параметризации используется в модуле GRM.

Планы, которые нельзя представить при помощи сигма-ограниченной параметризации. Сигма-ограниченный тип параметризации используется в большинстве планов, но не во всех. Например, планы, которые нельзя представить при помощи сигма-ограниченной параметризации, основываются на планах гнездовых эффектов, такие как: гнездовой ДА, неоднородные коэффициенты наклона и смешанные модели со случайными эффектами. Все остальные типы планов Дисперсионного анализа, Ковариационного анализа или регрессионного анализа можно представить при помощи сигма-ограниченной параметризации и проанализировать в модуле GRM.

Построение модели планов с несколькими зависимыми переменными. Построение модели при помощи пошаговой и наилучшего подмножества техники является наиболее разработанным методом построения регрессионных планов для одной зависимой переменной (например, смотри Cooley и Lohnes, 1971; Darlington, 1990; Hocking Lindeman, Merenda и Gold, 1980; Morrison, 1967; Neter, Wasserman и Kutner, 1985; Pedhazur, 1973; Stevens, 1986; Younger, 1985). При помощи сигма-ограниченного кодирования и методов общих линейных моделей, данные способы построения моделей можно применять ко всем моделям Дисперсионного анализа с одним категориальным предиктором, моделям Ковариационного анализа и регрессионных планов для непрерывных переменных. Построение планов с несколькими зависимыми переменными требует рассуждений и предположений, которые, как правило, не входят в общие линейные модели. Методы построения и анализа планов с несколькими зависимыми переменными вы найдете в модуле Моделирование структурными уравнениями.

Виды анализа

При помощи сигма-ограниченного кодирования матрицы плана X можно представить большинство различных видов планов. Все эти планы можно проанализировать при помощи общих линейных моделей. Ниже приведены разделы, в которых описываются данные планы и их различия. Несколько основных типов различий следуют из того, что почти все планы можно представить в виде «гибридов» или комбинаций различных типов основных планов.

Межгрупповые планы

Вводный обзор

Уровни или значения предикторных переменных анализа описывают различия между анализируемыми n объектами или n допустимыми наблюдениями одного объекта. Таким образом, когда мы говорим об анализе межгруппового плана, мы подразумеваем природу, число и порядок предикторных переменных.

Планы, содержащие только категориальные предикторы, называются планами Дисперсионного анализа (ANOVA/MANOVA планы), межгрупповые планы, содержащие только непрерывные предикторы, называются регрессионными планами и межгрупповые планы, содержащие оба типа предикторов, называются ковариационными планами (ANCOVA планы).

Межгрупповые планы, содержащие только один предиктор, называются простыми (например, простые регрессионные планы), планы, содержащие несколько предикторов — составными или множественными планами (например, планы множественной регрессии).

Относительно порядка предикторов: некоторые межгрупповые планы содержат только «главные эффекты» или предикторы первого порядка, что эквивалентно тому что, значения различных предикторов независимы и входят в модель в первой степени. Некоторые межгрупповые планы могут содержать высокого порядка элементы предикторов, путем возведения значений исходных предикторов в степень больше 1 (например, планы полиномиальной регрессии) или включать произведения различных предикторов (т.е., элементы взаимодействия). Стандартным типом планов для Дисперсионного анализа является полный факторный план, в который входят все возможные комбинации уровней каждого категориального предиктора. Планы, не содержащие некоторых комбинаций, называются дробными планами.

Данное описание имеющихся различий в природе, числе и порядке предикторов характеризует все основные типы межгрупповых планов. Ниже приведены более подробные описания основных типов планов.

Простая регрессия

В планах простой регрессии используется только один непрерывный предиктор. Предположим, что у нас есть три наблюдения непрерывного предиктора P: 7, 4, и 9, и есть план анализа для эффекта первого порядка P. Тогда матрица X будет выглядеть следующим образом:

уравнения регрессии с использованием P для X1 будет выглядеть следующим образом:

Y = b₀ + b₁P

Если план простой регрессии использует эффекты более высокого порядка P, например, квадратичный эффект то, значения столбца X1 матрицы плана будут возведены во 2ую степень:

уравнения регрессии с использованием P2 для X1 будет выглядеть следующим образом:

Y = b₀ + b₁P²

В регрессионных планах, значения непрерывного предиктора возводятся в необходимую степень и затем используются в качестве X переменных. Как вы видите, при описании регрессионного плана, намного проще использовать регрессионное уравнение в отличие от матрицы плана X.

Множественная регрессия

Планы Множественной регрессии используются для анализа непрерывных предикторов, так же как, планы Дисперсионного анализа главных эффектов предназначены для категориальных предикторов. Множественная регрессия является простой регрессией для 2 или большего числа непрерывных предикторов. Например, уравнение регрессии для эффектов первого порядка 3 непрерывных предикторов P, Q и R будет выглядеть следующим образом

Y = b₀ + b₁P + b₂Q + b₃R

Более полная информация о методах множественной регрессии приведена описании модуля Множественная регрессия.

Факторная регрессия

Факторная регрессия является аналогом факторного Дисперсионного анализа, планы регрессии содержат различные комбинации уровней факторов. Однако, в факторной регрессии, возможное число сочетаний уровней непрерывного предиктора может быть намного больше числа наблюдений. Не вдаваясь в подробности, полный факторный регрессионный план определяется как, план в котором представлены все возможные наблюдения непрерывных предикторов. Например, полный факторный регрессионный план для двух непрерывных предикторов P и Q будет содержать главные эффекты (т.е., эффекты первого порядка) P и Q и эффект их 2-го P на Q взаимодействия, который является произведением значений P и Q, для каждого наблюдения. Уравнение регрессии будет выглядеть следующим образом:

Y = b₀ + b₁P + b₂Q + b₃P*Q

Факторный регрессионный план может быть также и дробным, при этом эффекты более высокого порядка можно убрать из плана. Например, дробный факторный регрессионный план 2 степени для 3 непрерывных предикторов P, Q и R будет содержать главные эффекты и все 2-ые взаимодействия предикторов:

Y = b₀ + b₁P + b₂Q + b₃R + b₄P*Q + b₅P*R + b₆Q*R

Полиномиальная регрессия

Планы полиномиальной регрессии содержат как главные эффекты, так и эффекты более высоких порядков непрерывных переменных, но при этом не включают в себя взаимодействия предикторов. Например, план полиномиальной регрессии 2 порядка для трех непрерывных предикторов P, Q и R будет содержать главные эффекты (т.е., эффекты первого порядка) переменных P, Q, R и их квадратические (т.е., второго порядка) эффекты но, при этом в план не будут включены 2-ые взаимодействия и эффект тройного взаимодействия P на Q на R.

Y = b₀ + b₁P + b₂P² + b₃Q + b₄Q² + b₅R + b₆R²

Максимальная степень эффектов полиномиальной регрессии может быть разной для разных предикторов. Например, для одного предиктора заданы все эффекты до третьего порядка, а для другого — до четвертого порядка.

Регрессия поверхности отклика

План регрессии поверхности отклика второго порядка является гибридом плана полиномиальной регрессии и плана дробной факторной регрессии. План квадратичной регрессии поверхности отклика содержит эффекты 2-го порядка полиномиальной регрессии и эффекты взаимодействия 2-го порядка предикторов. Например, регрессионное уравнение поверхности отклика второго порядка для 3 непрерывных предикторов P, Q, R будет выглядеть следующим образом:

Y = b₀ + b₁P + b₂P² + b₃Q + b₄Q² + b₅R + b₆R² + b₇P*Q + b₈P*R + b₉Q*R

Данные типы планов используются в прикладных исследованиях (например, в промышленном планировании и анализе экспериментов). Более подробное описание данных планов представлено в разделе Обзор модуля Планирование эксперимента (смотри Центральные композиционные планы).

Регрессия поверхности смеси

Регрессии поверхности смеси является аналогом факториальной регрессии 2-го порядка без свободного члена. Смеси, как отображено в название, соответствую некоторой константе; сумма пропорций ингредиентов должна составлять 100%. Таким образом, пропорция одного из ингредиентов соответствует остатку от остальных ингредиентов, т.е. число степеней свободы пропорций ингредиентов меньше числа ингредиентов на 1. Понижение размерности модели поверхности смеси обходят путем опущения свободного члена в плане регрессии. Матрица плана для поверхности смеси для 3 непрерывных предикторов P, Q, R будет выглядеть следующим образом:

Y = b₁P + b₂P² + b₃Q + b₄P*Q + b₅P*R + b₆Q*R

Данные типы планов используются в прикладных исследованиях (например, в промышленном планирование и анализе экспериментов). Более подробное описание данных планов представлено в разделе Обзор модуля Планирование эксперимента (смотри Планы для смесей).

Однофакторный Дисперсионный анализ

Планами однофакторного Дисперсионного анализа называют планы с одним категориальным предиктором. Например, изучение эффектов воздействия 4 различных удобрений на различные виды растений, можно проанализировать при помощи однофакторного ДА, с четырьмя уровнями фактора Удобрение.

Рассмотри категориальный предиктор A, содержащего по 1 наблюдению в каждой из 3 его категорий. Используя сигма-ограниченный способ кодирования A на 2 контрастных переменных, получим матрицу X, задающую матрицу плана:

То есть, наблюдения в группах A1, A2 и A3 соответствуют 1 в столбце X0 (свободный член), наблюдения в группе A1 соответствуют 1 в X1 и значению 0 в X2, наблюдения в группе A2 соответствуют 0 в X1 и 1 в X2 и наблюдения в группе A3 соответствуют -1 в X1 и -1 в X2. Каждое дополнительное наблюдение будет закодировано аналогичным образом. Например, если было бы 1 наблюдение в группе A1, 2 наблюдения в группе A2 и 1 наблюдение в группе A3 то, матрица X выглядела бы так:

где первый индекс A соответствует номеру повторного эксперимента в каждой группе. Для краткости описания, повторные измерения обычно не отображаются при описании матрицы плана Дисперсионного анализа.

Заметьте, что в однофакторных планах, с одинаковым числом наблюдений в каждой группе, сигма-ограниченное кодирование выделяет переменные X1 … Xk со средним равным 0.

Данный простой пример показывает, что использование X матрицы преследует две основных цели. Задание (1) кодирования для каждого уровня предиктора при помощи переменных X, используемых в анализе и (2) отображение природы, числа и порядка расположения переменных X, которые характеризуют межгрупповой план.

Дисперсионный анализ главных эффектов

Дисперсионный анализ главных эффектов предназначен для анализа планов с 2 или большим числом категориальных предикторов. Пример анализа главных эффектов основывается на типичном анализе отсеивающих планов, описанном в контексте модуля Планирование эксперимента.

Рассмотрим 2 категориальных предиктора A и B с 2 категориями, каждый. Использование сигма-ограниченное кодирование X матрицы, задает межгрупповой план:

Заметьте, если в каждой группе содержится одинаковое число наблюдений то, сумма построчных произведений столбцов X1 на X2 равна 0, например, с 1 наблюдением в каждой группе (1*1)+(1*-1)+(-1*1)+(-1*-1) = 0.

Факторный Дисперсионный анализ

Планы факторного Дисперсионного анализа содержат переменные, содержащиеся в X матрице, характеризующие комбинации уровней 2 или более категориальных предикторов (например, изучение мальчиков и девочек в четырех возрастных группах является 2 (Пол) x 4 (Группа) планом). В частности, полный факторный план представляет собой набор всех возможных комбинаций уровней категориальных предикторов. Полный факторный план с 2 категориальными предикторами A и B, каждый с 2 уровнями, называется 2 x 2 полным факторным планом. Используя сигма-ограниченного кодирование, матрица X будет выглядеть так:

Следует прокомментировать некоторые особенности матрицы X. Заметьте что, столбцы X1 и X2 представляют собой главные эффекты (т.е., A и B, соответственно) свертывая по уровням других переменных. Столбец X3 представляет контраст между различными комбинациями уровней A и B. Значения X3 являются результатом произведения значений X1 и X2. Переменная X3 представляет собой взаимодействие эффектов мультипликаторов, в таком случае X3 называют 2-ым взаимодействием A и B. Взаимодействия такого рода произведения переменных и зависимой переменной отображает интерактивное воздействие факторов на отклик до и после их независимого влияния (т.е., главные эффекты) на отклик. Таким образом, факторные планы предоставляют больше информации о взаимодействиях между категориальными предикторами и их откликом на зависимую переменную, чем однофакторные планы или планы главных эффектов.

При изучении влияния большого числа факторов, зачастую, полный факторный план требует очень большого числа наблюдений, чем реально можно получить для анализа, для представления всех возможных комбинаций уровней факторов и взаимодействий между всеми факторами. При большом числе факторов, наиболее приемлемой альтернативой является дробный факторный план. Например, рассмотрим 2 x 2 x 2 дробный факторный план степени 2 с 3 категориальными предикторами, каждый из которых имеет 2 уровня. План будет содержать главные эффекты всех переменных и все 2-ые взаимодействия, но не будут включать 3-ые взаимодействия между всеми тремя переменными. Более детальное рассмотрение данных планов приводится в разделе 2(k-p) Дробные факторные планы главы Вводный обзор модуля Планирование эксперимента.

Ковариационный анализ (ANCOVA)

Межгрупповые планы, содержащие категориальные и непрерывные предикторы, называют ANCOVA планами. Традиционно, ANCOVA планы используются при анализе, в котором при оценке эффектов категориальных предикторов учитываются эффекты первого порядка одного или нескольких непрерывных предикторов. Основные элементы ковариационного анализа, вы сможете найти в главе Ковариационный анализ (ANCOVA) в описании модуля Дисперсионный анализ.

Проиллюстрируем выше сказанное, предположим что, исследователь хочет оценить влияние категориального предиктора A с 3 уровнями на некоторый выход, кроме того, известно, что непрерывный предиктор P коррелируют с выходом. Пусть файл данных представлен следующим образом:

Тогда, матрица плана сигма-ограниченной модели X, содержащего раздельные эффекты первого порядка P и A, будет выглядеть следующим образом:

Коэффициенты b2 и b3 уравнения регрессии

Y = b₀ + b₁X₁ + b₂X₂ + b₃X₃

представляют собой влияние, оказываемое элементами группы на категориальный предиктор A, контролирующий влияние значений на непрерывный предиктор P. Аналогичным образом, коэффициент b1 представляет собой влияние значений P на элементы группы A. Данный стандартный пример Ковариационного анализа представляет собой более качественную проверку воздействия A по мере того, как P уменьшает ошибку предсказания, характеризуемую остатками выхода.

Однородность угловых коэффициентов

Данный тип планов используется при анализе влияния непрерывных и категориальных предикторов и их взаимодействий на отклик. Традиционный ковариационный анализ (ANCOVA) для непрерывных и категориальных предикторов используется при отсутствии значимого влияния их взаимодействия на отклик. Для данного типа планов, используем тот же пример что, и для стандартного плана ANCOVA, сигма-ограниченная X матрица для однородных углов наклона будет выглядеть так:

Использование данной матрицы плана X, в случае когда, регрессионные коэффициенты b4 и b5

Y = b₀ + b₁X₁ + b₂X₂ + b₃X₃ + b₄X₄ + b₅X₅

равны нулю, эквивалентно использованию плана Ковариационного анализа ANCOVA.

Многомерные планы

План называется многомерным, если в нем присутствует несколько зависимых переменных. Показатели многомерной взаимосвязи, по своей природе, являются намного более сложными структурами, чем одномерные аналоги (например, корреляционные коэффициенты). Это связано с тем что, многомерные показатели должны учитывать не только воздействия предикторов на отклики но, и взаимосвязи среди зависимых переменных. Используя данный подход, получаем что, показатели взаимосвязи должны отражать информацию о силе взаимосвязи между предикторами и зависимыми переменными независимо от взаимосвязи между зависимыми переменными. Обзорную информацию о многомерных планах вы сможете найти в разделе Многомерные планы в описании модуля Дисперсионный анализ.

Наиболее часто используемые показатели меры многомерной зависимости можно представить при помощи функций от собственных значений матрицы произведения E-1H, где E — матрица ошибок SSCP (т.е., матрица суммы квадратов и кросс-произведений зависимых переменных, которые не были учтены в межгрупповом плане), H — SSCP матрица гипотезы (т.е., матрица суммы квадратов и кросс-произведений зависимых переменных, которые были учтены в межгрупповом плане или тоже самое для конкретного эффекта). Если

li = упорядоченные собственные значения матрицы E-1H, и E-1 существует

тогда, наиболее часто используемыми показателями являются:

Лямбда Уилкса = Х1/(1 + li)

След Пиллая = S li / (1 + li)

След Хотеллинга — Лоули = S li

Максимальный корень Роя = li

Данные 4 показателя обладают различными верхними и нижними границами и степенью интерпретации. Например, легче всего интерпретируется Лямбда Уилкса, для которого значения изменяются от 0 и до 1, 1 характеризует отсутствие зависимости, а 0 наличие сильной взаимосвязи между предикторами и откликом. Показатель равный 1 — Лямбда Уилкса иногда интерпретируется как многомерный аналог одномерного показателя R-квадрат, т.е., отражает отношение обобщенной дисперсии зависимых переменных вычисленной на основе предикторов.

Данные 4 показателя используются при построении многомерных критериев значимости, описание которых вы сможете найти в большом количестве различных источников (например, Finn, 1974; Tatsuoka, 1971).

Построение общей модели

Ниже приведены разделы, в которых описывается построение и тестирование гипотез «общей модели» в модуле GRM, например, каким образом разбиты квадраты и насколько хорошо подогнана общая модель.

Разбиение суммы квадратов

В основе метода наименьших квадратов лежит принцип разделения дисперсии зависимой переменной. Предположим, что зависимая переменная является откликом одного или нескольких предикторов и для удобства будем считать что, среднее зависимой переменной равно 0. Последнее предположения является вполне естественным, так как мы всегда можем вычесть из зависимой переменной ее среднее и затем оценивать уже усредненную переменную. В таком случае, сумма квадратов усредненной зависимой переменной идентична сумме квадратов предсказанных значений плюс сумма квадратов остатков. Более формально:

где в левой части стоит сумма квадратов отклонений от среднего наблюдаемых значений зависимой переменной, и соответствующие элементы в правой части (1) сумма квадратов отклонений предсказанных значений зависимой переменной и (2) сумма квадратов отклонений наблюдаемых значений от предсказанных значений зависимой переменной, что эквивалентно сумме квадратов остатков. Формально:

Общая SS = SS Модели + SS Ошибки

Заметьте, что Общая SS является всегда одним и тем же числом для выбранных данных, но при этом SS Модели и SS Ошибки зависят от уравнении регрессии. Полагая, что зависимая переменная имеет среднее 0, получим что, SS Модели и SS Ошибки можно вычислить следующим образом

SS Модели = b’X’Y

SS Ошибки = Y’Y — b’X’Y

Тестирование Общей модели

Обладая компонентами SS Модели и SS Ошибки, вы можете проверить гипотезу о том что, все регрессионные коэффициенты X переменных (с b1 по bk, кроме коэффициента b0 — свободного члена) равны нулю. Данный критерий эквивалентен проверке качества подгонки поверхности регрессии (определяемой уравнением регрессии модели). Предположим, что X’ X является полно-ранговой (не вырожденной) матрицей, тогда гипотеза средних квадратов модели:

MSH = (SS Модели)/k,

где k — число столбцов матрицы X (не включая столбец свободного члена), является оценкой дисперсии предсказанных значений. Усредненный квадрат ошибки:

s2 = MSE = (SS Ошибки) / (n — k — 1),

где n — число наблюдений, оценка дисперсии ошибки или остатков. Проверочная статистика:

F = MSH / MSE,

где F имеет (k, n — k — 1) степеней свободы.

Если X’ X не является полно ранговой, то r + 1 заменяется на k, где r — ранг или число линейно-независимых столбцов X’ X.

Если критерий модели не значим, то проводить дальнейший анализ не имеет смысла, т.е. модель подгоняет данные не лучше, чем модель, содержащая только среднее значение зависимой переменной. Дальнейший поиск адекватной подмодели является бессмысленным, так как общая модель является неадекватной.

Некоторые модели без свободного члена, например, некоторые модели множественной регрессии вычисляют критерии проверки на основе отношения дисперсии без учета средних значений; для получения более полной информации (смотри Kvеlseth, 1985; OKunade, Chang, and Evans, 1993).

Ограничения Общей модели

Для планов, таких как Однофакторный ДА или простой регрессии, проверка общей гипотезы о взаимосвязи предикторов и отклика вложена в саму модель. Для сложных планов, поиск статистически значимых критериев проверки подгонки общей модели является первым шагом анализа; иногда приходится определять более простую подмодель адекватной подгонки данных (смотри Основные идеи: Использование простых моделей). К данному случаю, методы поиска наилучших подмоделей, относятся модели такие как: пошаговый и регрессии наилучших подмножеств.

Построение модели при помощи пошаговой регрессии

Описание пошаговой системы построения регрессионных планов с единственной зависимой переменной приводится в большом количестве статей и различного рода литературе (например, смотри Darlington, 1990; Hocking, 1966, Lindeman, Merenda и Gold, 1980; Morrison, 1967; Neter, Wasserman и Kutner, 1985; Pedhazur, 1973; Stevens, 1986; Younger, 1985). Основные процедуры включают: (1) определение и инициализация модели, (2) итеративный «пошаговый,» то есть, повторяющееся преобразование модели путем добавления или вычитание предиктора, исходя из результатов применения «пошагового критерия» и (3) остановка алгоритма после отсутствия возможных следующих итераций или достижения максимального числа шагов.

Начальная модель пошаговой регрессии

Начальной моделью является модель созданная на Шаге 0. Начальная модель всегда включает регрессионный свободный член (если не указано Без свободного члена). Для методов пошаговый с исключением и только с исключением, начальные модели так же включают в себя все эффекты плана анализа. Начальная модель для данных методов является также и общей моделью.

Для методов пошаговый с включением и только с включением, начальная модель всегда содержит свободный член регрессии (если не указано Без свободного члена). Так же начальная модель содержит 1 или более вовлеченных эффектов модели. Если выбрано j вовлеченных эффектов в модель, то первые j эффектов выбранных из общего числа эффектов для включения будут вовлечены в модель на Шаге 0 (более полную информацию вы найдете в описание опции Количество эффектов). Заметьте, что вовлеченные эффекты нельзя удалить на последующих Шагах.

Метод только с включением

Метод с только с включением является наиболее простым методом построения модели в GRM. На каждом шаге, начиная с Шага 0, для каждого допустимого элемента вычисляется статистика включения. Если начиная с некоторого шага все статистики включения не превышают заданный критический уровень включения, то процесс останавливается, в противном случае, эффект с наибольшей статистикой включается в модель. При достижении максимального числа шагов, процедура включения также останавливается.

Метод только с исключением

Метод с только с исключением является наиболее простым методом построения модели в GRM. На каждом шаге, начиная с Шага 0, для каждого допустимого элемента вычисляется статистика исключения. Если начиная с некоторого шага все статистики исключения превышают заданный критический уровень исключения, то процесс останавливается, в противном случае, эффект с наименьшей статистикой исключается из модели. При достижении максимального числа шагов, процедура исключения также останавливается.

Метод с пошаговым включением

Пошаговый метод с включением является комбинацией процедур используемых в методах только с включением и только с исключением. На Шаге 1 выполняется процедура только с включением. На каждом последующем шаге, на котором 2 или более эффектов было выбрано, производится процедура включения или исключения, если выполнены соответствующие для этого условия. Процедура останавливается, если учтены все эффекты или превышено максимальное число шагов.

Метод с пошаговым исключением

Пошаговый метод с исключением является комбинацией процедур используемых в методах только с включением и только с исключением. На Шаге 1 выполняется процедура только с исключением. На каждом последующем шаге, на котором 2 или более эффектов было выбрано, производится процедура включения или исключения, если выполнены соответствующие для этого условия. Процедура останавливается, если учтены все эффекты или превышено максимальное число шагов.

Критерий включения и исключения

Критические значения F и p задаются для контроля включения и исключения эффектов модели. Для выбранного значения p, реальным значением характеризующим включение и исключение является 1 минусp. Критическое значение для включения в модель должно превышать критическое значение для исключения из модели.

Так же можно указать максимальное число шагов. Остановка пошагового алгоритма происходит при достижении максимального числа шагов, если не произошла ранее по каким-либо причинам.

Построение модели при помощи нахождения Лучшего подмножества

Для поиска «наилучшей модели», которая наилучшим образом описывает реальные данные, используются все возможные комбинации предикторов (подмножества) как альтернатива или как элемент взаимодействия с пошаговым методом.

В работе Neter, Wasserman и Kutner (1985) приведено описание использования метода регрессии наилучшего подмножества во взаимодействии с методом пошаговой регрессии: «Алгоритм метода пошаговой регрессии основывается на том, что существует только одно «наилучшее» подмножество переменных X. Данное предположение является ограничением возможностей алгоритма, как замечено ранее, часто бывает так, что нельзя найти единственное «наилучшее» подмножество. Однако некоторые статистики советуют перебрать поочередно все возможные подмножества, с числом переменных X полученных в пошаговой регрессии, для поиска лучшего подмножества.» (p. 435). Фактически получаем, что после нахождения решения пошаговой регрессии, «наилучшее» среди всех возможных подмножеств с тем же числом эффектов необходимо проверить является ли данное подмножество «наилучшим.» Если это не так, решение пошагового алгоритма стоит отклонить.

Заметьте, что для определения «наилучшего» подмножества можно использовать несколько критериев. Наиболее часто используемыми критериями являются: множественное R-квадрат, скорректированное R-квадрат и Cp Маллоу. При использовании регрессии наилучшего подмножества вместе с пошаговым методом, статистика R-квадрат позволяет упорядочить по качеству подгонки полученные подмножества каждого метода.

Число допустимых подмоделей возрастает очень резко с ростом числа эффектов в общей модели. Объем вычислений требуемых для проведения регрессии наилучшего подмножества так же возрастает с числом допустимых подмножеств, кроме этого увеличение числа уровней категориальных предикторов вызывает быстрый рост числа операций. Например, существует более 2.7 миллионов различных способов задания 12 предикторов из 24 предикторов общей модели, т.е. необходимо обработать 2.7 миллионов моделей для оценки наилучшего подмножества из 12 предикторов.

Все права на материалы электронного учебника принадлежат компании StatSoft

Регрессионные модели в Python: виды регрессий

Регрессия — это один из главных методов прогнозного моделирования и работы с data mining. Он позволяет установить связь между переменными, чтобы прогнозировать развитие какого-либо явления в будущем. Например, таким образом можно узнать, сколько товаров продаст магазин в ближайшие месяцы, как изменения цены повлияют на приток покупателей, какая доля сотрудников может уволиться из компании.

Про линейную и логистическую регрессию знают даже начинающие аналитики. Остальные функции этого класса реже оказываются на слуху, но настоящему профессионалу в области Data Science обязательно нужно знать, что они из себя представляют и для чего используются. Эти знания будут полезны и frontend-программистам, веб-разработчикам и всем, кто работает с данными в Python.

Сегодня мы устроим краткую экскурсию по разным видам регрессии, познакомимся с их возможностями и особенностями применения. Добавляйте эту статью в свою коллекцию шпаргалок и поехали. Инструменты для применения этих моделей в Python реализованы в библиотеках NumPy, scikit-learn, statsmodels.

Начнем с самой простой модели, которая используется, если отношения между переменными линейны по своей природе. Например, линейная регрессия подскажет, сколько операторов колл-центра справятся с нагрузкой в горячий сезон или как пробег машины влияет на частоту ремонтов.

Если у вас одна независимая переменная (дескриптор), вы имеете дело с простой линейной регрессией. Если независимых переменных две и более, то это множественная линейная регрессия.

Главная особенность линейной регрессии в отсутствии выпадающих из общего тренда значений зависимой переменной и минимальном разбросе результатов. Кроме того, в этом случае между независимыми переменными нет взаимосвязи.

Курс 

Веб-разработка на Python

Изучите популярный язык программирования и получите постребованную профессию. Дополнительная скидка 5% по промокоду BLOG.

Узнать больше

Вторая по популярности модель используется в тех случаях, когда зависимая переменная бинарна по своей природе, то есть попадает в одну из двух категорий. Например, вы хотите узнать, как те или иные факторы влияют на решение пользователя закрыть сайт или остаться на странице. Или вам нужно оценить шансы на успех у нескольких участников выборов (выиграет/не выиграет).

Логистическую регрессию можно также применять, если конечных вариантов больше двух. Скажем, вам нужно распределить учеников между гуманитарным, техническим и естественно-биологическим классами, используя результаты школьных экзаменов. В этом случае мы говорим о мультиномиальной, или множественной логистической регрессии.

Эта техника позволяет работать с нелинейными уравнениями, используя целые рациональные (полиномиальные) функции независимых переменных. Чтобы понять разницу между полиномиальной и линейной регрессией, взгляните на график ниже. Красная кривая гораздо лучше описывает поведение зависимой переменной, поскольку ее отношения с дескриптором нелинейны.

Полиномиальная регрессия помогает аналитикам и разработчикам решить проблему недообучения (underfitting), когда модель не охватывает значительную часть результатов. С другой стороны, нужно помнить, что неуместное применение этой техники или добавление ненужных, излишних характеристик создает риски переобучения (overfitting), из-за чего модель, которая показывает хорошие результаты на тренировочном сете окажется неприменима для работы с реальными данными.

Этот метод применяется, когда в данных присутствуют сильные искажения, часто встречаются выпадающие значения и случайные ошибки. Другими словами, если среднее значение, с которым работает линейная регрессия, неточно отражает взаимосвязь между переменными. В этих случаях квантильная регрессия позволяет ввести в расчеты целевую погрешность, или задать квантили — значения, которое результирующие переменные не будут превышать.

Для применения квантильной регрессии в Python вам понадобится пакет statsmodels. С его помощью вы сможете анализировать информацию с помощью настраиваемых квантилей, получая возможность смотреть на данные под разными углами.

Эти две техники применяются, если вам нужно уменьшить размерность данных и устранить проблему переобучения. Для этого применяются два способа:

• L1-регуляризация — добавляет штраф к сумме абсолютных значений коэффициентов. Этот метод используется в лассо-регрессии.
• L2-регуляризация — добавляет штраф к сумме квадратов коэффициентов. Этот метод используется в ридж-регрессии.

В большинстве случаев исследователи и разработчики предпочитают L2-функцию — она эффективнее с точки зрения вычислительных функций. С другой стороны, лассо-регрессия позволяет уменьшить значения некоторых коэффициентов до 0, то есть вывести из поля исследования лишние переменные. Это полезно, если на какое-либо явление влияют тысячи факторов и рассматривать все их оказывается бессмысленно.

Оба метода регуляризации объединены в технике эластичной сети. Она оптимально подходит, когда независимые переменные сильно коррелированы между собой. В этих случаях модель сможет попеременно применять L1- и L2-функции, в зависимости от того, какая лучше подходит с учетом входных данных.

Анализ главных компонент (Principal Components Analysis) — это еще один способ уменьшить размерность данных. Он построен на создании ключевых независимых переменных, которые оказывают наибольшее влияние на функцию. Таким образом можно построить регрессионную модель на основе сильно зашумленных данных. На первом этапе аналитик определяет среди них главные компоненты, далее применяет к ним необходимую функцию.

Важно понимать, что основные компоненты, с которыми аналитик работает в этом случае, фактически представляют собой функцию остальных характеристик. Именно поэтому мы говорим о создании ключевых переменных, а не вычленении их из общего числа. По этой причине применение PCA не подходит для объяснения фактических связей между переменными — это скорее создание имитационной модели на основе известных данных о том или ином явлении.

В отличие от предыдущей техники, метод наименьших частичных квадратов (Partial Least Squares, PLS) принимает во внимание зависимую переменную. Это позволяет строить модели с меньшим количеством компонентов, что очень удобно в тех случаях, если количество предикторов сильно превышает количество зависимых переменных или если первые оказываются сильно коррелированы.

Технически PLS сильно напоминает PCR — сначала определяются скрытые факторы, которые объясняют взаимосвязь переменных, затем по этим данным выстраивается прогноз.

Этот метод позволяет изучать явления в привязке к значениям каких-либо шкал. Например, когда речь идет об отношениях пользователей к дизайну сайта — от “совсем не нравится” до “очень нравится”. Или в медицинских исследованиях таким образом можно понять, как меняются ощущения пациентов (от “очень сильной боли” до “совсем нет боли”).

Почему для этого нельзя применять линейную регрессию? Потому что она не учитывает смысловую разницу между разными разрядами шкалы. Возьмем для примера трех людей ростом в 175 см и весом в 55, 70 и 85 кг. 15 килограммов, на которые самый худой и самый тучный человек отстоят от участника со средним показателем, для линейной функции имеют одинаковое значение. А с точки зрения социологии и медицины это разница между ожирением, дистрофичностью и нормальным весом.

Курс 

Веб-разработка на Python

Изучите популярный язык программирования и получите постребованную профессию. Дополнительная скидка 5% по промокоду BLOG.

Узнать больше

Еще две техники, которые используются для особых ситуаций, в данном случае — когда вам нужно пересчитать некие события, которые произойдут независимо друг от друга на протяжении заданного промежутка времени. Например, спрогнозировать количество походов покупателей в магазин за каким-то конкретным продуктом. Или количество критических ошибок на корпоративных компьютерах. Такие явления происходят в соответствии с распределением Пуассона, откуда техника и получила свое название.

Недостатком этого метода является то, что при его использовании распределение зависимых переменных оказывается равным их средним значениям. В реальности аналитики нередко сталкиваются с высокой дисперсией наблюдаемых явлений, которая значительно отличается средних показателей. Для таких моделей используется отрицательная биноминальная регрессия.

Специфика этих регрессий обуславливает определенные требования к зависимым переменным: они должны выражаться целыми, положительными числами.

Последняя в нашей подборке модель используется для оценки времени до определенного события. Какова вероятность, что сотрудник проработает в компании 10 лет? Сколько гудков готов ждать клиент, прежде чем положит трубку? Когда у пациента наступит следующий кризис?

Модель работает на основе двух параметров: один отражает течение времени, второй, бинарный показатель определяет, случилось событие или нет. Это напоминает механику логистической регрессии, однако та техника не использует время. Основополагающие предположения для регрессии Кокса состоят в том, что между независимыми переменными нет корреляции и все они линейно влияют на ожидаемое событие. Кроме того, в любой отрезок времени вероятность наступления события для любых двух объектов должна быть пропорциональна.

Это не полный список регрессий, которые доступны разработчикам и аналитикам в Python. Однако даже этот перечень дает представление о том, какие возможности для изучения самых разных данных открывает этот язык. 

_{Текст: Помогаев Дмитрий}

Основы регрессионного анализа—ArcGIS Pro | Документация

Набор инструментов Пространственная статистика предоставляет эффективные инструменты количественного анализа пространственных структурных закономерностей. Инструмент Анализ горячих точек, например, поможет найти ответы на следующие вопросы:

• Есть ли в США места, где постоянно наблюдается высокая смертность среди молодежи?
• Где находятся «горячие точки» по местам преступлений, вызовов 911 (см. рисунок ниже) или пожаров?
• Где находятся места, в которых количество дорожных происшествий превышает обычный городской уровень?

Анализ данных звонков в службу 911, показывающий горячие точки (красным), холодные точки (синим) и локализацию пожарных/полиции, ответственных за реагирование (зеленые круги)

Каждый из вопросов спрашивает «где»? Следующий логический вопрос для такого типа анализа – «почему»?

• Почему в некоторых местах США наблюдается повышенная смертность молодежи? Какова причина этого?
• Можем ли мы промоделировать характеристики мест, на которые приходится больше всего преступлений, звонков в 911, или пожаров, чтобы помочь сократить эти случаи?
• От каких факторов зависит повышенное число дорожных происшествий? Имеются ли какие-либо возможности для снижения числа дорожных происшествий в городе вообще, и в особо неблагополучных районах в частности?

Инструменты в наборе инструментов Моделирование пространственных отношений помогут вам ответить на вторую серию вопросов «почему». К этим инструментам относятся Метод наименьших квадратов и Географически взвешенная регрессия.

Пространственные отношения

Регрессионный анализ позволяет вам моделировать, проверять и исследовать пространственные отношения и помогает вам объяснить факторы, стоящие за наблюдаемыми пространственными структурными закономерностями. Вы также можете захотеть понять, почему люди постоянно умирают молодыми в некоторых регионах страны, и какие факторы особенно влияют на особенно высокий уровень диабета. При моделирование пространственных отношений, однако, регрессионный анализ также может быть пригоден для прогнозирования. Моделирование факторов, которые влияют на долю выпускников колледжей, на пример, позволяют вам сделать прогноз о потенциальной рабочей силе и их навыках. Вы также можете использовать регрессионный анализ для прогнозирования осадков или качества воздуха в случаях, где интерполяция невозможна из-за малого количества станций наблюдения (к примеру, часто отсутствую измерительные приборы вдоль горных хребтов и в долинах).

МНК – наиболее известный метод регрессионного анализа. Это также подходящая отправная точка для всех способов пространственного регрессионного анализа. Данный метод позволяет построить глобальную модель переменной или процесса, которые вы хотите изучить или спрогнозировать (уровень смертности/осадки). Он создает уравнение регрессии, отражающее происходящий процесс. Географически взвешенная регрессия (ГВР) — один из нескольких методов пространственного регрессионного анализа, все чаще использующегося в географии и других дисциплинах. Метод ГВР (географически взвешенная регрессия) создает локальную модель переменной или процесса, которые вы прогнозируете или изучаете, применяя уравнение регрессии к каждому пространственному объекту в наборе данных. При подходящем использовании, эти методы являются мощным и надежным статистическим средством для проверки и оценки линейных взаимосвязей.

Линейные взаимосвязи могут быть положительными или отрицательными. Если вы обнаружили, что количество поисково-спасательных операций увеличивается при возрастании среднесуточной температуры, такое отношение является положительным; имеется положительная корреляция. Другой способ описать эту положительную взаимосвязь — сказать, что количество поисково-спасательных операций уменьшается при уменьшении среднесуточной температуры. Соответственно, если вы установили, что число преступлений уменьшается при увеличении числа полицейских патрулей, данное отношение является отрицательным. Также, можно выразить это отрицательное отношение, сказав, что количество преступлений увеличивается при уменьшении количества патрулей. На рисунке ниже показаны положительные и отрицательные отношения, а также случаи, когда две переменные не связаны отношениями:

Корреляционные анализы, и связанные с ними графики, отображенные выше, показывают силу взаимосвязи между двумя переменными. С другой стороны, регрессионные анализы дают больше информации: они пытаются продемонстрировать степень, с которой 1 или более переменных потенциально вызывают положительные или негативные изменения в другой переменной.

Применения регрессионного анализа

Регрессионный анализ может использоваться в большом количестве приложений:

• Моделирование числа поступивших в среднюю школу для лучшего понимания факторов, удерживающих детей в том же учебном заведении.
• Моделирование дорожных аварий как функции скорости, дорожных условий, погоды и т.д., чтобы проинформировать полицию и снизить несчастные случаи.
• Моделирование потерь от пожаров как функции от таких переменных как степень вовлеченности пожарных департаментов, время обработки вызова, или цена собственности. Если вы обнаружили, что время реагирования на вызов является ключевым фактором, возможно, существует необходимость создания новых пожарных станций. Если вы обнаружили, что вовлеченность – главный фактор, возможно, вам нужно увеличить оборудование и количество пожарных, отправляемых на пожар.

Существует три первостепенных причины, по которым обычно используют регрессионный анализ:

• Смоделировать некоторые явления, чтобы лучше понять их и, возможно, использовать это понимание для оказания влияния на политику и принятие решений о наиболее подходящих действиях. Основная цель — измерить экстент, который при изменениях в одной или более переменных связанно вызывает изменения и в другой. Пример. Требуется понять ключевые характеристики ареала обитания некоторых видов птиц (например, осадки, ресурсы питания, растительность, хищники) для разработки законодательства, направленного на защиту этих видов.
• Смоделировать некоторые явления, чтобы предсказать значения в других местах или в другое время. Основная цель — построить прогнозную модель, которая является как устойчивой, так и точной. Пример: Даны прогнозы населения и типичные погодные условия. Каким будет объем потребляемой электроэнергии в следующем году?
• Вы также можете использовать регрессионный анализ для исследования гипотез. Предположим, что вы моделируете бытовые преступления для их лучшего понимания и возможно, вам удается внедрить политические меры, чтобы остановить их. Как только вы начинаете ваш анализ, вы, возможно, имеете вопросы или гипотезы, которые вы хотите проверить:
  • «Теория разбитого окна» указывает на то, что испорченная общественная собственность (граффити, разрушенные объекты и т.д.) притягивает иные преступления. Имеется ли положительное отношение между вандализмом и взломами в квартиры?
  • Имеется ли связь между нелегальным использованием наркотических средств и взломами в квартиры (могут ли наркоманы воровать, чтобы поддерживать свое существование)?
  • Совершаются ли взломы с целью ограбления? Возможно ли, что будет больше случаев в домохозяйствах с большей долей пожилых людей и женщин?
  • Люди больше подвержены риску ограбления, если они живут в богатой или бедной местности?
  Вы можете использовать регрессионный анализ, чтобы исследовать эти взаимосвязи и ответить на ваши вопросы.

Термины и концепции регрессионного анализа

Невозможно обсуждать регрессионный анализ без предварительного знакомства с основными терминами и концепциями, характерными для регрессионной статистики:

Уравнение регрессии. Это математическая формула, применяемая к независимым переменным, чтобы лучше спрогнозировать зависимую переменную, которую необходимо смоделировать. К сожалению, для тех ученых, кто думает, что х и у это только координаты, независимая переменная в регрессионном анализе всегда обозначается как y, а зависимая – всегда X. Каждая независимая переменная связана с коэффициентами регрессии, описывающими силу и знак взаимосвязи между этими двумя переменными. Уравнение регрессии может выглядеть следующим образом (у – зависимая переменная, Х – независимые переменные, β – коэффициенты регрессии), ниже приводится описание каждого из этих компонентов уравнения регрессии):

• Зависимая переменная (y) – это переменная, описывающая процесс, который вы пытаетесь предсказать или понять (бытовые кражи, осадки). В уравнении регрессии эта переменная всегда находится слева от знака равенства. В то время, как вы можете использовать регрессию для предсказания зависимой величины, вы всегда начинаете с набора хорошо известных у-значений и используете их для калибровки регрессионной модели. Известные у-значения часто называют наблюдаемыми величинами.
• Независимые переменные (X) это переменные, используемые для моделирования или прогнозирования значений зависимых переменных. В уравнении регрессии они располагаются справа от знака равенства и часто называются независимыми переменными. Зависимая переменная – это функция независимых переменных. Если вас интересует прогнозирование годового оборота определенного магазина, вы можете включить в модель независимые переменные, отражающие, например, число потенциальных покупателей, расстояние до конкурирующих магазинов, заметность магазина и структуру спроса местных жителей.
• Коэффициенты регрессии (β) – это коэффициенты, которые рассчитываются в результате выполнения регрессионного анализа. Вычисляются величины для каждой независимой переменной, которые представляют силу и тип взаимосвязи независимой переменной по отношению к зависимой. Предположим, что вы моделируете частоту пожаров как функцию от солнечной радиации, растительного покрова, осадков и экспозиции склона. Вы можете ожидать положительную взаимосвязь между частотой пожаров и солнечной радиацией (другими словами, чем больше солнца, тем чаще встречаются пожары). Если отношение положительно, знак связанного коэффициента также положителен. Вы можете ожидать негативную связь между частотой пожаров и осадками (другими словами, для мест с большим количеством осадков характерно меньше лесных пожаров). Коэффициенты отрицательных отношений имеют знак минуса. Когда взаимосвязь сильная, значения коэффициентов достаточно большие (относительно единиц независимой переменной, с которой они связаны). Слабая взаимосвязь описывается коэффициентами с величинами около 0; β₀ – это отрезок, отсекаемый линией регрессии.Он представляет ожидаемое значение зависимой величины, если все независимые переменные равны 0.

P-значения. Большинство регрессионных методов выполняют статистический тест для расчета вероятности, называемой р-значением, для коэффициентов, связанной с каждой независимой переменной. Нулевая гипотеза данного статистического теста предполагает, что коэффициент незначительно отличается от нуля (другими словами, для всех целей и задач, коэффициент равен нулю, и связанная независимая переменная не может объяснить вашу модель). Маленькие величины р-значений отражают маленькие вероятности и предполагают, что коэффициент действительно важен для вашей модели со значением, существенно отличающимся от 0 (другими словами, маленькие величины р-значений свидетельствуют о том, что коэффициент не равен 0). Вы бы сказали, что коэффициент с р-значением, равным 0,01, например, статистически значимый для 99 % доверительного интервала; связанные переменные являются эффективным предсказателем. Переменные с коэффициентами около 0 не помогают предсказать или смоделировать зависимые величины; они практически всегда удаляются из регрессионного уравнения, если только нет веских причин сохранить их.

R²/R-квадрат: Статистические показатели составной R-квадрат и скорректированный R-квадрат вычисляются из регрессионного уравнения, чтобы качественно оценить модель. Значение R-квадрат лежит в пределах от 0 до 100 процентов. Если ваша модель описывает наблюдаемые зависимые переменные идеально, R-квадрат равен 1.0 (и вы, несомненно, сделали ошибку; возможно, вы использовали модификацию величины у для предсказания у). Вероятнее всего, вы увидите значения R-квадрат в районе 0,49, например, вы можете интерпретировать подобный результат как «Это модель объясняет 49 % вариации зависимой величины». Чтобы понять, как работает R-квадрат, постройте график, отражающий наблюдаемые и оцениваемые значения у, отсортированные по оцениваемым величинам. Обратите внимание на количество совпадений. Этот график визуально отображает, насколько хорошо вычисленные значения модели объясняют изменения наблюдаемых значений зависимых переменных. Просмотрите иллюстрацию. Скорректированный R-квадрат всегда немного меньше, чем множественный R-квадрат, т.к. он отражает всю сложность модели (количество переменных) и связан с набором исходных данных. Следовательно, скорректированный R-квадрат является более точной мерой для оценки результатов работы модели.

Невязки: Существует необъяснимое количество зависимых величин, представленных в уравнении регрессии как случайные ошибки ε. См. рисунок. Известные значения зависимой переменной используются для построения и настройки модели регрессии. Используя известные величины зависимой переменной (Y) и известные значений для всех независимых переменных (Хs), регрессионный инструмент создаст уравнение, которое предскажет те известные у-значения как можно лучше. Однако предсказанные значения редко точно совпадают с наблюдаемыми величинами. Разница между наблюдаемыми и предсказываемыми значениями у называется невязка или отклонение. Величина отклонений регрессионного уравнения — одно из измерений качества работы модели. Большие отклонения говорят о ненадлежащем качестве модели.

Создание регрессионной модели представляет собой итерационный процесс, направленный на поиск эффективных независимых переменных, чтобы объяснить зависимые переменные, которые вы пытаетесь смоделировать или понять, запуская инструмент регрессии, чтобы определить, какие величины являются эффективными предсказателями. Затем пошаговое удаление и/или добавление переменных до тех пор, пока вы не найдете наилучшим образом подходящую регрессионную модель. Т.к. процесс создания модели часто исследовательский, он никогда не должен становиться простым «подгоном» данных. Он должен учитывать теоретические аспекты, мнение экспертов в этой области и здравый смысл. Вы должным быть способны определить ожидаемую взаимосвязь между каждой потенциальной независимой переменной и зависимой величиной до непосредственного анализа, и должны задать себе дополнительные вопросы, когда эти связи не совпадают.

Особенности регрессионного анализа

Регрессия МНК – это простой метод анализа с хорошо проработанной теорией, предоставляющий эффективные возможности диагностики, которые помогут вам интерпретировать результаты и устранять неполадки. Однако, МНК надежен и эффективен, если ваши данные и регрессионная модель удовлетворяют всем предположениям, требуемым для этого метода (смотри таблицу внизу). Пространственные данные часто нарушают предположения и требования МНК, поэтому важно использовать инструменты регрессии в союзе с подходящими инструментами диагностики, которые позволяют оценить, является ли регрессия подходящим методом для вашего анализа, а приведенная структура данных и модель может быть применена.

Как регрессионная модель может не работать

Серьезной преградой для многих регрессионных моделей является ошибка спецификации. Модель ошибки спецификации — это такая неполная модель, в которой отсутствуют важные независимые переменные, поэтому она неадекватно представляет то, что мы пытаемся моделировать или предсказывать (зависимую величину, у). Другими словами, регрессионная модель не рассказывает вам всю историю. Ошибка спецификации становится очевидной, когда в отклонениях вашей регрессионной модели наблюдается статистически значимая пространственная автокорреляция, или другими словами, когда отклонения вашей модели кластеризуются в пространстве (недооценки – в одной области изучаемой территории, а переоценки – в другой). Благодаря картографированию отклонений регрессии или коэффициентов, связанных с географически взвешенной регрессией, вы сможете обратить ваше внимание на какие-то нюансы, которые вы упустили ранее. Запуск Анализа горячих точек по отклонениям регрессии также может раскрыть разные пространственные режимы, которые можно моделировать при помощи метода наименьших квадратов с региональными показателями или исправлять с использованием географически взвешенной регрессии. Предположим, когда вы картографируете отклонения вашей регрессионной модели, вы видите, что модель всегда заново предсказывает значения в горах, и, наоборот, в долинах, что может значить, что отсутствуют данные о рельефе. Однако может случиться так, что отсутствующие переменные слишком сложны для моделирования или их невозможно подсчитать или слишком трудно измерить. В этих случаях, вы можете воспользоваться ГВР (географически взвешенной регрессией) или другой пространственной регрессией, чтобы получить хорошую модель.

В следующей таблице перечислены типичные проблемы с регрессионными моделями и инструменты в ArcGIS:

Типичные проблемы с регрессией, последствия и решения

Важно протестировать модель на каждую из проблем, перечисленных выше. Результаты могут быть на 100 % неправильны, если игнорируются проблемы, упомянутые выше.

Пространственная регрессия

Для пространственных данных характерно 2 свойства, которые затрудняют (не делают невозможным) применение традиционных (непространственных) методов, таких как МНК:

• Географические объекты довольно часто пространственно автокоррелированы. Это означает, что объекты, расположенные ближе друг к другу более похожи между собой, чем удаленные объекты. Это создает переоцененный тип систематических ошибок для традиционных моделей регрессии.
• География важна, и часто наиболее важные процессы нестационарны. Эти процессы протекают по-разному в разных частях области изучения. Эта характеристика пространственных данных может относиться как к региональным вариациям, так и к нестационарности.

Настоящие методы пространственной регрессии были разработаны, чтобы устойчиво справляться с этими двумя характеристиками пространственных данных и даже использовать эти свойства пространственных данных, чтобы улучшать моделирование взаимосвязей. Некоторые методы пространственной регрессии эффективно имеют дело с 1 характеристикой (пространственная автокорреляция), другие – со второй (нестационарность). В настоящее время, нет методов пространственной регрессии, которые эффективны с обеими характеристиками. Для правильно настроенной модели ГВР пространственная автокорреляция обычно не является проблемой.

Пространственная автокорреляция

Существует большая разница в том, как традиционные и пространственные статистические методы смотрят на пространственную автокорреляцию. Традиционные статистические методы видят ее как плохую вещь, которая должна быть устранена, т.к. пространственная автокорреляция ухудшает предположения многих традиционных статистических методов. Для географа или ГИС-аналитика, однако, пространственная автокорреляция является доказательством важности пространственных процессов; это интегральная компонента данных. Удаляя пространство, мы удаляем пространственный контекст данных; это как только половина истории. Пространственные процессы и доказательство пространственных взаимосвязей в данных представляют собой особый интерес, и поэтому пользователи ГИС с радостью используют инструменты пространственного анализа данных. Однако, чтобы избежать переоцененный тип систематических ошибок в вашей модели, вы должны определить полный набор независимых переменных, которые эффективно опишут структуру ваших данных. Если вы не можете определить все эти переменные, скорее всего, вы увидите существенную пространственную автокорреляцию среди отклонений модели. К сожалению, вы не можете доверять результатам регрессии, пока все не устранено. Используйте инструмент Пространственная автокорреляция, чтобы выполнить тест на статистически значимую пространственную автокорреляцию для отклонений в вашей регрессии.

Как минимум существует 3 направления, как поступать с пространственной автокорреляцией в невязках регрессионных моделей.

1. Изменять размер выборки до тех пор, пока не удастся устранить статистически значимую пространственную автокорреляцию. Это не гарантирует, что в анализе будет полностью устранена проблема пространственной автокорреляции, но она значительно меньше, когда пространственная автокорреляция удалена из зависимых и независимых переменных. Это традиционный статистический подход к устранению пространственной автокорреляции и только подходит, если пространственная автокорреляция является результатом избыточности данных.
2. Изолируйте пространственные и непространственные компоненты каждой входящей величины, используя методы фильтрации в пространственной регрессии. Пространство удалено из каждой величины, но затем его возвращают обратно в регрессионную модель в качестве новой переменной, отвечающей за пространственные эффекты/пространственную структуру. ArcGIS в настоящее время не предоставляет возможности проведения подобного рода анализа.
3. Внедрите пространственную автокорреляцию в регрессионную модель, используя пространственные эконометрические регрессионные модели. Пространственные эконометрические регрессионные модели будут добавлены в ArcGIS в следующем релизе.

Региональные вариации

Глобальные модели, подобные МНК, создают уравнения, наилучшим образом описывающие общие связи в данных в пределах изучаемой территории. Когда те взаимосвязи противоречивы в пределах территории изучения, МНК хорошо моделирует эти взаимосвязи. Когда те взаимосвязи ведут себя по-разному в разных частях области изучения, регрессионное уравнение представляет средние результаты, и в случае, когда те взаимосвязи представляют 2 экстремальных значения, глобальное среднее не моделирует хорошо эти значения. Когда ваши независимые переменные испытывают нестационарность (региональные вариации), глобальные модели не подходят, а необходимо использовать устойчивые методы регрессионного анализа. Идеально, вы сможете определить полный набор независимых переменных, чтобы справиться с региональными вариациями в ваших зависимых переменных. Если вы не сможете определить все пространственные переменные, вы снова заметите статистически значимую пространственную автокорреляцию в ваших отклонениях и/или более низкие, чем ожидалось, значения R-квадрат. К сожалению, вы не можете доверять результатам регрессии, пока все не устранено.

Существует как минимум 4 способа работы с региональными вариациями в МНК регрессионных моделях:

1. Включить переменную в модель, которая объяснит региональные вариации. Если вы видите, что ваша модель всегда «перепредсказывает» на севере и «недопредсказывает» на юге, добавьте набор региональных значений:1 для северных объектов, и 0 для южных объектов.
2. Используйте методы, которые включают региональные вариации в регрессионную модель, такие как Географически взвешенная регрессия.
3. Примите во внимание устойчивые стандартные отклонения регрессии и вероятности, чтобы определить, являются ли коэффициенты статистически значимыми. ГВР рекомендуется
4. Изменить/сократить размер области изучения так, чтобы процессы в пределах новой области изучения были стационарными (не испытывали региональные вариации).

Дополнительные ресурсы

Для большей информации по использованию регрессионных инструментов, см.:

Связанные разделы

Отзыв по этому разделу?

Регрессия в эконометрике

Регрессия и ее виды

Определение 1

Регрессионный анализ – это основной математико-статистический инструмент в эконометрике. Регрессия представляет собой зависимость среднего значения величины $y$ от другой величины $x$ или же нескольких величин $x_i$.

Количество факторов, которые включены в равнение регрессии, определяет вид регрессии, которая может быть простой (парной) и множественной.

Простая регрессия – это модель, в которой среднее значение зависимой переменной y является функцией одной независимой переменной x.

Парная регрессия в неявном виде – это уравнение вида:

$y ̂= f(x)$

В явном виде: $y ̂= a + bx$, где $a$ и $b$ – это оценки коэффициента регрессии.

Множественной регрессией является модель, в которой среднее значение объясняемой переменной $y$ – это функция нескольких объясняющих переменных $x_1, x_2, …, x_n$. Множественная регрессия в неявном виде – это модель типа:

$y ̂= f(x_1, x_2,…, x_n)$

В явном виде: $y ̂= a + b_1x_1 + b_2x_2 + … + b_nx_n$

Примером модели множественной регрессии может выступать зависимость зарплаты работников от их возраста, уровня образования, степени квалификации, стажа работы, отрасли и т.д.

Относительно формы регрессия может быть линейной и нелинейной, предполагающей наличие нелинейных соотношений среди факторов. В большинстве случаев нелинейные модели можно привести к линейному виду.

Предпосылки регрессионного анализа

Чтобы проведение регрессионного анализа было наиболее результативным, необходимо выполнять определенные условия:

• В любом наблюдении математические ожидания случайной ошибки должны быть равны нулю;
• Дисперсия случайной ошибки для всех наблюдений должна быть постоянной;
• Случайные ошибки не должны иметь между собой статической зависимости;
• Объясняющая переменная x должна быть величиной неслучайной.

Если выполняются все вышеперечисленные условия, то модель является линейной классической регрессионной. Рассмотрим подробнее предположения и условия, составляющие основу регрессионного анализа.

Готовые работы на аналогичную тему

Согласно первому условию, случайная ошибка не должна систематически смещаться. Если в уравнении регрессии имеется постоянный член, то данное условие автоматически выполняется.

Второе условие – это наличие в каждом наблюдении только одного значения дисперсии случайной ошибки. Дисперсия – это возможное изменение случайной ошибки до проведения выборки. Величина дисперсии является неизвестной, а задача регрессионного анализа – это ее оценка. Независимость дисперсии случайных ошибок от номера наблюдения – это гомоскедастичность, т.е. одинаковый разброс. Гетероскедастичность – это зависимость дисперсии случайных ошибок от номера наблюдения.

Если не выполняется условие гомоскедастичности, то оценка коэффициентов регрессии будет неэффективной.

Третье условие состоит в некоррелированности случайных отклонений для различных наблюдений. Данное условие часто не выполняется при ситуации, когда данные – это временные ряды. Если оно не выполняется, то это означает автокорреляцию остатков. Чтобы диагностировать и устранить автокорреляцию, существуют специальные методы.

Четвертое условие представляет особую важность, поскольку если не выполняется условие неслучайности объясняющих переменных, то оценка коэффициентов регрессии будет смещенной и несостоятельной. Данное условие нарушается при ошибках в измерении объясняющих переменных или же при использовании лаговых переменных.

Парная регрессионная модель

Как правило в естественных науках рассматриваются функциональные зависимости, в которых каждое значение одной переменной соответствует единственному значению другой. Однако в экономических переменных нет таких зависимостей, но есть статистические и корреляционные зависимости.

Наибольшую опасность в парной регрессии представляют ошибки в измерениях. Если ошибки спецификации возможно уменьшить с помощью изменения формы модели, ошибки выборки – при помощи увеличения объема исходных данных, то ошибки изменения невозможно исправить.

Случайный фактор в регрессионных моделях может отсутствовать по следующим причинам:

1. В модель не включены все объясняющие переменные. Любая модель эконометрики – это упрощение реальной ситуации, которая является сложнейшим переплетением факторов, большинство из которых не учитываются в модели, из-за чего реальные значения зависимой переменной отклоняются от модельных значений. Невозможно перечислить все виды объясняющих переменных, поскольку неизвестно заранее, какие факторы относятся к определяющим, а какие можно не учитывать.
2. Неправильное определение функционального типа модели. Слабая изученность исследуемого процесса, его переменчивость влияет на правильность подбора его моделирующей функции. Это отражается и на отклонении модели от реальной жизни.
3. Агрегирование переменных. Многие модели содержат зависимость между факторами, являющимися комбинацией других переменных. Например, чтобы рассмотреть в качестве зависимой переменной совокупный спрос, необходимо провести анализ зависимости, содержащей объясняемую переменную, являющуюся композицией индивидуальных спросов, которые оказывают влияние на нее. Это может послужить причиной отклонения значений реальных от модельных.
4. Ошибки в измерениях. Даже при качественной модели ошибки в измерениях сказываются на несоответствии получаемых значений эмпирическим.
5. Ограниченность статистической информации. Часто строятся модели, которые являются непрерывными функциями. Для этого применяется информация, имеющая дискретную структуру. Данное несоответствие выражается в случайном отклонении.
6. Непредсказуемость человеческих факторов. Данная причина может исказить любую качественную эконометрическую модель, поскольку даже правильный выбор формы модели, скрупулезный подбор объясняющих переменных не позволяют спрогнозировать поведение индивидов.

5 алгоритмов регрессии в машинном обучении, о которых вам следует знать / Хабр

Да, линейная регрессия не единственная

Быстренько назовите пять алгоритмов машинного обучения.

Вряд ли вы назовете много алгоритмов регрессии. В конце концов, единственным широко распространенным алгоритмом регрессии является линейная регрессия, главным образом из-за ее простоты. Однако линейная регрессия часто неприменима к реальным данным из-за слишком ограниченных возможностей и ограниченной свободы маневра. Ее часто используют только в качестве базовой модели для оценки и сравнения с новыми подходами в исследованиях.

Команда Mail.ru Cloud Solutions перевела статью, автор которой описывает 5 алгоритмов регрессии. Их стоит иметь в своем наборе инструментов наряду с популярными алгоритмами классификации, такими как SVM, дерево решений и нейронные сети.

1. Нейросетевая регрессия

Теория

Нейронные сети невероятно мощные, но их обычно используют для классификации. Сигналы проходят через слои нейронов и обобщаются в один из нескольких классов. Однако их можно очень быстро адаптировать в регрессионные модели, если изменить последнюю функцию активации.

Каждый нейрон передает значения из предыдущей связи через функцию активации, служащую цели обобщения и нелинейности. Обычно активационная функция — это что-то вроде сигмоиды или функции ReLU (выпрямленный линейный блок).

Источник. Свободное изображение

Но, заменив последнюю функцию активации (выходной нейрон) линейной функцией активации, выходной сигнал можно отобразить на множество значений, выходящих за пределы фиксированных классов. Таким образом, на выходе будет не вероятность отнесения входного сигнала к какому-либо одному классу, а непрерывное значение, на котором фиксирует свои наблюдения нейронная сеть. В этом смысле можно сказать, что нейронная сеть как бы дополняет линейную регрессию.

Нейросетевая регрессия имеет преимущество нелинейности (в дополнение к сложности), которую можно ввести с сигмоидной и другими нелинейными функциями активации ранее в нейронной сети. Однако чрезмерное использование ReLU в качестве функции активации может означать, что модель имеет тенденцию избегать вывода отрицательных значений, поскольку ReLU игнорирует относительные различия между отрицательными значениями.

Это можно решить либо ограничением использования ReLU и добавлением большего количества отрицательных значений соответствующих функций активации, либо нормализацией данных до строго положительного диапазона перед обучением.

Реализация

Используя Keras, построим структуру искусственной нейронной сети, хотя то же самое можно было бы сделать со сверточной нейронной сетью или другой сетью, если последний слой является либо плотным слоем с линейной активацией, либо просто слоем с линейной активацией. (

).

model = Sequential()
model.add(Dense(100, input_dim=3, activation='sigmoid'))
model.add(ReLU(alpha=1.0))
model.add(Dense(50, activation='sigmoid'))
model.add(ReLU(alpha=1.0))
model.add(Dense(25, activation='softmax'))

#IMPORTANT PART
model.add(Dense(1, activation='linear'))

Проблема нейронных сетей всегда заключалась в их высокой дисперсии и склонности к переобучению. В приведенном выше примере кода много источников нелинейности, таких как SoftMax или sigmoid.

Если ваша нейронная сеть хорошо справляется с обучающими данными с чисто линейной структурой, возможно, лучше использовать регрессию с усеченным деревом решений, которая эмулирует линейную и высокодисперсную нейронную сеть, но позволяет дата-сайентисту лучше контролировать глубину, ширину и другие атрибуты для контроля переобучения.

2. Регрессия дерева решений

Теория

Деревья решений в классификации и регрессии очень похожи, поскольку работают путем построения деревьев с узлами «да/нет». Однако в то время как конечные узлы классификации приводят к одному значению класса (например, 1 или 0 для задачи бинарной классификации), деревья регрессии заканчиваются значением в непрерывном режиме (например, 4593,49 или 10,98).

Иллюстрация автора

Из-за специфической и высокодисперсной природы регрессии просто как задачи машинного обучения, регрессоры дерева решений следует тщательно обрезать. Тем не менее, подход к регрессии нерегулярен — вместо того, чтобы вычислять значение в непрерывном масштабе, он приходит к заданным конечным узлам. Если регрессор обрезан слишком сильно, у него слишком мало конечных узлов, чтобы должным образом выполнить свою задачу.

Следовательно, дерево решений должно быть обрезано так, чтобы оно имело наибольшую свободу (возможные выходные значения регрессии — количество конечных узлов), но недостаточно, чтобы оно было слишком глубоким. Если его не обрезать, то и без того высокодисперсный алгоритм станет чрезмерно сложным из-за природы регрессии.

Реализация

Регрессия дерева решений может быть легко создана в

:

from sklearn.tree import DecisionTreeRegressor
model = DecisionTreeRegressor()
model.fit(X_train, y_train)

Поскольку параметры регрессора дерева решений очень важны, рекомендуется использовать инструмент оптимизации поиска параметров

из

, чтобы найти правильные рекомендации для этой модели.

При формальной оценке производительности используйте тестирование K-fold вместо стандартного train-test-split, чтобы избежать случайности последнего, которая может нарушить чувствительные результаты модели с высокой дисперсией.

Бонус: близкий родственник дерева решений, алгоритм random forest (алгоритм случайного леса), также может быть реализован в качестве регрессора. Регрессор случайного леса может работать лучше или не лучше, чем дерево решений в регрессии (в то время как он обычно работает лучше в классификации) из-за тонкого баланса между избыточным и недостаточным в природе алгоритмов построения дерева.

from sklearn.ensemble import RandomForestRegressor
model = RandomForestRegressor()
model.fit(X_train, y_train)

3. Регрессия LASSO

Метод регрессии лассо (LASSO, Least Absolute Shrinkage and Selection Operator) — это вариация линейной регрессии, специально адаптированная для данных, которые демонстрируют сильную мультиколлинеарность (то есть сильную корреляцию признаков друг с другом).

Она автоматизирует части выбора модели, такие как выбор переменных или исключение параметров. LASSO использует сжатие коэффициентов (shrinkage), то есть процесс, в котором значения данных приближаются к центральной точке (например среднему значению).

Иллюстрация автора. Упрощенная визуализация процесса сжатия

Процесс сжатия добавляет регрессионным моделям несколько преимуществ:

• Более точные и стабильные оценки истинных параметров.
• Уменьшение ошибок выборки и отсутствия выборки.
• Сглаживание пространственных флуктуаций.

Вместо того чтобы корректировать сложность модели, компенсируя сложность данных, подобно методам регрессии с высокой дисперсией нейронных сетей и дерева решений, лассо пытается уменьшить сложность данных так, чтобы их можно было обрабатывать простыми методами регрессии, искривляя пространство, на котором они лежат. В этом процессе лассо автоматически помогает устранить или исказить сильно коррелированные и избыточные функции в методе с низкой дисперсией.

Регрессия лассо использует регуляризацию L1, то есть взвешивает ошибки по их абсолютному значению. Вместо, например, регуляризации L2, которая взвешивает ошибки по их квадрату, чтобы сильнее наказывать за более значительные ошибки.

Такая регуляризация часто приводит к более разреженным моделям с меньшим количеством коэффициентов, так как некоторые коэффициенты могут стать нулевыми и, следовательно, будут исключены из модели. Это позволяет ее интерпретировать.

Реализация

В

регрессия лассо поставляется с моделью перекрестной проверки, которая выбирает наиболее эффективные из многих обученных моделей с различными фундаментальными параметрами и путями обучения, что автоматизирует задачу, которую иначе пришлось бы выполнять вручную.

from sklearn.linear_model import LassoCV
model = LassoCV()
model.fit(X_train, y_train)

4. Гребневая регрессия (ридж-регрессия)

Теория

Гребневая регрессия или ридж-регрессия очень похожа на регрессию LASSO в том, что она применяет сжатие. Оба алгоритма хорошо подходят для наборов данных с большим количеством признаков, которые не являются независимыми друг от друга (коллинеарность).

Однако самое большое различие между ними в том, что гребневая регрессия использует регуляризацию L2, то есть ни один из коэффициентов не становится нулевым, как это происходит в регрессии LASSO. Вместо этого коэффициенты всё больше приближаются к нулю, но не имеют большого стимула достичь его из-за природы регуляризации L2.

Сравнение ошибок в регрессии лассо (слева) и гребневой регрессии (справа). Поскольку гребневая регрессия использует регуляризацию L2, ее площадь напоминает круг, тогда как регуляризация лассо L1 рисует прямые линии. Свободное изображение. Источник

В лассо улучшение от ошибки 5 до ошибки 4 взвешивается так же, как улучшение от 4 до 3, а также от 3 до 2, от 2 до 1 и от 1 до 0. Следовательно, больше коэффициентов достигает нуля и устраняется больше признаков.

Однако в гребневой регрессии улучшение от ошибки 5 до ошибки 4 вычисляется как 5² − 4² = 9, тогда как улучшение от 4 до 3 взвешивается только как 7. Постепенно вознаграждение за улучшение уменьшается; следовательно, устраняется меньше признаков.

Гребневая регрессия лучше подходит в ситуации, когда мы хотим сделать приоритетными большое количество переменных, каждая из которых имеет небольшой эффект. Если в модели требуется учитывать несколько переменных, каждая из которых имеет средний или большой эффект, лучшим выбором будет лассо.

Реализация

Гребневую регрессию в

можно реализовать следующим образом (см. ниже). Как и для регрессии лассо, в

есть реализация для перекрестной проверки выбора лучших из многих обученных моделей.

from sklearn.linear_model import RidgeCV
model = Ridge()
model.fit(X_train, y_train)

5. Регрессия ElasticNet

Теория

ElasticNet стремится объединить лучшее из гребневой регрессии и регрессии лассо, комбинируя регуляризацию L1 и L2.

Лассо и гребневая регрессия представляют собой два различных метода регуляризации. В обоих случаях λ — это ключевой фактор, который контролирует размер штрафа:

1. Если λ = 0, то задача становится аналогичной простой линейной регрессии, достигая тех же коэффициентов.
2. Если λ = ∞, то коэффициенты будут равны нулю из-за бесконечного веса на квадрате коэффициентов. Всё, что меньше нуля, делает цель бесконечной.
3. Если 0 < λ < ∞, то величина λ определяет вес, придаваемый различным частям объекта.

К параметру λ регрессия ElasticNet добавляет дополнительный параметр

, который измеряет, насколько «смешанными» должны быть регуляризации L1 и L2. Когда параметр

равен 0, модель является чисто гребневой регрессией, а когда он равен 1 — это чистая регрессия лассо.

«Коэффициент смешивания» α просто определяет, сколько регуляризации L1 и L2 следует учитывать в функции потерь. Все три популярные регрессионные модели — гребневая, лассо и ElasticNet — нацелены на уменьшение размера своих коэффициентов, но каждая действует по-своему.

Реализация

ElasticNet можно реализовать с помощью модели перекрестной валидации sklearn:

from sklearn.linear_model import ElasticNetCV
model = ElasticNetCV()
model.fit(X_train, y_train)

Что еще почитать по теме:

1. Анализ больших данных в облаке: как компании стать дата-ориентированной.
2. Форматы файлов в больших данных.
3. Наш телеграм-канал о цифровой трансформации.

6 типов регрессионных моделей в машинном обучении, о которых вы должны знать

Линейная регрессия и логистическая регрессия — это два типа типа регрессионного анализа , которые используются для решения задачи регрессии с использованием машинного обучения. Это наиболее известные методы регрессии. Но в машинном обучении есть много типов методов регрессионного анализа, и их использование зависит от природы задействованных данных.

В этой статье объясняются различные типы регрессии в машинном обучении и при каких условиях можно использовать каждый из них. Если вы новичок в машинном обучении, эта статья наверняка поможет вам понять концепцию регрессионного моделирования.

Мечтаете учиться за границей? Вот подходящая вам программа

 шансы = p / (1-p) = вероятность наступления события / вероятность не наступления события
ln (коэффициент) = ln (p / (1-p))
logit (p) = ln (p / (1-p)) = b0 + b1X1 + b2X2 + b3X3 .... + bkXk 

 y = a + b * x + e (член ошибки), [член ошибки - это значение, необходимое для исправления ошибки предсказания между наблюдаемым и предсказанным значением] 

 => y = a + y = a + b1x1 + b2x2 + ....+ e для нескольких независимых переменных.