Как читать корреляционную матрицу
В статистике нас часто интересует понимание взаимосвязи между двумя переменными.
Например, мы можем захотеть понять взаимосвязь между количеством часов, отработанных студентом, и полученными им экзаменационными баллами.
Одним из способов количественной оценки этой взаимосвязи является использование коэффициента корреляции Пирсона , который является мерой линейной связи между двумя переменными . Он имеет значение от -1 до 1, где:
- -1 указывает на совершенно отрицательную линейную корреляцию между двумя переменными
- 0 указывает на отсутствие линейной корреляции между двумя переменными
- 1 указывает на совершенно положительную линейную корреляцию между двумя переменными.
Чем дальше коэффициент корреляции от нуля, тем сильнее связь между двумя переменными.
Но в некоторых случаях мы хотим понять корреляцию между более чем одной парой переменных. В этих случаях мы можем создать матрицу корреляции , представляющую собой квадратную таблицу, которая показывает коэффициенты корреляции между несколькими переменными.
Пример корреляционной матрицы
В приведенной ниже матрице корреляции показаны коэффициенты корреляции между несколькими переменными, связанными с образованием:
Каждая ячейка в таблице показывает корреляцию между двумя конкретными переменными. Например, выделенная ячейка ниже показывает, что корреляция между «часами, потраченными на учебу» и «оценкой за экзамен» составляет 0,82 , что указывает на сильную положительную корреляцию. Больше часов, потраченных на учебу, тесно связано с более высокими баллами на экзаменах.
А выделенная ячейка ниже показывает, что корреляция между «часами, потраченными на учебу» и «часами, потраченными на сон» составляет -0,22 , что указывает на слабую отрицательную корреляцию. Больше часов, потраченных на учебу, связано с меньшим количеством часов, потраченных на сон.
А выделенная ячейка ниже показывает, что корреляция между «количеством часов, проведенных во сне» и «показателем IQ» составляет 0,06 , что указывает на то, что они в основном не связаны. Существует очень небольшая связь между количеством часов, которые студент спит, и его показателем IQ.
Также обратите внимание, что все коэффициенты корреляции по диагонали таблицы равны 1, потому что каждая переменная полностью коррелирует сама с собой. Эти ячейки бесполезны для интерпретации.
Вариации корреляционной матрицы
Обратите внимание, что корреляционная матрица совершенно симметрична. Например, верхняя правая ячейка показывает то же значение, что и нижняя левая ячейка:
Это связано с тем, что обе ячейки измеряют корреляцию между «часами, потраченными на учебу» и «рейтингом школы».
Поскольку матрица корреляции симметрична, половина коэффициентов корреляции, показанных в матрице, являются избыточными и ненужными. Таким образом, иногда будет отображаться только половина корреляционной матрицы:
А иногда матрица корреляции раскрашивается, как тепловая карта, чтобы коэффициенты корреляции было еще легче читать:
Когда использовать корреляционную матрицу
На практике корреляционная матрица обычно используется по трем причинам:
1. Корреляционная матрица удобно обобщает набор данных.
Матрица корреляции — это простой способ суммировать корреляции между всеми переменными в наборе данных. Например, предположим, что у нас есть следующий набор данных, который содержит следующую информацию для 1000 учащихся:
Было бы очень сложно понять взаимосвязь между каждой переменной, просто глядя на необработанные данные. К счастью, корреляционная матрица может помочь нам быстро понять корреляции между каждой парой переменных.
2. Корреляционная матрица служит диагностикой регрессии.
Одним из ключевых допущений множественной линейной регрессии является то, что ни одна независимая переменная в модели не имеет сильной корреляции с другой переменной в модели.
Когда две независимые переменные сильно коррелированы, это приводит к проблеме, известной как мультиколлинеарность , и может затруднить интерпретацию результатов регрессии.
Один из самых простых способов обнаружить потенциальную проблему мультиколлинеарности — посмотреть на матрицу корреляции и визуально проверить, сильно ли коррелируют какие-либо переменные друг с другом.
3. Корреляционная матрица может использоваться в качестве исходных данных для других анализов.
Корреляционная матрица используется в качестве исходных данных для других сложных анализов, таких как исследовательский факторный анализ и модели структурных уравнений.
Дополнительные ресурсы
В следующих руководствах объясняется, как создать корреляционную матрицу с помощью различных статистических программ:
Как выполнить корреляционный тест в Excel (шаг за шагом)
Одним из способов количественной оценки взаимосвязи между двумя переменными является использование коэффициента корреляции Пирсона, который является мерой линейной связи между двумя переменными.
Он всегда принимает значение от -1 до 1, где:
- -1 указывает на совершенно отрицательную линейную корреляцию между двумя переменными
- 0 указывает на отсутствие линейной корреляции между двумя переменными
- 1 указывает на совершенно положительную линейную корреляцию между двумя переменными.
Чтобы определить, является ли коэффициент корреляции статистически значимым, вы можете выполнить тест корреляции, который включает вычисление t-показателя и соответствующего p-значения.
Формула для расчета t-показателя:
т = г √ (п-2) / (1-г 2 )
Значение p рассчитывается как соответствующее двустороннее значение p для t-распределения с n-2 степенями свободы.
В следующем пошаговом примере показано, как выполнить тест корреляции в Excel.
Шаг 1: введите данные
Во-первых, давайте введем некоторые значения данных для двух переменных в Excel:
Шаг 2: Рассчитайте коэффициент корреляции
Затем мы можем использовать функцию CORREL() для вычисления коэффициента корреляции между двумя переменными:
Коэффициент корреляции между двумя переменными оказывается равным 0,803702 .
Это очень положительный коэффициент корреляции, но чтобы определить, является ли он статистически значимым, нам нужно рассчитать соответствующий t-показатель и p-значение.
Шаг 3: Рассчитайте статистику теста и P-значение
Затем мы можем использовать следующие формулы для расчета тестовой статистики и соответствующего значения p:
Тестовая статистика оказывается равной 4,27124 , а соответствующее значение p равно 0,001634 .
Поскольку это p-значение меньше 0,05, у нас есть достаточно доказательств, чтобы сказать, что корреляция между двумя переменными является статистически значимой.
Как создать и интерпретировать корреляционную матрицу в Excel
Чем дальше коэффициент корреляции от нуля, тем сильнее связь между двумя переменными.
Но в некоторых случаях мы хотим понять корреляцию между более чем одной парой переменных.
В этих случаях мы можем создать матрицу корреляции , представляющую собой квадратную таблицу, которая показывает коэффициенты корреляции между несколькими попарными комбинациями переменных.
В этом руководстве объясняется, как создать и интерпретировать корреляционную матрицу в Excel.
Как создать корреляционную матрицу в Excel
Предположим, у нас есть следующий набор данных, который показывает среднее количество очков, подборов и передач для 10 баскетболистов:
Чтобы создать матрицу корреляции для этого набора данных, перейдите на вкладку « Данные » на верхней ленте Excel и нажмите « Анализ данных» .
В новом появившемся окне выберите « Корреляция » и нажмите « ОК ».
Для Input Range выберите ячейки, в которых находятся данные (включая первую строку с метками). Установите флажок рядом с Метки в первой строке.Для выходного диапазона выберите ячейку, в которой вы хотите разместить корреляционную матрицу. Затем нажмите ОК .
Это автоматически создаст следующую корреляционную матрицу:
Как интерпретировать матрицу корреляции в Excel
Значения в отдельных ячейках корреляционной матрицы сообщают нам коэффициент корреляции Пирсона между каждой парной комбинацией переменных. Например:
Корреляция между очками и подборами: -0,04639. Очки и подборы имеют небольшую отрицательную корреляцию, но это значение настолько близко к нулю, что нет убедительных доказательств значимой связи между этими двумя переменными.
Соотношение очков и передач: 0,121871. Очки и передачи имеют небольшую положительную корреляцию, но это значение также довольно близко к нулю, поэтому нет убедительных доказательств значимой связи между этими двумя переменными.
Корреляция между подборами и передачами: 0,713713. Подборы и передачи имеют сильную положительную корреляцию. То есть игроки, у которых больше подборов, как правило, и чаще делают передачи.
Обратите внимание, что диагональные значения в матрице корреляции равны 1, потому что корреляция между переменной и самой собой всегда равна 1. На практике интерпретировать это число бесполезно.
Бонус: визуализация коэффициентов корреляции
Один из простых способов визуализировать значение коэффициентов корреляции в таблице — применить условное форматирование к таблице.
На верхней ленте в Excel перейдите на вкладку « Главная », затем в группу « Стили ».
Нажмите « Таблица условного форматирования » , затем нажмите « Цветовые шкалы » , затем нажмите « Цветовая шкала зелено-желто-красный» .
Это автоматически применяет следующую цветовую шкалу к корреляционной матрице:
Это помогает нам легко визуализировать силу корреляции между переменными.
Это особенно полезный прием, если мы работаем с корреляционной матрицей с большим количеством переменных, потому что она помогает нам быстро определить переменные, которые имеют самые сильные корреляции.
Дополнительные ресурсы
В следующих руководствах объясняется, как выполнять другие распространенные задачи в R:
Корреляционный анализ в Excel: как посчитать коэффициент корреляции
Друзья, приветствую вас на WiFiGid! Буквально на днях разрабатывал модель для одной рыночно-нейтральной торговой стратегии, где как раз и нужно было рассчитывать коэффициенты корреляции (на самом деле корреляционную матрицу). Лично я сделал это на «питоне» – все равно потом ее как-то же надо обрабатывать, ведь миллионы ячеек глазом не просмотришь. Но на этапе предварительного анализа кому-то может быть проще использовать именно Excel. Поэтому в этой статье я и покажу вам основные варианты расчета коэффициента корреляции в Excel.
А если вдруг останутся какие-то вопросы или дополнения – добро пожаловать в комментарии. По мере возможности буду отвечать.
И как дополнение, конечно, можно ввести стандартную формулу любой корреляции в Excel, и на ее основе рассчитать коэффициент. Но в этой статье предлагаю все-таки остановиться на уже встроенных способах в Excel.
Коротко про коэффициент корреляции
Коэффициент корреляции отражает зависимость одного ряда от другого. Принимает значение от -1 до +1 (включая все промежуточные дробные значения):
- +1 – обе величины абсолютно зависимы, куда идет первая, туда идет и вторая. Например, на рынке криптовалюты все очень зависимо от биткоина. Куда он, туда и все. И коэффициент корреляции к «битку» для среднего альткоина обычно стремится к единице (но не так сильно).
- 0 – нет никакой зависимости. Каждый ходит, куда хочет.
- -1 – обратная зависимость. Т.е. если один вверх, то второй строго вниз.
Т.е. для двух рядов значений можно строго определять какое-то одно число – коэффициент корреляции. А если вдруг нам нужно проверить очень много рядов между собой, то удобнее построить таблицу, где на пересечении значений нужных строк и столбцов и будут находиться значения коэффициента корреляции для выбранной пары. Такую таблицу называют корреляционной матрицей.
Напоследок, существует несколько математических способов расчета коэффициента корреляции. Самый популярный (и как раз он используется в Excel) – метод Пирсона. Кому нужны другие варианты (тот же Спирмен), как по мне, гораздо проще перейти на любой более-менее развитый язык программирования. Ну или уже вручную вбить формулу здесь.
Что-то я увлекся теорией, предлагаю уже переходить к практике.
Способ расчета 1 – Формула
Очень надеюсь, что вас не нужно учить писать формулы. Иначе просто закройте Excel
А теперь непосредственно попробуем посчитать коэффициент корреляции. Если вы пришли сюда за формулой, то вот она (можно найти и через мастер функций, но руками быстрее):
Под массивами подразумеваем ряды данных величин, между которыми и хотим найти корреляцию. Показываю на примере:
В данном примере у меня на очень малом промежутке времени получился коэффициент корреляции 0,29. Но главное, что способ работает. Так что если нужно получить быстро значение корреляции – круче формулы ничего и не придумаешь.
Способ 2 (корреляционная матрица) – Пакет анализа
В Excel есть еще глубоко запрятанный «Пакет анализа», который тоже содержит надстройку для расчета коэффициента корреляции. Но лично я им не пользуюсь – это очень долго. Поэтому этот раздел больше для интересующихся, чем для практикующих.
- Сначала нужно активировать этот пакет. Переходим в «Файл – Параметры – Надстройки».
- В списке находим «Пакет анализа» (обычно он в разделе неактивных надстроек), выделяем его, убеждаемся что внизу установлено «Надстройки Excel» и нажимаем по кнопке «Перейти».
- Ставим галочку напротив «Пакет анализа» и нажимаем кнопку «Ок». Это должно активировать пакет.
- Теперь переходим на вкладку «Данные». Именно тут справа должна добавить кнопка «Анализ данных». Щелкаем по ней.
- В списке выбираем «Корреляцию».
- Задаем настройки. Во входной интервал нужно передать сразу все столбцы, для которых будем рассчитывать корреляцию. Выходные данные можно переместить на новый лист или задать им место здесь же.
Если вы задали всего два столбца, то и получите то же самое число, что и через формулу. Но если передали сразу несколько столбцов, то и на выходе должна получиться целая корреляционная матрица:
Пользоваться можно, но лично мне не нравится здесь, что нельзя сразу передать названия столбцов и пустые ячейки в верхнем «треугольнике». Работать с этим можно только при небольшом количестве данных. Для остального нужно закрывать Excel.
Видео по теме
Прикладываю видео по теме, где кроме основ есть те же понятия корреляции Спирмена и поля корреляции.