Анализ больших данных Python

1. Знакомство с Seaborn

seaborn — это модуль рисования на Python, основанный на matplotlib, с большим количеством функций визуализации и более красивым стилем рисования. Когда мы хотим изучить характеристики одного или пары распределений данных, мы можем использовать несколько функций, встроенных в seaborn, для анализа распределения. данных. Делайте разнообразные визуализации.

В этой статье в качестве инструмента редактирования используется блокнот Jupyter, предоставляющий подробное представление о настройках параметров и конкретном использовании kdeplot, Rugglot, Distplot и Jointplot в Seaborn.

2. Кдеплот

kdeplot в seaborn можно использовать для оценки плотности ядра и визуализации одномерных и двумерных переменных. Его основные параметры следующие:

• данные: одномерный массив, используемый как единственная переменная в одной переменной.
• data2: формат такой же, как и data2, для одиночной переменной ввод не требуется, двойная переменная используется в качестве второй входной переменной.
• Shade: переменная типа bool, используемая для управления заливкой цветом области под кривой оценки плотности ядра. True представляет заполнение.
• вертикальный: переменная типа bool, действительна при вводе одной переменной, используется для управления тем, следует ли менять положение оси X-Y.
• ядро: ввод символов, используемый для управления методом оценки плотности ядра. По умолчанию используется «gau», то есть ядро ​​Гаусса. Особенно в случае двумерных переменных поддерживается только метод ядра Гаусса.
• легенда: переменная типа bool, используемая для управления добавлением легенды к изображению.
• cumulative: переменная типа bool, используемая для управления отображением кумулятивного распределения оценки плотности ядра, значение по умолчанию — False.
• shade_lowest: переменная типа bool, используемая для управления цветом самого низкого диапазона при оценке плотности ядра. В основном она используется для сравнения нескольких различных популяций распределения на одной и той же оси координат. Значение по умолчанию — True.
• cbar: переменная типа bool, используемая для управления добавлением цветовой карты в правую часть изображения при рисовании двумерной карты оценки плотности ядра.
• цвет: символьная переменная, используемая для управления цветом кривой плотности ядра, такая же, как параметр цвета в plt.plot(), например, «r» представляет красный цвет.
• cmap: символьная переменная, используемая для управления прогрессивной цветовой схемой области плотности ядра, аналогичная параметру cmap в plt.plot(), например, «Blues» представляет синюю систему.
• n_levels: тип int, допустимый, когда n является переменной, используемый для управления количеством интервалов для оценки плотности ядра и количеством слоев замкнутого цикла, отраженных на изображении.

Давайте рассмотрим несколько примеров, чтобы ознакомиться с реальным использованием вышеуказанных параметров в kdeplot:

Сначала нам нужно подготовить данные. В этой статье в качестве примера данных используются данные радужной оболочки глаза, поставляемые с seaborn. Поскольку код выполняется в блокноте Jupyter, добавлена ​​встроенная волшебная команда %matplotlib, позволяющая отображать изображение в блокноте.

import seaborn as sns
sns.set(color_codes=True)
import matplotlib.pyplot as plt
%matplotlib inline
#Загрузить набор данных радужной оболочки глаза, поставляемый с seaborn, в формате фрейма данных
iris = sns.load_dataset('iris')
#Изолируем значения атрибутов, соответствующие цветам класса setosa
setosa = iris.loc[iris.species == "setosa"].reset_index(drop=True)
#Изолируем значения атрибутов, соответствующие цветам класса Вирджиния
virginica = iris.loc[iris.species == "virginica"].reset_index(drop=True)

Во-первых, мы не изменяем другие параметры, а передаем только данные для наблюдения за нарисованным изображением:

#Нарисуйте оценку плотности ядра параметра Petal_width в радужной оболочке
топор = sns.kdeplot(iris.petal_width)

Добавьте красный цвет заливки и отключите легенду:

ax = sns.kdeplot(iris.petal_width,shade=True,color='r')

Измените распределение плотности ядра:

ax = sns.kdeplot(iris.petal_width,
                 shade=True,
                 color='r',
                 cumulative=True)

Поменяйте местами позиции оси X-Y:

ax = sns.kdeplot(iris.petal_width,
                 shade=True,
                 color='r',
                 vertical=True)

Затем мы рисуем двумерный график совместной оценки плотности ядра:

#Нарисуйте совместную карту оценки плотности ядра лепестка_ширины и лепестка_длины цветков сетозы
топор = sns.kdeplot(setosa.petal_width,
                 setosa.petal_length)

Измените цветовую схему на синюю и установитеshadow_lowest=True:

ax = sns.kdeplot(setosa.petal_width,
                 setosa.petal_length,
                 cmap='Blues',
                 shade=True,
                 shade_lowest=True)

Изменитеshadow_lowest=False на основе рисунка выше:

ax = sns.kdeplot(setosa.petal_width,
                 setosa.petal_length,
                 cmap='Blues',
                 shade=True,
                 shade_lowest=False)

Видно, что область за пределами кривой оценки наименьшей плотности в это время не окрашивается цветовой схемой.

Измените количество интервалов кривой плотности ядра до 5:

ax = sns.kdeplot(setosa.petal_width,
                 setosa.petal_length,
                 cmap='Blues',
                 shade=True,
                 shade_lowest=False,
                 n_levels=5)

Видно, что интервал плотности ядра в это время значительно грубее.

Нарисуйте карты оценки плотности ядра двух разных одномерных популяций в одном подграфе. Чтобы различать их, параметры меток определяются отдельно и отображаются в легенде:

ax1 = sns.kdeplot(setosa.petal_width,label='setosa.petal_width')
ax2 = sns.kdeplot(virginica.petal_width,label='virginica.petal_width')

Постройте оценки плотности ядра двух разных 2D-популяций на одном и том же подграфике:

ax1 = sns.kdeplot(setosa.sepal_width,setosa.sepal_length,
                  cmap='Blues',
                  shade=True,
                  shade_lowest=False)
ax2 = sns.kdeplot(virginica.sepal_width,virginica.sepal_length,
                  cmap='Greens',
                  shade=True,
                  shade_lowest=False)

3. коврик

Функция rideplot очень проста. Она используется для рисования фактического положения распределения точек данных в одномерном массиве. То есть она не добавляет никакой математической подгонки и просто отображает записанные значения на оси координат. По сравнению с kdeplot, он может отображать дискретное распределение исходных данных, а его основные параметры следующие:

• a: Одномерный массив, передающий вектор значений наблюдения.
• высота: установите высоту короткой полосы, соответствующей каждой точке наблюдения, значение по умолчанию — 0,05.
• ось: символьная переменная, значение наблюдения соответствует оси, на которой расположена маленькая полоска, по умолчанию — «x», то есть ось X.

Постройте график с использованием параметров по умолчанию:

ax = sns.rugplot(iris.petal_length)

Поменяйте оси координат:

ax = sns.rugplot(iris.petal_length,axis='y')

Измените высоту и цвет короткой полосы:

ax = sns.rugplot(iris.petal_length,
                 color='r',
                 height=0.2)

4. график

Основная функция distplot в seaborn — построение одномерной гистограммы, а также на основе гистограммы можно применять части kdeplot и rideplot. Это очень мощная и практичная функция. Ее основные параметры следующие:

• а: В виде одномерного массива передайте одну переменную для анализа.
• bins: переменная типа int, используемая для определения количества отображаемых в гистограмме гистограмм. Значение по умолчанию — Нет. В настоящее время конкретное количество ячеек определяется критерием Фридмана-Диакониса.
• hist: переменная типа bool, определяет, следует ли рисовать гистограмму, значение по умолчанию — True
• kde: переменная типа bool, определяет, следует ли рисовать кривую оценки плотности ядра, значение по умолчанию — True
• коврик: переменная типа bool, определяет, следует ли рисовать соответствующую часть ковра, значение по умолчанию — False
• fit: тип распределения, передаваемый в scipy.stats, используется для извлечения соответствующих статистических характеристик наблюдаемых переменных для принудительного соответствия указанному распределению. В примерах ниже будут конкретные инструкции. По умолчанию установлено значение «Нет», то есть подгонка не выполняется. .
• hist_kws, kde_kws, Rug_kws: все эти переменные принимают ввод в форме словаря. Пары ключ-значение соответствуют именам параметров и значениям параметров в соответствующих собственных функциях. Ниже приведены примеры.
• цвет: используется для управления цветом всех объектов, кроме кривых, соответствующих подходящей части.
• вертикальный: тип bool, определяет, следует ли инвертировать ось X-Y, значение по умолчанию — False, то есть не переворачивается.
• norm_hist: переменная типа bool, используемая для управления значением высоты гистограммы. Когда она имеет значение True, высота гистограммы представляет соответствующую плотность. Когда она имеет значение False, она представляет количество записанных значений в соответствующем интервале гистограммы. По умолчанию установлено значение Ложь.
• label: Управляйте отображением содержимого метки легенды на изображении.

Постройте график с использованием параметров по умолчанию:

ax = sns.distplot(iris.petal_length)

Измените цвета всех объектов, нарисуйте часть коврика и измените количество ячеек до 20:

ax = sns.distplot(iris.petal_length,color='r',
                 rug=True,
                 bins=20)

На основе приведенного выше рисунка принудительно подгоните распределение хи-квадрат и используйте словарь параметров, чтобы установить зеленую кривую аппроксимации:

from scipy.stats import chi2                
ax = sns.distplot(iris.petal_length,color='r',
                 rug=True,
                 bins=20,
                 fit=chi2,
                 fit_kws={'color':'g'})

Измените параметрnormal_hist на False, чтобы вертикальная ось отображала частоту вместо плотности (обратите внимание, что части чертежа kde и fit должны быть отключены здесь, иначе вертикальная ось по-прежнему отображает плотность), и используйте hist_kws для передачи словаря для настройки. цвет и прозрачность части гистограммы. Используйте «rug_kws», чтобы передать словарь и настроить цвет некоторых коротких столбцов в «Rugplot»:

ax = sns.distplot(iris.petal_length,color='r',
                 rug=True,
                 kde=False,
                 bins=20,
                 fit=None,
                 hist_kws={'alpha':0.6,'color':'orange'},
                 rug_kws={'color':'g'},
                 norm_hist=False)

5. совместный сюжет

Причина, по которой мы представляем его в порядке kdeplot-rugplot-distplot, заключается в том, что distplot включает в себя связанный контент в kdeplot и Rugplot, а функция Jointplot, которая будет представлена ​​в конце этой статьи, объединяет многие из ранее упомянутых материалов и используется для соединить их. Корреляция, совместное распределение и соответствующие распределения переменных представлены на одном графике. Его основные параметры следующие:

• x, y: представляет парные переменные, подлежащие анализу. Существует два режима. Первый режим: когда данные параметра передаются в фрейм данных, оба значения x и y передаются в строки, которые относятся к именам переменных в данных. кадр; второй режим: Два режима: когда данные параметра равны «Нет», x и y напрямую передаются в два одномерных массива, не полагаясь на кадр данных.
• данные: соответствует описанию в предыдущем абзаце, представляет фрейм данных, по умолчанию — «Нет».
• kind: символьная переменная, используемая для управления стилем основного изображения, отображающего связанные условия пар переменных.
• цвет: управляет цветом объектов на изображении.
• высота: контролирует длину стороны изображения, если оно квадратное.
• Соотношение: тип int, регулирует относительное соотношение между картой соединений и картой ребер. Чем больше значение, тем короче карта ребер. Значение по умолчанию — 5.
• пробел: тип int, используемый для управления пустым размером карты соединения и карты краев.
• xlim,ylim: установите диапазон отображения по осям X и Y.
• Joint_kws, Marginal_kws, annot_kws: передайте словарь параметров для индивидуального и точного управления каждым компонентом.

Постройте совместный график парных переменных с настройками параметров по умолчанию:

ax = sns.jointplot(x='sepal_length',y='sepal_width',data=setosa)

Стоит отметить, что совместный график также тщательно иллюстрирует простой коэффициент корреляции Пирсона между парами переменных и результатами p-значения теста корреляции на изображении.

Установите для параметра вида значение «reg» и добавьте к совместному графику подобранную линию линейной регрессии и результаты оценки плотности ядра:

ax = sns.jointplot(x='sepal_length',y='sepal_width',data=setosa,
                  kind='reg')

Измените вид на «hex», чтобы сгенерировать оценки плотности гексагонального ядра для совместного графа:

ax = sns.jointplot(x='sepal_length',y='sepal_width',data=setosa,
                  kind='hex')

Измените вид на «kde», чтобы преобразовать гистограммы и диаграммы рассеяния в графики оценки плотности ядра, и установите размер поля маргинальной оси равным 0:

ax = sns.jointplot(x='sepal_length',y='sepal_width',data=setosa,
                   kind='kde',
                   space=0,
                   color='g')

Jointplot также поддерживает наложение слоев. Как и в примере ниже, тип совместного графика, который мы сначала рисуем, ограничен подобранной линией линейной регрессии. На этом основании мы используем метод .plot_joint для наложения слоя оценки плотности ядра:

ax = (sns.jointplot(x='sepal_length',y='sepal_width',data=setosa,
                   color='g',
                   kind='reg')).plot_joint(sns.kdeplot, zorder=0, n_levels=10)

Более насыщенные изображения также могут быть наложены в соответствии с вашими конкретными потребностями.

Увеличьте параметр соотношения, чтобы уменьшить карту ребер:

ax = sns.jointplot(x='sepal_length',y='sepal_width',data=setosa,
                   kind='kde',
                   space=0,
                   color='g',
                   ratio=15)

Используйте словарь параметров графики ребер, чтобы добавить содержимое графика кромки и измените количество гистограмм до 15:

ax = sns.jointplot(x='sepal_length',y='sepal_width',data=setosa,
                   marginal_kws=dict(bins=15, rug=True),
                   linewidth=1,space=0)

На самом деле, если вы достаточно знаете о matplotlib и seaborn, вы можете получить более информативные и особенные изображения с помощью различных комбинаций!

Выше приведено все содержание этой статьи. Если есть какая-либо ошибка, укажите на нее!