Сравнение со Stata¶
Для потенциальных пользователей, пришедших из Stata, эта страница демонстрирует то, как различные операции Stata выполняются в pandas.
Если вы новичок в pandas, вы можете сначала прочитать 10 Minutes to pandas, чтобы ознакомиться с библиотекой.
Как обычно, импортируем pandas и NumPy следующим образом:
In [1]: import pandas as pd
In [2]: import numpy as np
Структуры данных¶
Перевод общей терминологии¶
pandas |
Stata |
|---|---|
DataFrame |
data set |
column |
variable |
row |
observation |
groupby |
bysort |
NaN |
. |
DataFrame¶
DataFrame в pandas аналогичен data set (набору данных) в Stata — двумерному источнику данных с помеченными столбцами, которые могут быть разных типов. Как будет показано в этом документе, почти любая операция, которая может быть применена к набору данных в Stata, также может быть выполнена в pandas.
Series¶
Series в pandas — это структура данных, представляющая один столбец DataFrame. В Stata нет отдельной структуры данных для столбца, но в целом работа с Series аналогична ссылке на столбец набора данных в Stata.
Index¶
У каждого DataFrame и Series есть Index – метки на строках данных. В Stata нет точно такого понятия, строки набора данных здесь практически не имеют меток, за исключением неявного целочисленного индекса, к которому можно получить доступ с помощью _n.
В pandas, если индекс не указан, по умолчанию также используется целочисленный индекс (первая строка = 0, вторая строка = 1 и так далее). Хотя использование Index или MultiIndex дает возможность сложного анализа и, в конечном счете, важно для понимания pandas, в текущем сравнении мы проигнорируем Index и просто обработаем DataFrame как набор столбцов. Обратитесь к документации по индексированию, чтобы узнать больше о том, как эффективно использовать Index.
Копии и операции на месте¶
Большинство операций pandas возвращают копии Series и DataFrame. Чтобы зафиксировать изменения, вам нужно либо назначить новую переменную:
sorted_df = df.sort_values("col1")
Либо перезаписать исходный объект:
df = df.sort_values("col1")
Примечание
Вы можете столкнуться с аргументом inplace=True, доступным для некоторых методов:
df.sort_values("col1", inplace=True)
Ввод и вывод данных¶
Построение DataFrame из значений¶
Набор данных Stata можно построить из указанных значений, поместив данные после оператора input и указав имена столбцов.
input x y
1 2
3 4
5 6
end
DataFrame в pandas можно создать разными способами, но для небольшого количества значений часто бывает удобно указать его как словарь Python, где ключи — это имена столбцов, а значения — это данные.
In [1]: df = pd.DataFrame({"x": [1, 3, 5], "y": [2, 4, 6]})
In [2]: df
Out[2]:
x y
0 1 2
1 3 4
2 5 6
Чтение данных из внешних источников¶
Как и Stata, pandas предоставляет утилиты для чтения данных из многих форматов. В примерах ниже используется набор данных tips, найденный в тестах pandas (csv).
В Stata используют import delimited для чтения данных csv в data set в памяти. Если файл tips.csv находится в текущем рабочем каталоге, мы можем импортировать его следующим образом:
import delimited tips.csv
Метод pandas read_csv() работает аналогично. Кроме того, он автоматически загрузит набор данных, если ему будет предоставлен URL-адрес.
In [3]: url = (
...: "https://raw.github.com/pandas-dev"
...: "/pandas/main/pandas/tests/io/data/csv/tips.csv"
...: )
...:
In [4]: tips = pd.read_csv(url)
In [5]: tips
Out[5]:
total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 29.03 5.92 Male No Sat Dinner 3
240 27.18 2.00 Female Yes Sat Dinner 2
241 22.67 2.00 Male Yes Sat Dinner 2
242 17.82 1.75 Male No Sat Dinner 2
243 18.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
Подобно import delimited в Stata, read_csv() в pandas может принимать ряд параметров, чтобы указать, как следует анализировать данные. Например, если бы данные были разделены табуляцией, не имели имен столбцов и существовали в текущем рабочем каталоге, команда pandas была бы такой:
tips = pd.read_csv("tips.csv", sep="\t", header=None)
# alternatively, read_table is an alias to read_csv with tab delimiter
tips = pd.read_table("tips.csv", header=None)
pandas также может читать наборы данных Stata в формате .dta с помощью функции read_stata().
df = pd.read_stata("data.dta")
Помимо файлов Stata, text и csv, pandas поддерживает множество других форматов данных, таких как Excel, HDF5 и базы данных SQL. Все они считываются с помощью функции pd.read_*. Подробнее см. в документации по вводу-выводу.
Ограничение вывода¶
По умолчанию pandas обрезает вывод больших DataFrame, чтобы показать первую и последнюю строки. Это можно переопределить, изменив параметры pandas или используя DataFrame.head() или DataFrame.tail().
In [1]: tips.head(5)
Out[1]:
total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4
Эквивалентом в Stata будет:
list in 1/5
Экспорт данных¶
Противоположностью import delimited в Stata будет export delimited.
export delimited tips2.csv
Точно так же в pandas противоположностью read_csv является to_csv(), чтение данных из файлов других форматов следует аналогичному API.
tips.to_csv("tips2.csv")
pandas также может экспортировать в формат файла Stata с помощью метода DataFrame.to_stata().
tips.to_stata("tips2.dta")
Операции с данными¶
Операции над столбцами¶
В Stata произвольные математические выражения можно использовать с командами generate и replace для новых или существующих столбцов. Команда drop удаляет столбец из набора данных.
replace total_bill = total_bill - 2
generate new_bill = total_bill / 2
drop new_bill
pandas обеспечивает векторизованные операции, указывая отдельные Series в DataFrame. Таким же образом можно назначить новые столбцы. Метод DataFrame.drop() удаляет столбец из DataFrame.
In [1]: tips["total_bill"] = tips["total_bill"] - 2
In [2]: tips["new_bill"] = tips["total_bill"] / 2
In [3]: tips
Out[3]:
total_bill tip sex smoker day time size new_bill
0 14.99 1.01 Female No Sun Dinner 2 7.495
1 8.34 1.66 Male No Sun Dinner 3 4.170
2 19.01 3.50 Male No Sun Dinner 3 9.505
3 21.68 3.31 Male No Sun Dinner 2 10.840
4 22.59 3.61 Female No Sun Dinner 4 11.295
.. ... ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3 13.515
240 25.18 2.00 Female Yes Sat Dinner 2 12.590
241 20.67 2.00 Male Yes Sat Dinner 2 10.335
242 15.82 1.75 Male No Sat Dinner 2 7.910
243 16.78 3.00 Female No Thur Dinner 2 8.390
[244 rows x 8 columns]
In [4]: tips = tips.drop("new_bill", axis=1)
Фильтрация¶
Фильтрация в Stata выполняется с помощью условия if в одном или нескольких столбцах.
list if total_bill > 10
DataFrame можно фильтровать несколькими способами; наиболее интуитивным из них является использование логического индексирования.
In [1]: tips[tips["total_bill"] > 10]
Out[1]:
total_bill tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
5 23.29 4.71 Male No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[204 rows x 7 columns]
Вышеприведенный оператор просто передает Series объектов True и False в DataFrame, возвращая все строки с True.
In [1]: is_dinner = tips["time"] == "Dinner"
In [2]: is_dinner
Out[2]:
0 True
1 True
2 True
3 True
4 True
...
239 True
240 True
241 True
242 True
243 True
Name: time, Length: 244, dtype: bool
In [3]: is_dinner.value_counts()
Out[3]:
True 176
False 68
Name: time, dtype: int64
In [4]: tips[is_dinner]
Out[4]:
total_bill tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[176 rows x 7 columns]
Логика if/then¶
В Stata для создания новых столбцов также можно использовать условие if.
generate bucket = "low" if total_bill < 10
replace bucket = "high" if total_bill >= 10
Ту же операцию в pandas можно выполнить с использованием метода where из numpy.
In [1]: tips["bucket"] = np.where(tips["total_bill"] < 10, "low", "high")
In [2]: tips
Out[2]:
total_bill tip sex smoker day time size bucket
0 14.99 1.01 Female No Sun Dinner 2 high
1 8.34 1.66 Male No Sun Dinner 3 low
2 19.01 3.50 Male No Sun Dinner 3 high
3 21.68 3.31 Male No Sun Dinner 2 high
4 22.59 3.61 Female No Sun Dinner 4 high
.. ... ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3 high
240 25.18 2.00 Female Yes Sat Dinner 2 high
241 20.67 2.00 Male Yes Sat Dinner 2 high
242 15.82 1.75 Male No Sat Dinner 2 high
243 16.78 3.00 Female No Thur Dinner 2 high
[244 rows x 8 columns]
Функциональность даты¶
Stata предоставляет множество функций для выполнения операций со столбцами даты и времени.
generate date1 = mdy(1, 15, 2013)
generate date2 = date("Feb152015", "MDY")
generate date1_year = year(date1)
generate date2_month = month(date2)
* shift date to beginning of next month
generate date1_next = mdy(month(date1) + 1, 1, year(date1)) if month(date1) != 12
replace date1_next = mdy(1, 1, year(date1) + 1) if month(date1) == 12
generate months_between = mofd(date2) - mofd(date1)
list date1 date2 date1_year date2_month date1_next months_between
Эквивалентные операции pandas показаны ниже. В дополнение к этим функциям pandas поддерживает функции временных рядов, недоступные в Stata (такие как обработка часовых поясов и настраиваемые смещения) — см. документацию по временным рядам.
In [1]: tips["date1"] = pd.Timestamp("2013-01-15")
In [2]: tips["date2"] = pd.Timestamp("2015-02-15")
In [3]: tips["date1_year"] = tips["date1"].dt.year
In [4]: tips["date2_month"] = tips["date2"].dt.month
In [5]: tips["date1_next"] = tips["date1"] + pd.offsets.MonthBegin()
In [6]: tips["months_between"] = tips["date2"].dt.to_period("M") - tips[
...: "date1"
...: ].dt.to_period("M")
...:
In [7]: tips[
...: ["date1", "date2", "date1_year", "date2_month", "date1_next", "months_between"]
...: ]
...:
Out[7]:
date1 date2 date1_year date2_month date1_next months_between
0 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
1 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
2 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
3 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
4 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
.. ... ... ... ... ... ...
239 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
240 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
241 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
242 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
243 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
[244 rows x 6 columns]
Выбор столбцов¶
Stata предоставляет ключевые слова для выбора, удаления и переименования столбцов.
keep sex total_bill tip
drop sex
rename total_bill total_bill_2
Те же операции в pandas продемонстрированы ниже.
Сохранить определенные столбцы¶
In [1]: tips[["sex", "total_bill", "tip"]]
Out[1]:
sex total_bill tip
0 Female 14.99 1.01
1 Male 8.34 1.66
2 Male 19.01 3.50
3 Male 21.68 3.31
4 Female 22.59 3.61
.. ... ... ...
239 Male 27.03 5.92
240 Female 25.18 2.00
241 Male 20.67 2.00
242 Male 15.82 1.75
243 Female 16.78 3.00
[244 rows x 3 columns]
Удалить столбец¶
In [2]: tips.drop("sex", axis=1)
Out[2]:
total_bill tip smoker day time size
0 14.99 1.01 No Sun Dinner 2
1 8.34 1.66 No Sun Dinner 3
2 19.01 3.50 No Sun Dinner 3
3 21.68 3.31 No Sun Dinner 2
4 22.59 3.61 No Sun Dinner 4
.. ... ... ... ... ... ...
239 27.03 5.92 No Sat Dinner 3
240 25.18 2.00 Yes Sat Dinner 2
241 20.67 2.00 Yes Sat Dinner 2
242 15.82 1.75 No Sat Dinner 2
243 16.78 3.00 No Thur Dinner 2
[244 rows x 6 columns]
Переименовать столбец¶
In [1]: tips.rename(columns={"total_bill": "total_bill_2"})
Out[1]:
total_bill_2 tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
Сортировка по значениям¶
Сортировка в Stata осуществляется с помощью sort.
sort sex total_bill
У pandas есть метод DataFrame.sort_values(), который принимает список столбцов для сортировки.
In [1]: tips = tips.sort_values(["sex", "total_bill"])
In [2]: tips
Out[2]:
total_bill tip sex smoker day time size
67 1.07 1.00 Female Yes Sat Dinner 1
92 3.75 1.00 Female Yes Fri Dinner 2
111 5.25 1.00 Female No Sat Dinner 1
145 6.35 1.50 Female No Thur Lunch 2
135 6.51 1.25 Female No Thur Lunch 2
.. ... ... ... ... ... ... ...
182 43.35 3.50 Male Yes Sun Dinner 3
156 46.17 5.00 Male No Sun Dinner 6
59 46.27 6.73 Male No Sat Dinner 4
212 46.33 9.00 Male No Sat Dinner 4
170 48.81 10.00 Male Yes Sat Dinner 3
[244 rows x 7 columns]
Обработка строк¶
Нахождение длины строки¶
Stata определяет длину строки символов с помощью функций strlen() и ustrlen() для строк ASCII и Unicode соответственно.
generate strlen_time = strlen(time)
generate ustrlen_time = ustrlen(time)
В pandas вы можете узнать длину строки символов с помощью Series.str.len(). В Python 3 все строки являются строками Unicode. len включает конечные пробелы. Используйте len и rstrip, чтобы исключить пробелы в конце.
In [1]: tips["time"].str.len()
Out[1]:
67 6
92 6
111 6
145 5
135 5
..
182 6
156 6
59 6
212 6
170 6
Name: time, Length: 244, dtype: int64
In [2]: tips["time"].str.rstrip().str.len()
Out[2]:
67 6
92 6
111 6
145 5
135 5
..
182 6
156 6
59 6
212 6
170 6
Name: time, Length: 244, dtype: int64
Поиск позиции подстроки¶
Stata определяет положение символа в строке с помощью функции strpos(). Она берет строку, определенную первым аргументом, и ищет первую позицию подстроки, которую вы указываете в качестве второго аргумента.
generate str_position = strpos(sex, "ale")
В pandas вы можете найти положение символа в столбце строк с помощью метода Series.str.find(). find ищет первую позицию подстроки. Если подстрока найдена, метод возвращает ее позицию. Если не найдена, возвращается -1. Имейте в виду, что индексы Python отсчитываются от нуля.
In [1]: tips["sex"].str.find("ale")
Out[1]:
67 3
92 3
111 3
145 3
135 3
..
182 1
156 1
59 1
212 1
170 1
Name: sex, Length: 244, dtype: int64
Извлечение подстроки по позиции¶
Stata извлекает подстроку из строки на основе ее позиции с помощью функции substr().
generate short_sex = substr(sex, 1, 1)
С pandas вы можете использовать нотацию [] для извлечения подстроки из строки по местоположению. Имейте в виду, что индексы Python отсчитываются от нуля.
In [1]: tips["sex"].str[0:1]
Out[1]:
67 F
92 F
111 F
145 F
135 F
..
182 M
156 M
59 M
212 M
170 M
Name: sex, Length: 244, dtype: object
Извлечение n-ного слова¶
Функция Stata word() возвращает n-ное слово из строки. Первый аргумент — это строка, которую вы хотите проанализировать, а второй аргумент указывает, какое слово вы хотите извлечь.
clear
input str20 string
"John Smith"
"Jane Cook"
end
generate first_name = word(name, 1)
generate last_name = word(name, -1)
Самый простой способ извлечь слова в pandas — разбить строки по пробелам, а затем сослаться на слово по индексу. Есть и более мощные подходы.
In [1]: firstlast = pd.DataFrame({"String": ["John Smith", "Jane Cook"]})
In [2]: firstlast["First_Name"] = firstlast["String"].str.split(" ", expand=True)[0]
In [3]: firstlast["Last_Name"] = firstlast["String"].str.rsplit(" ", expand=True)[1]
In [4]: firstlast
Out[4]:
String First_Name Last_Name
0 John Smith John Smith
1 Jane Cook Jane Cook
Изменение регистра¶
Функции Stata strupper(), strlower(), strproper(), ustrupper(), ustrlower() и ustrtitle() изменяют регистр символов в строках ASCII и Unicode соответственно.
clear
input str20 string
"John Smith"
"Jane Cook"
end
generate upper = strupper(string)
generate lower = strlower(string)
generate title = strproper(string)
list
Эквивалентные методы pandas: Series.str.upper(), Series.str.lower() и Series.str.title().
In [1]: firstlast = pd.DataFrame({"string": ["John Smith", "Jane Cook"]})
In [2]: firstlast["upper"] = firstlast["string"].str.upper()
In [3]: firstlast["lower"] = firstlast["string"].str.lower()
In [4]: firstlast["title"] = firstlast["string"].str.title()
In [5]: firstlast
Out[5]:
string upper lower title
0 John Smith JOHN SMITH john smith John Smith
1 Jane Cook JANE COOK jane cook Jane Cook
Объединение¶
В примерах объединения будут использоваться следующие таблицы:
In [1]: df1 = pd.DataFrame({"key": ["A", "B", "C", "D"], "value": np.random.randn(4)})
In [2]: df1
Out[2]:
key value
0 A 0.469112
1 B -0.282863
2 C -1.509059
3 D -1.135632
In [3]: df2 = pd.DataFrame({"key": ["B", "D", "D", "E"], "value": np.random.randn(4)})
In [4]: df2
Out[4]:
key value
0 B 1.212112
1 D -0.173215
2 D 0.119209
3 E -1.044236
В Stata для выполнения объединения один набор данных должен находиться в памяти, а на другой нужно ссылаться как на имя файла на диске. Напротив, Python должен иметь оба DataFrame уже в памяти.
По умолчанию Stata выполняет внешнее объединение, при котором все наблюдения из обоих наборов данных остаются в памяти после объединения. Можно сохранить только наблюдения из исходного набора данных, объединенного набора данных или их пересечения, используя значения, созданные в переменной _merge.
* First create df2 and save to disk
clear
input str1 key
B
D
D
E
end
generate value = rnormal()
save df2.dta
* Now create df1 in memory
clear
input str1 key
A
B
C
D
end
generate value = rnormal()
preserve
* Left join
merge 1:n key using df2.dta
keep if _merge == 1
* Right join
restore, preserve
merge 1:n key using df2.dta
keep if _merge == 2
* Inner join
restore, preserve
merge 1:n key using df2.dta
keep if _merge == 3
* Outer join
restore
merge 1:n key using df2.dta
В pandas есть метод DataFrame.merge, который обеспечивает аналогичную функциональность. Данные не нужно сортировать заранее, а различные типы объединений выполняются с помощью ключевого слова how.
In [1]: inner_join = df1.merge(df2, on=["key"], how="inner")
In [2]: inner_join
Out[2]:
key value_x value_y
0 B -0.282863 1.212112
1 D -1.135632 -0.173215
2 D -1.135632 0.119209
In [3]: left_join = df1.merge(df2, on=["key"], how="left")
In [4]: left_join
Out[4]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
In [5]: right_join = df1.merge(df2, on=["key"], how="right")
In [6]: right_join
Out[6]:
key value_x value_y
0 B -0.282863 1.212112
1 D -1.135632 -0.173215
2 D -1.135632 0.119209
3 E NaN -1.044236
In [7]: outer_join = df1.merge(df2, on=["key"], how="outer")
In [8]: outer_join
Out[8]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E NaN -1.044236
Отсутствующие данные¶
И в pandas, и в Stata есть представление для отсутствующих данных.
pandas представляет отсутствующие данные специальным значением с плавающей запятой NaN (не число). Многие семантики одинаковы; например, отсутствующие данные распространяются посредством числовых операций и по умолчанию игнорируются для агрегирования.
In [1]: outer_join
Out[1]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E NaN -1.044236
In [2]: outer_join["value_x"] + outer_join["value_y"]
Out[2]:
0 NaN
1 0.929249
2 NaN
3 -1.308847
4 -1.016424
5 NaN
dtype: float64
In [3]: outer_join["value_x"].sum()
Out[3]: -3.5940742896293765
Одно отличие состоит в том, что в pandas отсутствующие данные нельзя сравнивать с их контрольным значением. В Stata так можно отфильтровать отсутствующие значения.
* Keep missing values
list if value_x == .
* Keep non-missing values
list if value_x != .
В pandas для фильтрации строк можно использовать Series.isna() и Series.notna().
In [1]: outer_join[outer_join["value_x"].isna()]
Out[1]:
key value_x value_y
5 E NaN -1.044236
In [2]: outer_join[outer_join["value_x"].notna()]
Out[2]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
pandas предоставляет различные методы работы с отсутствующими данными. Вот некоторые примеры:
Удалить строки с отсутствующими значениями¶
In [3]: outer_join.dropna()
Out[3]:
key value_x value_y
1 B -0.282863 1.212112
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
Заполнить значениями из предыдущих строк¶
In [4]: outer_join.fillna(method="ffill")
Out[4]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 1.212112
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E -1.135632 -1.044236
Заменить отсутствующие значения указанным значением¶
Используя среднее значение:
In [1]: outer_join["value_x"].fillna(outer_join["value_x"].mean())
Out[1]:
0 0.469112
1 -0.282863
2 -1.509059
3 -1.135632
4 -1.135632
5 -0.718815
Name: value_x, dtype: float64
GroupBy¶
Сводные показатели¶
collapse в Stata можно использовать для группировки по одной или нескольким ключевым переменным и вычисления сводных показателей по числовым столбцам.
collapse (sum) total_bill tip, by(sex smoker)
pandas предоставляет гибкий механизм groupby, который позволяет выполнять аналогичные вычисления. Подробности и примеры см. в документации по groupby.
In [1]: tips_summed = tips.groupby(["sex", "smoker"])[["total_bill", "tip"]].sum()
In [2]: tips_summed
Out[2]:
total_bill tip
sex smoker
Female No 869.68 149.77
Yes 527.27 96.74
Male No 1725.75 302.00
Yes 1217.07 183.07
Трансформация¶
В Stata, если групповые сводные показатели необходимо вычислить на исходном наборе данных, обычно используется bysort с egen(). Например, чтобы вычесть среднее значение для каждого наблюдения по группе курильщиков.
bysort sex smoker: egen group_bill = mean(total_bill)
generate adj_total_bill = total_bill - group_bill
pandas предоставляет механизм трансформации, который позволяет кратко выражать операции такого типа в одной.
In [1]: gb = tips.groupby("smoker")["total_bill"]
In [2]: tips["adj_total_bill"] = tips["total_bill"] - gb.transform("mean")
In [3]: tips
Out[3]:
total_bill tip sex smoker day time size adj_total_bill
67 1.07 1.00 Female Yes Sat Dinner 1 -17.686344
92 3.75 1.00 Female Yes Fri Dinner 2 -15.006344
111 5.25 1.00 Female No Sat Dinner 1 -11.938278
145 6.35 1.50 Female No Thur Lunch 2 -10.838278
135 6.51 1.25 Female No Thur Lunch 2 -10.678278
.. ... ... ... ... ... ... ... ...
182 43.35 3.50 Male Yes Sun Dinner 3 24.593656
156 46.17 5.00 Male No Sun Dinner 6 28.981722
59 46.27 6.73 Male No Sat Dinner 4 29.081722
212 46.33 9.00 Male No Sat Dinner 4 29.141722
170 48.81 10.00 Male Yes Sat Dinner 3 30.053656
[244 rows x 8 columns]
Обработка по группам¶
Помимо сводной статистики groupby в pandas можно использовать для репликации большинства других операций, выполняемых в Stata с помощью bysort. Например, в следующем примере выбраны первые наблюдения в текущем порядке сортировки по полу и группе курильщиков.
bysort sex smoker: list if _n == 1
В pandas это будет выражено так:
In [4]: tips.groupby(["sex", "smoker"]).first()
Out[4]:
total_bill tip day time size adj_total_bill
sex smoker
Female No 5.25 1.00 Sat Dinner 1 -11.938278
Yes 1.07 1.00 Sat Dinner 1 -17.686344
Male No 5.51 2.00 Thur Lunch 2 -11.678278
Yes 5.25 5.15 Sun Dinner 2 -13.506344
Другие соображения¶
Диск vs память¶
pandas и Stata работают исключительно в памяти. Это означает, что размер данных, которые можно загрузить в pandas, ограничен памятью вашего компьютера. Если требуется обработка вне ядра, можно использовать библиотеку dask.dataframe (сейчас в разработке). Она предоставляет подмножество функций pandas для DataFrame на диске.