与 Stata 的比较#
对于来自 Stata 的潜在用户，本页面旨在展示如何在 pandas 中执行不同的 Stata 操作。
如果你是pandas的新手，你可能想先阅读 10分钟入门pandas 以熟悉这个库。
按照惯例，我们导入 pandas 和 NumPy 如下：
In [1]: import pandas as pd
In [2]: import numpy as np
数据结构#
通用术语翻译#
pandas |
Stata |
|---|---|
|
数据集 |
column |
变量 |
行 |
observation |
groupby |
bysort |
|
`` `` |
DataFrame#
在 pandas 中的 DataFrame 类似于 Stata 数据集 – 一个带有标签列的二维数据源，这些列可以是不同类型的。正如本文档所示，几乎任何可以应用于 Stata 数据集的操作也可以在 pandas 中完成。
Series#
Series 是表示 DataFrame 一列的数据结构。Stata 没有单独的数据结构用于单列，但一般来说，使用 Series 类似于在 Stata 中引用数据集的一列。
Index#
每个 DataFrame 和 Series 都有一个 Index – 数据 行 上的标签。Stata 没有完全类似的概念。在 Stata 中，数据集的行本质上是无标签的，除了可以用 _n 访问的隐式整数索引。
在 pandas 中，如果没有指定索引，默认也会使用整数索引（第一行 = 0，第二行 = 1，依此类推）。虽然使用带标签的 Index 或 MultiIndex 可以启用复杂的分析，并且最终是理解 pandas 的重要部分，但对于这个比较，我们将基本上忽略 Index，只是将 DataFrame 视为列的集合。请参阅 索引文档 以了解更多关于如何有效使用 Index 的信息。
复制 vs. 原地操作#
大多数 pandas 操作返回 Series/DataFrame 的副本。要使更改生效，你需要将其分配给一个新变量：
sorted_df = df.sort_values("col1")
或者覆盖原始的那个：
df = df.sort_values("col1")
备注
你将会看到一些方法提供了 inplace=True 或 copy=False 关键字参数：
df.replace(5, inplace=True)
关于弃用和移除大多数方法（例如 dropna）的 inplace 和 copy 的讨论正在进行中，除了极少数方法（包括 replace）。在写时复制（Copy-on-Write）的上下文中，这两个关键字将不再需要。提案可以在这里找到 here。
数据输入 / 输出#
从值构建一个DataFrame#
通过在 input 语句后放置数据并指定列名，可以从指定值构建一个 Stata 数据集。
input x y
1 2
3 4
5 6
end
一个 pandas DataFrame 可以通过许多不同的方式构建，但对于少量值，通常将其指定为 Python 字典很方便，其中键是列名，值是数据。
In [3]: df = pd.DataFrame({"x": [1, 3, 5], "y": [2, 4, 6]})
In [4]: df
Out[4]:
x y
0 1 2
1 3 4
2 5 6
读取外部数据#
像 Stata 一样，pandas 提供了从许多格式读取数据的工具。tips 数据集，可以在 pandas 测试中找到（csv），将在以下许多示例中使用。
Stata 提供了 import delimited 来将 csv 数据读取到内存中的数据集中。如果 tips.csv 文件在当前工作目录中，我们可以如下导入它。
import delimited tips.csv
pandas 方法是 read_csv()，它的工作方式类似。此外，如果提供了一个url，它将自动下载数据集。
In [5]: url = (
...: "https://raw.githubusercontent.com/pandas-dev"
...: "/pandas/main/pandas/tests/io/data/csv/tips.csv"
...: )
...:
In [6]: tips = pd.read_csv(url)
In [7]: tips
Out[7]:
total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 29.03 5.92 Male No Sat Dinner 3
240 27.18 2.00 Female Yes Sat Dinner 2
241 22.67 2.00 Male Yes Sat Dinner 2
242 17.82 1.75 Male No Sat Dinner 2
243 18.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
像 import delimited 一样，read_csv() 可以接受许多参数来指定数据应如何解析。例如，如果数据是制表符分隔的，没有列名，并且存在于当前工作目录中，pandas 命令将是：
tips = pd.read_csv("tips.csv", sep="\t", header=None)
# alternatively, read_table is an alias to read_csv with tab delimiter
tips = pd.read_table("tips.csv", header=None)
pandas 也可以使用 read_stata() 函数读取 .dta 格式的 Stata 数据集。
df = pd.read_stata("data.dta")
除了 text/csv 和 Stata 文件外，pandas 还支持多种其他数据格式，如 Excel、SAS、HDF5、Parquet 和 SQL 数据库。这些都可以通过 pd.read_* 函数读取。更多详情请参见 IO 文档。
限制输出#
默认情况下，pandas 会截断大型 DataFrame 的输出，以显示首尾行。这可以通过 更改 pandas 选项 来覆盖，或者使用 DataFrame.head() 或 DataFrame.tail()。
In [8]: tips.head(5)
Out[8]:
total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4
在 Stata 中相当于：
list in 1/5
导出数据#
在 Stata 中，import delimited 的逆操作是 export delimited
export delimited tips2.csv
同样在 pandas 中，read_csv 的反向操作是 DataFrame.to_csv()。
tips.to_csv("tips2.csv")
pandas 也可以通过 DataFrame.to_stata() 方法导出到 Stata 文件格式。
tips.to_stata("tips2.dta")
数据操作#
列上的操作#
在 Stata 中，任意的数学表达式可以与 generate 和 replace 命令一起用于新列或现有列。drop 命令从数据集中删除列。
replace total_bill = total_bill - 2
generate new_bill = total_bill / 2
drop new_bill
pandas 通过在 DataFrame 中指定单个 Series 来提供矢量化操作。新列可以以相同的方式分配。DataFrame.drop() 方法从 DataFrame 中删除一列。
In [9]: tips["total_bill"] = tips["total_bill"] - 2
In [10]: tips["new_bill"] = tips["total_bill"] / 2
In [11]: tips
Out[11]:
total_bill tip sex smoker day time size new_bill
0 14.99 1.01 Female No Sun Dinner 2 7.495
1 8.34 1.66 Male No Sun Dinner 3 4.170
2 19.01 3.50 Male No Sun Dinner 3 9.505
3 21.68 3.31 Male No Sun Dinner 2 10.840
4 22.59 3.61 Female No Sun Dinner 4 11.295
.. ... ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3 13.515
240 25.18 2.00 Female Yes Sat Dinner 2 12.590
241 20.67 2.00 Male Yes Sat Dinner 2 10.335
242 15.82 1.75 Male No Sat Dinner 2 7.910
243 16.78 3.00 Female No Thur Dinner 2 8.390
[244 rows x 8 columns]
In [12]: tips = tips.drop("new_bill", axis=1)
过滤#
在 Stata 中，过滤是通过在一个或多个列上使用 if 子句来完成的。
list if total_bill > 10
DataFrame 可以通过多种方式进行过滤；其中最直观的方法是使用 布尔索引。
In [13]: tips[tips["total_bill"] > 10]
Out[13]:
total_bill tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
5 23.29 4.71 Male No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[204 rows x 7 columns]
上述语句只是将一个 True/False 对象的 Series 传递给 DataFrame，返回所有 True 的行。
In [14]: is_dinner = tips["time"] == "Dinner"
In [15]: is_dinner
Out[15]:
0 True
1 True
2 True
3 True
4 True
...
239 True
240 True
241 True
242 True
243 True
Name: time, Length: 244, dtype: bool
In [16]: is_dinner.value_counts()
Out[16]:
time
True 176
False 68
Name: count, dtype: int64
In [17]: tips[is_dinner]
Out[17]:
total_bill tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[176 rows x 7 columns]
如果/那么 逻辑#
在 Stata 中，if 子句也可以用来创建新列。
generate bucket = "low" if total_bill < 10
replace bucket = "high" if total_bill >= 10
在 pandas 中相同的操作可以使用 numpy 的 where 方法来完成。
In [18]: tips["bucket"] = np.where(tips["total_bill"] < 10, "low", "high")
In [19]: tips
Out[19]:
total_bill tip sex smoker day time size bucket
0 14.99 1.01 Female No Sun Dinner 2 high
1 8.34 1.66 Male No Sun Dinner 3 low
2 19.01 3.50 Male No Sun Dinner 3 high
3 21.68 3.31 Male No Sun Dinner 2 high
4 22.59 3.61 Female No Sun Dinner 4 high
.. ... ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3 high
240 25.18 2.00 Female Yes Sat Dinner 2 high
241 20.67 2.00 Male Yes Sat Dinner 2 high
242 15.82 1.75 Male No Sat Dinner 2 high
243 16.78 3.00 Female No Thur Dinner 2 high
[244 rows x 8 columns]
日期功能#
Stata 提供了多种函数来对日期/时间列进行操作。
generate date1 = mdy(1, 15, 2013)
generate date2 = date("Feb152015", "MDY")
generate date1_year = year(date1)
generate date2_month = month(date2)
* shift date to beginning of next month
generate date1_next = mdy(month(date1) + 1, 1, year(date1)) if month(date1) != 12
replace date1_next = mdy(1, 1, year(date1) + 1) if month(date1) == 12
generate months_between = mofd(date2) - mofd(date1)
list date1 date2 date1_year date2_month date1_next months_between
等效的 pandas 操作如下所示。除了这些函数外，pandas 还支持 Stata 中不可用的其他时间序列功能（例如时区处理和自定义偏移）– 有关更多详细信息，请参阅 时间序列文档。
In [20]: tips["date1"] = pd.Timestamp("2013-01-15")
In [21]: tips["date2"] = pd.Timestamp("2015-02-15")
In [22]: tips["date1_year"] = tips["date1"].dt.year
In [23]: tips["date2_month"] = tips["date2"].dt.month
In [24]: tips["date1_next"] = tips["date1"] + pd.offsets.MonthBegin()
In [25]: tips["months_between"] = tips["date2"].dt.to_period("M") - tips[
....: "date1"
....: ].dt.to_period("M")
....:
In [26]: tips[
....: ["date1", "date2", "date1_year", "date2_month", "date1_next", "months_between"]
....: ]
....:
Out[26]:
date1 date2 date1_year date2_month date1_next months_between
0 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
1 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
2 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
3 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
4 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
.. ... ... ... ... ... ...
239 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
240 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
241 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
242 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
243 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
[244 rows x 6 columns]
选择列#
Stata 提供了选择、删除和重命名列的关键字。
keep sex total_bill tip
drop sex
rename total_bill total_bill_2
以下是使用 pandas 表达的相同操作。
保留某些列#
In [27]: tips[["sex", "total_bill", "tip"]]
Out[27]:
sex total_bill tip
0 Female 14.99 1.01
1 Male 8.34 1.66
2 Male 19.01 3.50
3 Male 21.68 3.31
4 Female 22.59 3.61
.. ... ... ...
239 Male 27.03 5.92
240 Female 25.18 2.00
241 Male 20.67 2.00
242 Male 15.82 1.75
243 Female 16.78 3.00
[244 rows x 3 columns]
删除一列#
In [28]: tips.drop("sex", axis=1)
Out[28]:
total_bill tip smoker day time size
0 14.99 1.01 No Sun Dinner 2
1 8.34 1.66 No Sun Dinner 3
2 19.01 3.50 No Sun Dinner 3
3 21.68 3.31 No Sun Dinner 2
4 22.59 3.61 No Sun Dinner 4
.. ... ... ... ... ... ...
239 27.03 5.92 No Sat Dinner 3
240 25.18 2.00 Yes Sat Dinner 2
241 20.67 2.00 Yes Sat Dinner 2
242 15.82 1.75 No Sat Dinner 2
243 16.78 3.00 No Thur Dinner 2
[244 rows x 6 columns]
重命名一列#
In [29]: tips.rename(columns={"total_bill": "total_bill_2"})
Out[29]:
total_bill_2 tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
按值排序#
在 Stata 中，排序是通过 sort 完成的。
sort sex total_bill
pandas 有一个 DataFrame.sort_values() 方法，该方法接受一个要排序的列列表。
In [30]: tips = tips.sort_values(["sex", "total_bill"])
In [31]: tips
Out[31]:
total_bill tip sex smoker day time size
67 1.07 1.00 Female Yes Sat Dinner 1
92 3.75 1.00 Female Yes Fri Dinner 2
111 5.25 1.00 Female No Sat Dinner 1
145 6.35 1.50 Female No Thur Lunch 2
135 6.51 1.25 Female No Thur Lunch 2
.. ... ... ... ... ... ... ...
182 43.35 3.50 Male Yes Sun Dinner 3
156 46.17 5.00 Male No Sun Dinner 6
59 46.27 6.73 Male No Sat Dinner 4
212 46.33 9.00 Male No Sat Dinner 4
170 48.81 10.00 Male Yes Sat Dinner 3
[244 rows x 7 columns]
字符串处理#
查找字符串的长度#
Stata 使用 strlen() 和 ustrlen() 函数分别确定 ASCII 和 Unicode 字符串的长度。
generate strlen_time = strlen(time)
generate ustrlen_time = ustrlen(time)
你可以使用 Series.str.len() 找到一个字符串的长度。在 Python 3 中，所有字符串都是 Unicode 字符串。len 包括尾随空格。使用 len 和 rstrip 来排除尾随空格。
In [32]: tips["time"].str.len()
Out[32]:
67 6
92 6
111 6
145 5
135 5
..
182 6
156 6
59 6
212 6
170 6
Name: time, Length: 244, dtype: int64
In [33]: tips["time"].str.rstrip().str.len()
Out[33]:
67 6
92 6
111 6
145 5
135 5
..
182 6
156 6
59 6
212 6
170 6
Name: time, Length: 244, dtype: int64
查找子字符串的位置#
Stata 使用 strpos() 函数确定字符串中字符的位置。该函数接受由第一个参数定义的字符串，并搜索您作为第二个参数提供的子字符串的第一个位置。
generate str_position = strpos(sex, "ale")
你可以使用 Series.str.find() 方法在一个字符串列中找到字符的位置。find 搜索子字符串的第一个位置。如果找到子字符串，该方法返回其位置。如果未找到，则返回 -1。请记住，Python 索引是从零开始的。
In [34]: tips["sex"].str.find("ale")
Out[34]:
67 3
92 3
111 3
145 3
135 3
..
182 1
156 1
59 1
212 1
170 1
Name: sex, Length: 244, dtype: int64
按位置提取子字符串#
Stata 使用 substr() 函数根据字符串的位置提取子字符串。
generate short_sex = substr(sex, 1, 1)
使用 pandas，你可以通过位置索引来从一个字符串中提取子字符串，使用 [] 符号。请记住，Python 索引是从零开始的。
In [35]: tips["sex"].str[0:1]
Out[35]:
67 F
92 F
111 F
145 F
135 F
..
182 M
156 M
59 M
212 M
170 M
Name: sex, Length: 244, dtype: object
提取第n个词#
Stata 的 word() 函数返回字符串中的第 n 个单词。第一个参数是要解析的字符串，第二个参数指定要提取的单词。
clear
input str20 string
"John Smith"
"Jane Cook"
end
generate first_name = word(name, 1)
generate last_name = word(name, -1)
在 pandas 中提取单词的最简单方法是按空格分割字符串，然后通过索引引用单词。请注意，如果您需要更强大的方法，还有更多选择。
In [36]: firstlast = pd.DataFrame({"String": ["John Smith", "Jane Cook"]})
In [37]: firstlast["First_Name"] = firstlast["String"].str.split(" ", expand=True)[0]
In [38]: firstlast["Last_Name"] = firstlast["String"].str.rsplit(" ", expand=True)[1]
In [39]: firstlast
Out[39]:
String First_Name Last_Name
0 John Smith John Smith
1 Jane Cook Jane Cook
改变大小写#
Stata 的 strupper(), strlower(), strproper(), ustrupper(), ustrlower(), 和 ustrtitle() 函数分别改变 ASCII 和 Unicode 字符串的大小写。
clear
input str20 string
"John Smith"
"Jane Cook"
end
generate upper = strupper(string)
generate lower = strlower(string)
generate title = strproper(string)
list
等效的 pandas 方法是 Series.str.upper(), Series.str.lower(), 和 Series.str.title()。
In [40]: firstlast = pd.DataFrame({"string": ["John Smith", "Jane Cook"]})
In [41]: firstlast["upper"] = firstlast["string"].str.upper()
In [42]: firstlast["lower"] = firstlast["string"].str.lower()
In [43]: firstlast["title"] = firstlast["string"].str.title()
In [44]: firstlast
Out[44]:
string upper lower title
0 John Smith JOHN SMITH john smith John Smith
1 Jane Cook JANE COOK jane cook Jane Cook
合并#
以下表格将用于合并示例：
In [45]: df1 = pd.DataFrame({"key": ["A", "B", "C", "D"], "value": np.random.randn(4)})
In [46]: df1
Out[46]:
key value
0 A 0.469112
1 B -0.282863
2 C -1.509059
3 D -1.135632
In [47]: df2 = pd.DataFrame({"key": ["B", "D", "D", "E"], "value": np.random.randn(4)})
In [48]: df2
Out[48]:
key value
0 B 1.212112
1 D -0.173215
2 D 0.119209
3 E -1.044236
在 Stata 中，要执行合并操作，一个数据集必须在内存中，另一个必须作为磁盘上的文件名引用。相比之下，Python 必须已经将两个 DataFrames 都加载到内存中。
默认情况下，Stata 执行外连接，在合并后将两个数据集中的所有观察值保留在内存中。可以通过使用 _merge 变量中创建的值，仅保留初始数据集、合并后的数据集或两者的交集中的观察值。
* First create df2 and save to disk
clear
input str1 key
B
D
D
E
end
generate value = rnormal()
save df2.dta
* Now create df1 in memory
clear
input str1 key
A
B
C
D
end
generate value = rnormal()
preserve
* Left join
merge 1:n key using df2.dta
keep if _merge == 1
* Right join
restore, preserve
merge 1:n key using df2.dta
keep if _merge == 2
* Inner join
restore, preserve
merge 1:n key using df2.dta
keep if _merge == 3
* Outer join
restore
merge 1:n key using df2.dta
pandas 的 DataFrames 有一个 merge() 方法，提供了类似的功能。数据不需要提前排序，不同的连接类型通过 how 关键字实现。
In [49]: inner_join = df1.merge(df2, on=["key"], how="inner")
In [50]: inner_join
Out[50]:
key value_x value_y
0 B -0.282863 1.212112
1 D -1.135632 -0.173215
2 D -1.135632 0.119209
In [51]: left_join = df1.merge(df2, on=["key"], how="left")
In [52]: left_join
Out[52]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
In [53]: right_join = df1.merge(df2, on=["key"], how="right")
In [54]: right_join
Out[54]:
key value_x value_y
0 B -0.282863 1.212112
1 D -1.135632 -0.173215
2 D -1.135632 0.119209
3 E NaN -1.044236
In [55]: outer_join = df1.merge(df2, on=["key"], how="outer")
In [56]: outer_join
Out[56]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E NaN -1.044236
缺失数据#
pandas 和 Stata 都有表示缺失数据的方式。
pandas 用特殊的浮点值 ``NaN``（不是一个数字）表示缺失数据。许多语义是相同的；例如，缺失数据通过数值操作传播，并且在默认情况下被聚合忽略。
In [57]: outer_join
Out[57]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E NaN -1.044236
In [58]: outer_join["value_x"] + outer_join["value_y"]
Out[58]:
0 NaN
1 0.929249
2 NaN
3 -1.308847
4 -1.016424
5 NaN
dtype: float64
In [59]: outer_join["value_x"].sum()
Out[59]: -3.5940742896293765
一个区别是缺失数据不能与其哨兵值进行比较。例如，在 Stata 中，你可以这样做来过滤缺失值。
* Keep missing values
list if value_x == .
* Keep non-missing values
list if value_x != .
在 pandas 中，Series.isna() 和 Series.notna() 可以用来过滤行。
In [60]: outer_join[outer_join["value_x"].isna()]
Out[60]:
key value_x value_y
5 E NaN -1.044236
In [61]: outer_join[outer_join["value_x"].notna()]
Out[61]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
pandas 提供了 多种处理缺失数据的方法 。以下是一些示例：
删除包含缺失值的行#
In [62]: outer_join.dropna()
Out[62]:
key value_x value_y
1 B -0.282863 1.212112
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
从前几行向前填充#
In [63]: outer_join.ffill()
Out[63]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 1.212112
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E -1.135632 -1.044236
用指定值替换缺失值#
使用均值：
In [64]: outer_join["value_x"].fillna(outer_join["value_x"].mean())
Out[64]:
0 0.469112
1 -0.282863
2 -1.509059
3 -1.135632
4 -1.135632
5 -0.718815
Name: value_x, dtype: float64
GroupBy#
聚合#
Stata 的 collapse 可以用于按一个或多个键变量分组，并对数值列进行聚合计算。
collapse (sum) total_bill tip, by(sex smoker)
pandas 提供了一个灵活的 groupby 机制，允许类似的聚合。更多细节和示例请参见 groupby 文档。
In [65]: tips_summed = tips.groupby(["sex", "smoker"])[["total_bill", "tip"]].sum()
In [66]: tips_summed
Out[66]:
total_bill tip
sex smoker
Female No 869.68 149.77
Yes 527.27 96.74
Male No 1725.75 302.00
Yes 1217.07 183.07
Transformation#
在 Stata 中，如果需要在原始数据集中使用组聚合，通常会使用 bysort 和 egen()。例如，按吸烟者组减去每个观察值的平均值。
bysort sex smoker: egen group_bill = mean(total_bill)
generate adj_total_bill = total_bill - group_bill
pandas 提供了一个 转换 机制，允许这种类型的操作在一个操作中简洁地表达。
In [67]: gb = tips.groupby("smoker")["total_bill"]
In [68]: tips["adj_total_bill"] = tips["total_bill"] - gb.transform("mean")
In [69]: tips
Out[69]:
total_bill tip sex smoker day time size adj_total_bill
67 1.07 1.00 Female Yes Sat Dinner 1 -17.686344
92 3.75 1.00 Female Yes Fri Dinner 2 -15.006344
111 5.25 1.00 Female No Sat Dinner 1 -11.938278
145 6.35 1.50 Female No Thur Lunch 2 -10.838278
135 6.51 1.25 Female No Thur Lunch 2 -10.678278
.. ... ... ... ... ... ... ... ...
182 43.35 3.50 Male Yes Sun Dinner 3 24.593656
156 46.17 5.00 Male No Sun Dinner 6 28.981722
59 46.27 6.73 Male No Sat Dinner 4 29.081722
212 46.33 9.00 Male No Sat Dinner 4 29.141722
170 48.81 10.00 Male Yes Sat Dinner 3 30.053656
[244 rows x 8 columns]
按组处理#
除了聚合之外，pandas groupby 可以用来复制 Stata 中的大多数其他 bysort 处理。例如，以下示例按性别/吸烟者组列出当前排序顺序中的第一个观察值。
bysort sex smoker: list if _n == 1
在 pandas 中，这可以写成：
In [70]: tips.groupby(["sex", "smoker"]).first()
Out[70]:
total_bill tip day time size adj_total_bill
sex smoker
Female No 5.25 1.00 Sat Dinner 1 -11.938278
Yes 1.07 1.00 Sat Dinner 1 -17.686344
Male No 5.51 2.00 Thur Lunch 2 -11.678278
Yes 5.25 5.15 Sun Dinner 2 -13.506344
其他考虑事项#
磁盘 vs 内存#
pandas 和 Stata 都只能在内存中操作。这意味着能够加载到 pandas 中的数据大小受限于您的机器内存。如果需要核心外处理，一种可能性是 dask.dataframe 库，它为磁盘上的 DataFrame 提供了 pandas 功能的一个子集。