In [1]: import pandas as pd
-
Air quality Nitrate data
在本教程中，使用了关于 \(NO_2\) 的空气质量数据，这些数据由 OpenAQ 提供，并通过 py-openaq 包下载。
To raw dataair_quality_no2_long.csv数据集提供了巴黎的 FR04014 站、安特卫普的 BETR801 站和伦敦的 London Westminster 站的 \(NO_2\) 值。In [2]: air_quality_no2 = pd.read_csv("data/air_quality_no2_long.csv", ...: parse_dates=True) ...: In [3]: air_quality_no2 = air_quality_no2[["date.utc", "location", ...: "parameter", "value"]] ...: In [4]: air_quality_no2.head() Out[4]: date.utc location parameter value 0 2019-06-21 00:00:00+00:00 FR04014 no2 20.0 1 2019-06-20 23:00:00+00:00 FR04014 no2 21.8 2 2019-06-20 22:00:00+00:00 FR04014 no2 26.5 3 2019-06-20 21:00:00+00:00 FR04014 no2 24.9 4 2019-06-20 20:00:00+00:00 FR04014 no2 21.4
-
Air quality Particulate matter data
在本教程中，使用了关于小于2.5微米的颗粒物的空气质量数据，这些数据由 OpenAQ 提供，并通过 py-openaq 包下载。
To raw dataair_quality_pm25_long.csv数据集提供了测量站 FR04014, BETR801 和 London Westminster 分别在巴黎、安特卫普和伦敦的 \(PM_{25}\) 值。In [5]: air_quality_pm25 = pd.read_csv("data/air_quality_pm25_long.csv", ...: parse_dates=True) ...: In [6]: air_quality_pm25 = air_quality_pm25[["date.utc", "location", ...: "parameter", "value"]] ...: In [7]: air_quality_pm25.head() Out[7]: date.utc location parameter value 0 2019-06-18 06:00:00+00:00 BETR801 pm25 18.0 1 2019-06-17 08:00:00+00:00 BETR801 pm25 6.5 2 2019-06-17 07:00:00+00:00 BETR801 pm25 18.5 3 2019-06-17 06:00:00+00:00 BETR801 pm25 16.0 4 2019-06-17 05:00:00+00:00 BETR801 pm25 7.5
如何合并来自多个表的数据#
连接对象#
我想将 \(NO_2\) 和 \(PM_{25}\) 的测量结果，两个结构相似的表格，合并到一个表格中。
In [8]: air_quality = pd.concat([air_quality_pm25, air_quality_no2], axis=0) In [9]: air_quality.head() Out[9]: date.utc location parameter value 0 2019-06-18 06:00:00+00:00 BETR801 pm25 18.0 1 2019-06-17 08:00:00+00:00 BETR801 pm25 6.5 2 2019-06-17 07:00:00+00:00 BETR801 pm25 18.5 3 2019-06-17 06:00:00+00:00 BETR801 pm25 16.0 4 2019-06-17 05:00:00+00:00 BETR801 pm25 7.5
concat()函数沿着其中一个轴（行或列）执行多个表的连接操作。
默认情况下，连接是沿着轴 0 进行的，因此生成的表组合了输入表的行。让我们检查原始表和连接表的形状以验证操作：
In [10]: print('Shape of the ``air_quality_pm25`` table: ', air_quality_pm25.shape)
Shape of the ``air_quality_pm25`` table: (1110, 4)
In [11]: print('Shape of the ``air_quality_no2`` table: ', air_quality_no2.shape)
Shape of the ``air_quality_no2`` table: (2068, 4)
In [12]: print('Shape of the resulting ``air_quality`` table: ', air_quality.shape)
Shape of the resulting ``air_quality`` table: (3178, 4)
因此，生成的表格有 3178 = 1110 + 2068 行。
备注
axis 参数将在许多可以**沿轴应用**的 pandas 方法中返回。一个 DataFrame 有两个对应的轴：第一个沿垂直方向向下跨越行（axis 0），第二个沿水平方向跨越列（axis 1）。大多数操作（如连接或汇总统计）默认情况下是跨行（axis 0）的，但也可以跨列应用。
按日期时间信息对表格进行排序也说明了两个表格的结合，其中 parameter 列定义了表格的来源（no2 来自 air_quality_no2 表或 pm25 来自 air_quality_pm25 表）：
In [13]: air_quality = air_quality.sort_values("date.utc")
In [14]: air_quality.head()
Out[14]:
date.utc location parameter value
2067 2019-05-07 01:00:00+00:00 London Westminster no2 23.0
1003 2019-05-07 01:00:00+00:00 FR04014 no2 25.0
100 2019-05-07 01:00:00+00:00 BETR801 pm25 12.5
1098 2019-05-07 01:00:00+00:00 BETR801 no2 50.5
1109 2019-05-07 01:00:00+00:00 London Westminster pm25 8.0
在这个具体的例子中，数据提供的 parameter 列确保每个原始表都可以被识别。情况并非总是如此。 concat 函数通过 keys 参数提供了一个方便的解决方案，添加了一个额外的（分层的）行索引。例如：
In [15]: air_quality_ = pd.concat([air_quality_pm25, air_quality_no2], keys=["PM25", "NO2"])
In [16]: air_quality_.head()
Out[16]:
date.utc location parameter value
PM25 0 2019-06-18 06:00:00+00:00 BETR801 pm25 18.0
1 2019-06-17 08:00:00+00:00 BETR801 pm25 6.5
2 2019-06-17 07:00:00+00:00 BETR801 pm25 18.5
3 2019-06-17 06:00:00+00:00 BETR801 pm25 16.0
4 2019-06-17 05:00:00+00:00 BETR801 pm25 7.5
备注
在这些教程中没有提到同时存在多个行/列索引的情况。分层索引 或 MultiIndex 是分析高维数据的先进且强大的 pandas 功能。
多重索引超出了本 pandas 介绍的范围。目前，请记住 reset_index 函数可以用来将索引的任何级别转换为列，例如 air_quality.reset_index(level=0)
欢迎在用户指南的 高级索引 部分深入了解多索引的世界。
更多关于表格连接（按行和列）的选项以及如何使用 concat 定义逻辑（联合或交集）的其他轴索引在 对象连接 部分提供。
使用公共标识符连接表#
将由站点元数据表提供的站点坐标添加到测量表中相应的行中。
警告
空气质量测量站坐标存储在一个数据文件
air_quality_stations.csv中，该文件使用 py-openaq 包下载。In [17]: stations_coord = pd.read_csv("data/air_quality_stations.csv") In [18]: stations_coord.head() Out[18]: location coordinates.latitude coordinates.longitude 0 BELAL01 51.23619 4.38522 1 BELHB23 51.17030 4.34100 2 BELLD01 51.10998 5.00486 3 BELLD02 51.12038 5.02155 4 BELR833 51.32766 4.36226
备注
本示例中使用的站点（FR04014、BETR801 和 London Westminster）只是元数据表中列出的三个条目。我们只想将这三个站点的坐标添加到测量表中，每个坐标对应
air_quality表中的相应行。In [19]: air_quality.head() Out[19]: date.utc location parameter value 2067 2019-05-07 01:00:00+00:00 London Westminster no2 23.0 1003 2019-05-07 01:00:00+00:00 FR04014 no2 25.0 100 2019-05-07 01:00:00+00:00 BETR801 pm25 12.5 1098 2019-05-07 01:00:00+00:00 BETR801 no2 50.5 1109 2019-05-07 01:00:00+00:00 London Westminster pm25 8.0
In [20]: air_quality = pd.merge(air_quality, stations_coord, how="left", on="location") In [21]: air_quality.head() Out[21]: date.utc location parameter value coordinates.latitude coordinates.longitude 0 2019-05-07 01:00:00+00:00 London Westminster no2 23.0 51.49467 -0.13193 1 2019-05-07 01:00:00+00:00 FR04014 no2 25.0 48.83724 2.39390 2 2019-05-07 01:00:00+00:00 FR04014 no2 25.0 48.83722 2.39390 3 2019-05-07 01:00:00+00:00 BETR801 pm25 12.5 51.20966 4.43182 4 2019-05-07 01:00:00+00:00 BETR801 no2 50.5 51.20966 4.43182
使用
merge()函数，对于air_quality表中的每一行，从air_quality_stations_coord表中添加相应的坐标。两个表都有共同的列location，它被用作合并信息的键。通过选择left连接，只有air_quality``（左）表中可用的位置，即 FR04014、BETR801 和 London Westminster，最终出现在结果表中。``merge函数支持多种连接选项，类似于数据库风格的操 作。
将参数的完整描述和名称，由参数元数据表提供，添加到测量表中。
警告
空气质量参数元数据存储在一个数据文件
air_quality_parameters.csv中，通过 py-openaq 包下载。In [22]: air_quality_parameters = pd.read_csv("data/air_quality_parameters.csv") In [23]: air_quality_parameters.head() Out[23]: id description name 0 bc Black Carbon BC 1 co Carbon Monoxide CO 2 no2 Nitrogen Dioxide NO2 3 o3 Ozone O3 4 pm10 Particulate matter less than 10 micrometers in... PM10
In [24]: air_quality = pd.merge(air_quality, air_quality_parameters, ....: how='left', left_on='parameter', right_on='id') ....: In [25]: air_quality.head() Out[25]: date.utc location parameter value ... coordinates.longitude id description name 0 2019-05-07 01:00:00+00:00 London Westminster no2 23.0 ... -0.13193 no2 Nitrogen Dioxide NO2 1 2019-05-07 01:00:00+00:00 FR04014 no2 25.0 ... 2.39390 no2 Nitrogen Dioxide NO2 2 2019-05-07 01:00:00+00:00 FR04014 no2 25.0 ... 2.39390 no2 Nitrogen Dioxide NO2 3 2019-05-07 01:00:00+00:00 BETR801 pm25 12.5 ... 4.43182 pm25 Particulate matter less than 2.5 micrometers i... PM2.5 4 2019-05-07 01:00:00+00:00 BETR801 no2 50.5 ... 4.43182 no2 Nitrogen Dioxide NO2 [5 rows x 9 columns]
与之前的示例相比，这里没有共同的列名。然而，
air_quality表中的parameter列和air_quality_parameters_name表中的id列都以共同格式提供了测量变量。这里使用了left_on和right_on参数（而不是仅使用on）来建立两个表之间的链接。
REMEMBER
可以使用
concat函数按列或按行连接多个表格。对于类似数据库的表格合并/连接，请使用
merge函数。
有关各种组合数据表的 设施的完整描述，请参阅用户指南。