数据结构
网络
关系数据库管理系统
操作系统
Java
MS Excel
iOS
HTML
CSS
Android
Python
C 编程
C++
C#
MongoDB
MySQL
Javascript
PHP
物理学
化学
生物学
数学
英语
经济学
心理学
社会学
时尚研究
法律研究如何使用 Python 中的 Pandas 根据特定列合并两个 csv 文件？
CSV（逗号分隔值）文件广泛用于以简单格式存储和交换数据。在许多数据处理任务中，需要根据特定列合并两个或多个 CSV 文件。幸运的是，可以使用 Python 中的 Pandas 库轻松实现这一点。
在本文中，我们将学习如何使用 Python 中的 Pandas 根据特定列合并两个 CSV 文件。
什么是 Pandas 库？
Pandas 是一个用于 Python 中数据操作和分析的开源库。它提供用于处理结构化数据的工具，例如表格数据、时间序列数据和多维数据，以及高性能数据结构。Pandas 广泛应用于金融、数据科学、机器学习以及其他需要数据操作的领域。
在 Python 中根据特定列合并两个 CSV 文件的步骤
以下是使用 Pandas 库在 Python 中根据其特定列合并两个 CSV 文件的完整步骤：
步骤 1：导入 Pandas 库
合并两个 CSV 文件的第一步是导入 pandas 库。Pandas 是一个功能强大的 Python 数据分析库。它提供了数据结构，可以有效地存储和处理大型数据集。要使用 Pandas，我们首先需要在 Python 程序中导入它。我们可以使用以下命令：
import pandas as pd
步骤 2：读取 CSV 文件
我们的下一步是读取我们要合并的两个 CSV 文件。我们可以使用 Pandas 的 read_csv() 函数将 CSV 文件读取到 Pandas DataFrame 中。我们需要将 CSV 文件的文件路径或 URL 作为参数提供给 read_csv() 函数。例如：
df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')
步骤 3：合并 CSV 文件
将 CSV 文件读取到 Pandas DataFrame 后，现在是时候使用 merge() 函数根据特定列合并它们了。merge() 函数将两个 DataFrame 作为输入，并根据公共列合并它们。以下是基本语法：
merged_df = pd.merge(df1, df2, on='column_name')
在此示例中，merged_df 是包含来自 df1 和 df2 的合并数据的新 DataFrame。on 参数指定两个 DataFrame 合并所依据的公共列的名称。
例如，假设我们有两个 CSV 文件 sales.csv 和 customers.csv。这两个文件都包含一个名为 CustomerID 的列。我们希望根据 CustomerID 列合并这两个文件。以下是操作方法：
sales = pd.read_csv('sales.csv')
customers = pd.read_csv('customers.csv')
merged_df = pd.merge(sales, customers, on='CustomerID')
步骤 4：处理缺失值（如果有）
根据特定列合并两个 CSV 文件时，合并后的 DataFrame 中可能存在缺失值。如果其中一个 CSV 文件的对应列中没有匹配值，则可能会出现这些缺失值。
要处理缺失值，我们可以使用 Pandas 的 fillna() 函数用默认值或计算值替换它们。例如，我们可以使用以下代码将缺失值替换为字符串“Unknown”：
merged_df.fillna('Unknown', inplace=True)
在此示例中，我们使用了 fillna() 函数将合并后的 DataFrame 中的缺失值替换为字符串“Unknown”。我们还将 inplace 参数指定为 True，这意味着将修改原始 DataFrame 而不是创建一个新的 DataFrame。
示例 1：使用 Merge() 函数
在此示例中，我们将使用 Pandas 的 merge() 函数根据特定列合并两个 CSV 文件。
CSV Files
假设我们有两个 CSV 文件：employees.csv 和 departments.csv。employees.csv 文件包含以下数据：
| 员工 ID | 姓名 | 部门 ID | 工资 |
|---|---|---|---|
| 1 | 约翰 | 1 | 50000 |
| 2 | 莎拉 | 2 | 60000 |
| 3 | 大卫 | 1 | 55000 |
| 4 | 亚历克斯 | 3 | 65000 |
| 5 | 艾米丽 | 2 | 55000 |
departments.csv 文件包含以下数据：
| 部门 ID | 部门名称 |
|---|---|
| 1 | IT |
| 2 | 销售 |
| 3 | 市场 |
| 4 | 人力资源 |
示例
import pandas as pd
# Load CSV files
employees = pd.read_csv('employees.csv')
departments = pd.read_csv('departments.csv')
# Merge dataframes based on DepartmentID column
merged_df = pd.merge(employees, departments, on='DepartmentID')
# Print merged dataframe
print(merged_df.head())
# Save merged dataframe to a new CSV file
merged_df.to_csv('merged_employees_departments.csv', index=False)
输出
EmployeeID Name DepartmentID Salary DepartmentName 0 1 John 1 50000 IT 1 3 David 1 55000 IT 2 2 Sarah 2 60000 Sales 3 5 Emily 2 55000 Sales 4 4 Alex 3 65000 Marketing
示例 2：使用 Join() 函数
在此示例中，我们将使用 Pandas 的 join() 方法根据特定列合并两个 CSV 文件。
CSV Files
假设我们有两个 CSV 文件：orders.csv 和 customers.csv。orders.csv 文件包含以下数据：
| 订单 ID | 客户 ID | 订单日期 | 总金额 |
|---|---|---|---|
| 1 | 1 | 2022-05-01 | 100.0 |
| 2 | 3 | 2022-05-02 | 150.0 |
| 3 | 2 | 2022-05-03 | 200.0 |
| 4 | 1 | 2022-05-04 | 75.0 |
| 5 | 4 | 2022-05-05 | 120.0 |
customers.csv 文件包含以下数据：
| 客户 ID | 客户姓名 | 电子邮件 |
|---|---|---|
| 1 | 约翰 | [email protected] |
| 2 | 莎拉 | [email protected] |
| 3 | 大卫 | [email protected] |
| 4 | 艾米丽 | [email protected] |
示例
import pandas as pd
# Load CSV files
orders = pd.read_csv('orders.csv')
customers = pd.read_csv('customers.csv')
# Join dataframes based on CustomerID column
joined_df = orders.set_index('CustomerID').join(customers.set_index('CustomerID'))
# Print joined dataframe
print(joined_df.head())
# Save joined dataframe to a new CSV file
joined_df.to_csv('joined_orders_customers.csv')
输出
OrderID OrderDate TotalAmount CustomerName Email CustomerID 1 1 2022-05-01 100.0 John [email protected] 1 4 2022-05-04 75.0 John [email protected] 2 3 2022-05-03 200.0 Sarah [email protected] 3 2 2022-05-02 150.0 David [email protected] 4 5 2022-05-05 120.0 Emily [email protected]
在本例中，我们使用 Pandas 的 merge() 函数根据“id”列合并了两个 CSV 文件。合并两个 CSV 文件的结果 DataFrame 包括“id”列以及“name_x”、“email_x”、“name_y”和“email_y”列。
请注意，合并后的 DataFrame 中的“name_y”和“email_y”部分存在缺失值，这与第二个 CSV 记录中没有匹配值的行相关。如前一步所示，可以使用 Pandas 的 fillna() 和 dropna() 函数来处理这些缺失值。
结论
根据特定列合并两个 CSV 文件是一项常见的数据处理任务，可以使用 Python 中的 Pandas 库轻松实现。在本文中，我们学习了如何使用 Pandas 的 merge() 函数合并两个 CSV 文件。我们还讨论了如何处理缺失值以及如何将合并后的 DataFrame 保存到新的 CSV 文件中。
5K+ 阅读量
