如何将字典列表转换为 PySpark DataFrame？

---

Python 已经成为世界上最流行的编程语言之一，以其简洁性、多功能性和庞大的库和框架生态系统而闻名。除了 Python 之外，还有 PySpark，这是一个强大的大数据处理工具，它利用 Apache Spark 的分布式计算能力。通过将 Python 的易用性与 Spark 的可扩展性相结合，开发人员可以高效地处理大规模数据分析和处理任务。

在本教程中，我们将探讨将字典列表转换为 PySpark DataFrame 的过程，DataFrame 是 PySpark 中一种基本的数据结构，它可以高效地进行数据操作和分析。在本文的下一节中，我们将逐步详细介绍此转换过程，并借助 PySpark 强大的数据处理功能。

如何将字典列表转换为 PySpark DataFrame？

PySpark SQL 提供了一个编程接口，用于处理 Spark 中的结构化和半结构化数据，使我们能够高效地执行各种数据操作和分析任务。构建在 Spark 分布式计算引擎之上的 DataFrame API 提供了一个高级抽象，类似于使用关系表。

为了说明将字典列表转换为 PySpark DataFrame 的过程，让我们使用示例数据来看一个实际示例。假设我们有以下字典列表，表示有关员工的信息

# sample list of dictionaries
employee_data = [
    {"name": "Prince", "age": 30, "department": "Engineering"},
    {"name": "Mukul", "age": 35, "department": "Sales"},
    {"name": "Durgesh", "age": 28, "department": "Marketing"},
    {"name": "Doku", "age": 32, "department": "Finance"}
]

要将此字典列表转换为 PySpark DataFrame，我们需要遵循一系列步骤。让我们逐步完成每个步骤

步骤 1：导入必要的模块并创建 SparkSession。

首先，我们需要创建一个 SparkSession，它是任何 Spark 功能的入口点。SparkSession 提供了一种方便的方式来与 Spark 交互，并使我们能够配置应用程序的各个方面。它基本上为我们提供了基础，我们可以利用 Spark 的强大功能在其之上构建数据处理和分析任务。

# create a SparkSession
spark = SparkSession.builder.getOrCreate()

步骤 2：从字典列表创建 PySpark RDD（弹性分布式数据集）。

现在我们已经创建了一个 SparkSession，下一步是将我们的字典列表转换为 RDD。RDD 代表弹性分布式数据集，它充当分布在集群中的元素的容错集合，允许对数据进行并行处理。为此，我们可以使用以下代码片段。

# Create a PySpark RDD
rdd = spark.sparkContext.parallelize(employee_data)

步骤 3：定义 DataFrame 的模式。模式指定数据类型和列名。

接下来，我们需要通过指定列名及其对应的数据类型来定义 DataFrame 的结构。此步骤确保 DataFrame 具有清晰且定义良好的结构。在我们的示例中，我们将建立一个包含三列的模式：“name”、“age”和“department”。通过显式定义模式，我们为 DataFrame 建立了一个一致的结构，从而可以无缝地进行数据操作和分析。

考虑以下定义 DataFrame 模式代码。

from pyspark.sql.types import StructType, StructField, StringType, IntegerType

# Define the schema for the Data Frame
schema = StructType([
    StructField("name", StringType(), nullable=False),
    StructField("age", IntegerType(), nullable=False),
    StructField("department", StringType(), nullable=False)
])

步骤 4：将模式应用于 RDD 并创建 DataFrame。

最后，我们需要将定义的模式应用于 RDD，使 PySpark 能够解释数据并生成具有所需结构的 DataFrame。这是通过使用 createDataFrame() 方法实现的，该方法将 RDD 和模式作为参数并返回 PySpark DataFrame。通过应用模式，我们将原始数据转换为结构化的表格格式，可以方便地进行查询和分析。

# Apply the schema to the RDD and create a Data Frame
df = spark.createDataFrame(rdd, schema)

# Print data frame
df.show()

输出

如果我们使用 show() 方法显示 DataFrame 的内容，我们将看到以下输出

+-------+---+------------+
|   name|age|  department|
+-------+---+------------+
| Prince| 30| Engineering|
|  Mukul| 35|       Sales|
|Durgesh| 28|   Marketing|
|   Doku| 32|     Finance|
+-------+---+------------+

从上面的输出可以看到，生成的 DataFrame 展示了转换后的数据，其中列代表“name”、“age”和“department”，以及从 employee_data 字典列表中导出的各自值。每一行对应于员工的信息，包括他们的姓名、年龄和部门。

通过成功完成这些步骤，我们已经有效地将字典列表转换为了 PySpark DataFrame。此转换现在使我们能够对 DataFrame 执行各种操作，例如查询、过滤和聚合数据。

结论

在本教程中，我们探讨了将字典列表转换为 PySpark DataFrame 的过程。通过利用 PySpark DataFrame API 的强大功能，我们能够将原始数据转换为结构化的表格格式，可以轻松地进行查询和分析。我们采用了一种循序渐进的方法，从创建 SparkSession 和导入必要的模块开始，定义字典列表，将其转换为 PySpark RDD，为 DataFrame 指定模式，将模式应用于 RDD，最后创建 DataFrame。在此过程中，我们提供了代码示例和输出以说明每个步骤。