PySpark 的 randomSplit() 和 sample() 方法

---

PySpark 是一款用于大数据处理和分析的开源框架，提供了强大的方法来处理大型数据集。在处理海量数据时，一次性处理所有数据通常是不切实际的。数据采样，即选择数据的代表性子集，对于高效分析至关重要。在 PySpark 中，两种常用的数据采样方法是 randomSplit() 和 sample()。这些方法允许我们出于不同目的提取数据集的子集，例如测试模型或探索数据模式。

在本文中，我们将探讨 PySpark 中的 randomSplit() 和 sample() 方法，了解它们之间的区别，并学习如何有效地使用它们进行数据采样。无论您是 PySpark 新手还是有经验的用户，了解这些方法都将增强您处理大型数据集并获得宝贵见解的能力。因此，让我们深入了解 PySpark 的 randomSplit() 和 sample() 方法，并发现数据采样在大数据分析中的强大功能。

PySpark randomSplit() 和 sample() 方法简介

数据采样的重要性

数据采样在许多数据分析任务中都至关重要。通过采样，我们可以使用数据集的可管理子集，同时仍然保留整个数据集的基本特征。通过采样，我们可以显著降低计算开销，加速分析，并深入了解底层数据分布。

PySpark randomSplit() 方法

PySpark 中的 randomSplit() 方法允许我们根据提供的权重将 DataFrame 或 RDD（弹性分布式数据集）拆分为多个部分。每个权重表示应分配给相应拆分的数据比例。

以下是 randomSplit() 的语法：

randomSplit(weights, seed=None)

• weights：一组权重，指示每个拆分的相对大小。权重总和应为 1.0。

• seed（可选）：用于可重复性的随机种子。

让我们深入了解一个示例，以了解 randomSplit() 在实践中的工作原理。

from pyspark.sql import SparkSession

# Create a SparkSession
spark = SparkSession.builder.getOrCreate()

# Load a DataFrame from a CSV file
data = spark.read.csv('data.csv', header=True, inferSchema=True)

# Split the data into 70% and 30% randomly
train_data, test_data = data.randomSplit([0.7, 0.3], seed=42)

在上面的示例中，我们首先创建了一个 SparkSession，它是 PySpark 的入口点。然后，我们使用 spark.read.csv() 方法从 CSV 文件加载 DataFrame。之后，我们应用 randomSplit() 方法将数据拆分为两部分：70% 用于训练 (train_data) 和 30% 用于测试 (test_data)。指定种子可确保拆分在多次运行中保持一致，这对于可重复性至关重要。

PySpark sample() 方法

PySpark 中的 sample() 方法用于从 DataFrame 或 RDD 中提取随机样本。与 randomSplit()（将数据划分为固定大小的拆分）不同，sample() 允许我们直接将样本大小指定为分数。

以下是 sample() 的语法：

sample(withReplacement, fraction, seed=None)

• withReplacement：一个布尔参数，指示是否应有放回或无放回地进行采样。如果设置为 True，则采样可以多次选择相同的元素。

• fraction：将包含在样本中的数据的百分比。分数应在 0 到 1 的范围内，表示总数据的百分比。

• seed（可选）：用于可重复性的随机种子。

让我们考虑一个示例，以了解 sample() 在实践中的工作原理。

from pyspark.sql import SparkSession

# Create a SparkSession
spark = SparkSession.builder.getOrCreate()

# Load a DataFrame from a CSV file
data = spark.read.csv('data.csv', header=True, inferSchema=True)

# Extract a 10% sample from the data
sample_data = data.sample(withReplacement=False, fraction=0.1, seed=42)

在上面的示例中，我们首先创建了一个 SparkSession 并从 CSV 文件加载 DataFrame。然后，我们应用 sample() 方法从数据中提取 10% 的随机样本。通过将 withReplacement 设置为 False，我们确保每行在样本中最多被选择一次。指定的种子提供可重复性，使我们能够在多次运行中获得相同的样本。

randomSplit() 和 sample() 之间的区别

尽管 randomSplit() 和 sample() 都用于 PySpark 中的数据采样，但它们的功能和用例不同。

• randomSplit() 主要用于根据提供的权重将数据划分为固定大小的拆分。当您希望将数据拆分为不同的部分（例如训练-测试拆分或为并行处理对数据集进行分区）时，此方法很有用。它确保根据指定的权重维护每个拆分中的数据比例。

• sample() 用于根据指定的比例从 DataFrame 或 RDD 中提取随机样本。与 randomSplit() 不同，sample() 提供了更大的灵活性，因为它允许您直接控制样本大小。此方法适用于探索性数据分析、创建用于原型设计或调试的数据子集等任务。

数据采样的优势

• 资源效率：通过最大限度地减少要处理的数据量，采样可以更有效地利用计算资源。这在处理占用大量内存或需要大量处理能力的大型数据集时至关重要。

• 速度和可扩展性：采样可以加快数据处理和分析速度，因为使用较小的样本可以减少所需的计算时间。它还通过允许分析数据集的一部分来增强可扩展性，从而可以处理更大的数据集。

• 探索性分析：采样通常用于探索性数据分析，以获得初步见解并了解数据的特征。通过检查较小的样本，分析师可以识别模式、趋势和异常值，这可以为后续分析提供信息。

• 原型设计和调试：采样在模型开发的早期阶段很有用，它允许数据科学家在数据集的较小子集上对算法进行原型设计和测试。它还有助于在将模型应用于整个数据集之前进行调试和识别问题。

结论

总之，PySpark 的 randomSplit() 和 sample() 方法为数据采样提供了有价值的功能。randomSplit() 非常适合将数据划分为固定大小的拆分，而 sample() 允许根据指定的比例提取随机子集。这些方法通过减少计算开销并保留基本数据特征来实现高效分析。总的来说，它们在以简化方式从大型数据集中提取见解方面发挥着至关重要的作用。