
- PySpark 教程
- PySpark - 主页
- PySpark - 简介
- PySpark - 环境设置
- PySpark - SparkContext
- PySpark - RDD
- PySpark - 广播 & 累加器
- PySpark - SparkConf
- PySpark - SparkFiles
- PySpark - 存储级别
- PySpark - MLlib
- PySpark - 序列化器
- PySpark 有用资源
- PySpark - 快速指南
- PySpark - 有用资源
- PySpark - 讨论
PySpark - 序列化器
序列化用于在 Apache Spark 上进行性能调整。通过网络发送、写入磁盘或保留在内存中的所有数据都应序列化。序列化在代价高昂的操作中发挥着重要作用。
PySpark 支持自定义序列化器以进行性能调整。PySpark 支持以下两个序列化器 −
MarshalSerializer
使用 Python 的 Marshal 序列化器序列化对象。此序列化器比 PickleSerializer 快,但支持的数据类型更少。
class pyspark.MarshalSerializer
PickleSerializer
使用 Python 的 Pickle 序列化器序列化对象。此序列化器支持几乎任何 Python 对象,但可能不如更专业的序列化器快。
class pyspark.PickleSerializer
让我们来看一个 PySpark 序列化的示例。在此,我们使用 MarshalSerializer 序列化数据。
--------------------------------------serializing.py------------------------------------- from pyspark.context import SparkContext from pyspark.serializers import MarshalSerializer sc = SparkContext("local", "serialization app", serializer = MarshalSerializer()) print(sc.parallelize(list(range(1000))).map(lambda x: 2 * x).take(10)) sc.stop() --------------------------------------serializing.py-------------------------------------
命令 − 命令如下 −
$SPARK_HOME/bin/spark-submit serializing.py
输出 − 以上命令的输出为 −
[0, 2, 4, 6, 8, 10, 12, 14, 16, 18]
广告