PySpark - 序列化器

序列化用於在 Apache Spark 上進行效能調整。透過網路傳送、寫入磁碟或保留在記憶體中的所有資料都應序列化。序列化在代價高昂的操作中發揮著重要作用。

PySpark 支援自定義序列化器以進行效能調整。PySpark 支援以下兩個序列化器 −

MarshalSerializer

使用 Python 的 Marshal 序列化器序列化物件。此序列化器比 PickleSerializer 快，但支援的資料型別更少。

class pyspark.MarshalSerializer

PickleSerializer

使用 Python 的 Pickle 序列化器序列化物件。此序列化器支援幾乎任何 Python 物件，但可能不如更專業的序列化器快。

class pyspark.PickleSerializer

讓我們來看一個 PySpark 序列化的示例。在此，我們使用 MarshalSerializer 序列化資料。

--------------------------------------serializing.py-------------------------------------
from pyspark.context import SparkContext
from pyspark.serializers import MarshalSerializer
sc = SparkContext("local", "serialization app", serializer = MarshalSerializer())
print(sc.parallelize(list(range(1000))).map(lambda x: 2 * x).take(10))
sc.stop()
--------------------------------------serializing.py-------------------------------------

命令 − 命令如下 −

$SPARK_HOME/bin/spark-submit serializing.py

輸出 − 以上命令的輸出為 −

[0, 2, 4, 6, 8, 10, 12, 14, 16, 18]