内存配置项(Spark)

内存配置项(Spark)

Content #

Executor JVM Heap 的划分,由图中的 3 个配置项来决定:

其中 spark.executor.memory 是绝对值,它指定了 Executor 进程的 JVM Heap 总大小。另外两个配置项,spark.memory.fraction 和 spark.memory.storageFraction 都是比例值,它们指定了划定不同区域的空间占比。

spark.memory.fraction 用于标记 Spark 处理分布式数据集的内存总大小,这部分内存包括 Execution Memory 和 Storage Memory 两部分,也就是图中绿色的矩形区域。(M – 300)* (1 – mf)刚好就是 User Memory 的区域大小,也就是图中蓝色区域的部分。

Storage Memory 的初始大小。

Viewpoints #

From #

08 | 内存管理:Spark如何使用内存?