Execution Memory与Storage Memory的抢占规则

Execution Memory与Storage Memory的抢占规则

Content #

两者可以互相抢占,抢占逻辑有如下 3 条:

  1. 如果对方的内存空间有空闲,双方可以互相抢占;

  2. 对于 Storage Memory 抢占的 Execution Memory 部分,当分布式任务有计算需要时,Storage Memory 必须立即归还抢占的内存,涉及的缓存数据要么落盘、要么清除;

  3. 对于 Execution Memory 抢占的 Storage Memory 部分,即便 Storage Memory 有收回内存的需要,也必须要等到分布式任务执行完毕才能释放。

Viewpoints #

From #

08 | 内存管理:Spark如何使用内存?