spark源码阅读

spark源码解析–Shuffle输出追踪者–MapOutputTracker

Shuffle输出追踪者–MapOutputTracker 这个组件作为shuffle的一个辅助组 […]

spark源码阅读–shuffle读过程源码分析

shuffle读过程源码分析上一篇中，我们分析了shuffle在map阶段的写过程。简单回顾一下，主要是将S […]

spark内存管理器–MemoryManager源码解析

MemoryManager内存管理器内存管理器可以说是spark内核中最重要的基础模块之一，shuffle时 […]

spark存储模块之内存存储–MemeoryStore

MemeoryStore 上一节，我们对BlockManager的主要写入方法做了一个整理，知道了BlockM […]

spark任务在executor端的运行过程分析

CoarseGrainedExecutorBackend 上一篇，我们主要分析了一次作业的提交过程，严格说是在 […]

spark任务分配—-TaskSchedulerImpl源码解析

TaskSchedulerImpl 上一篇讲到DAGScheduler根据shuffle依赖对作业的整个计算链 […]