c_t_f_的博客

原创 自己对Spark的application job stage partition block的一些概念见解

application是包括driver 和excutor的所有程序 是以提交的时候为划分标准的 job是以action算子为维度的   我要控制台上产出三个结果 count collect foreach 就是三个job stage 一组并行的task 是map reduce的类似划分阶段  partition不能跨越文件 也就是说 一个文件可以两个partition可以2个task并行计算...