- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark Stage 的划分
想了解Shuffle 的处理流程，首先要了解Spark是如何划分Stage的。下面，让我们看看 Spark 是如何根据RDD 的依赖关系来划分Stage。 首先 我们必须要理解 Spark 中RDD的依赖关系. 1.Rdd的依赖关系: Rdd的依赖有两种: 1.宽依赖(Wide Dependency)
2016-07-15 17:23:09
6184
1
原创 Spark Shuffle 详解（1）
版本：1.6.2 不管是hadoop中map/reduce还是spark中各种算子，shuffle过程都是其中核心过程，shuffle的设计是否高效，基本确定了整个计算过程是否高效。 设计难点在于shuffle过程涉及到大数据的IO操作（包括本地临时文件IO和网络IO），以及可能存在的cpu密集型排序计算操作。 在spark1.6.2版本，spark针对大型数据有三种shuffle 机制，
2016-07-15 11:46:54
2689
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人