- 博客(2)
- 收藏
- 关注
原创 Spark-Streaming的基本原理以及预写日志机制和checkpoint
首先我们要先了解什么是Spark-Streaming: Spark Streaming是Spark Core API的一种扩展,它可以用于进行大规模、高吞吐量、容错的实时数据流的处理。它支持从很多种数据源中读取数据,比如Kafka、Flume、Twitter、ZeroMQ、Kinesis或者是TCP Socket。并且能够使用类似高阶函数的复杂算法来进行数据处理,比如map、reduce、joi...
2017-08-30 10:01:23 2329
原创 Spark内核架构原理和任务流程--图文详解
Spark任务简介: Spark-submit—>SparkSubmit–>main–>submit–>doRunMain–>RunMain–>通过反射创建我们编写的主类的实例对象,调用main方法–>开始执行我们编写的代码–>初始化SparkContext对象–>创建初始的RDD–>触发action算子–>提交job–&g...
2017-08-29 21:08:34 1819 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人