- 博客(6)
- 收藏
- 关注
RSS订阅原创 第1课：通过案例对SparkStreaming 透彻理解三板斧
1 Spark Streaming另类在线实验2 瞬间理解Spark Streaming本质代码如下：import org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.{Seconds, StreamingContext}/
2016-05-01 16:42:18
20774
原创 Spark Stream 实战
1.Spark Streaming on HDFS2.Spark Streaming On HDFS 源码解析import java.util.Arrays;import org.apache.spark.SparkConf;import org.apache.spark.api.java.function.FlatMapFunction;import org.apac
2016-04-18 20:07:03
930
原创 第22课：RDD的依赖关系彻底解密
1.窄依赖是指每个父RDD的一个Partion最多被子RDD的一个Partion所使用，例如map、filter、union等都会产生窄依赖；2，宽依赖是指一个父RDD的Partion会被多个子RDD的partion所使用，例如groupByKey、reduceByKey、sortByKey等操作都会产生宽依赖总结如果父RDD的一个Partion被子RDD的Partion所使用就是
2016-03-15 06:00:32
806
原创 Scala 统计一个文件夹下面所有单词出现的次数
统计一个文件夹下面所有单词出现的次数：代码如下 import java.io.{FileNotFoundException, File}import scala.io.Sourceobject WordCount extends App { val path = "C:\\Users\\Administrator\\Desktop\\ff\\fzsExample\\src"
2016-03-02 21:55:27
2997
原创 第34课：Stage划分和Task最佳位置算法源码彻底解密
一：Stage 划分算法解密 1.spark Application 中可以因为不同的action触发众多的JOB，也就是说一个Application可以产生很多job，每个job是由一个或者多个stage构成的，后面的的stage依赖前面的Stage，也就是说只有只有前面依赖的Stage计算完成，后面的Stage才会运行 2.Stage 划分的时候会产生宽依赖，什么算子会产生宽
2016-02-27 22:07:21
567
原创 map排序
java中的map排序下面通过这个例子简单例子看看map是如何排序的。代码如下：public static Map map = new HashMap(); public static void getFile(File f) { File files[] = f.listFiles(); for (int i = 0; files != null && i < f
2014-12-27 22:49:47
266
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人