- 博客(4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Linux命令
LINUX SED命令sed命令常用参数常见的语法示例s(substitute)命令flags标记及功能（s/被替换/替换/flag）sed d （delete）删除命令sed a (append) i(insert) c(replace) r(read)命令sed y 字符替换脚本命令sed p(print)打印命令sed w(write)将匹配的行写入指定文件中sed q （quit）退出命...
2020-05-07 10:36:59
163
1
原创 Spark入门——SparkContext启动详解
SparkContext是Spark程序的入口。所以了解SparkContext的启动过程很有必要，SparkContext初始化过程主要干了如下几件事情： 根据SparkContext的构造参数SparkConf创建SparkEnv 创建TaskScheduler，并初始化 创建DAGScheduler 初始化SparkUI 还没写完。。。。
2017-10-01 21:24:35
698
转载 Spark：宽依赖（shuffle dependency）和窄依赖（narrow dependency）
宽依赖是指父RDD的每个分区都可能被多个子RDD分区使用。 窄依赖是指父RDD的每个分区只被某一个子RDD分区使用。
2017-10-01 15:59:38
1442
原创 Spark源码分析——Spark整体架构
Spark源码分析——Spark架构常用术语 术语 描述 Application 用户编写的程序。（Driver端的SparkContext、SparkConf和运行在Executors上用户编写的业务逻辑代码即map、reduce、reduceByKey等） Driver 执行用户编写应用程序的main()方法并创建SparkContext Worker 具体运行应用
2017-10-01 14:02:53
517
空空如也
java 的Scanner的问题
2017-09-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人