自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 资源 (16)
  • 收藏
  • 关注

原创 Spark内核之美(三):DAGScheduler的原理与源码分析

1、前言RDD具有延迟计算的特性,当操作是transformation算子的时候,并不执行操作,直到遇到action算子的时候才开始执行计算。Spark会根据Action操作之前一系列Transform操作的关联关系,生成一个DAG,在后续的操作中,对DAG进行Stage划分,生成Task并最终运行。表1Spark中支持的RDD转换(transformation算子)和动作(actio...

2019-04-07 20:03:27 703

原创 Spark内核之美(二):RDD的五大主要特性与源码分析

摘要RDD,弹性分布式数据集,是spark的底层数据结构。RDD是一个容错的,可以被并行操作的数据集合。RDD的特点之一是分布式存储,它的好处就是数据存储在不同的节点上,当需要数据进行计算的时候可以在这些节点上并行操作。弹性表现在节点在存储RDD数据的时候,既可以存储在内存中,也可以存储在磁盘上,也可以两者结合使用。RDD还有个特点就是延迟计算,当是transformation算子的时候,并不...

2019-04-07 13:01:05 958

原创 Spark内核之美(一):RDD的原理与源码分析

Spark 是加州大学伯克利分校A岛。实验室( Algorithms 、Machines and People Lab )开发的通用大数据处理框架。Spark 生态系统也称为BDAS , 是伯克利APM 实验室所开发的,力图在算法( Algorithms )、机器( Machines )和人( People ) 三者之间通过大规模集成来展现大数据应用的一个开源平台。以下内容是对加州大学伯克利分校论...

2019-04-06 22:35:03 1555

Kafka官方中文文档.pdf

kafka官方中文文档,手工整理,字体排版都非常不错。一共一百多页,共9个章节。官方文档翻译的中文文档。

2019-11-15

flink资料分享

flink资料,是系统学习flink非常好的资料,值得分享!

2018-11-06

connector资料

flink的connector资料,是学习flink非常好的资料,分享!

2018-11-06

Window与Time

Window与Time,是学习flink非常好的资料,分享!

2018-11-06

DataStreamAPI介绍与实战

DataStreamAPI介绍与实战,是学习大数据非常好的资料!

2018-11-06

flink基础概念与部署

flink基础概念与部署,是学习flink非常好的质料,分享!

2018-11-06

毕向东Java知识总结

毕向东Java知识总结,整理的毕向东老师讲解的视频资料,非常详细,后期上传毕老师的最新视频。

2017-11-16

Python核心编程(第3版)PDF高清晰完整中文版(无水印)

Python核心编程(第3版)PDF高清晰完整中文版,去除水印的高清版本,好东西,就是要分享!!!手工去除水印,很不错的资料!!!

2017-11-01

hadoop权威指南第三版(原版超清)

本书从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。全书共14章,3个附录,涉及的主题包括:Hadoop简介;MapReduce简介;Hadoop分布式文件系统;Hadoop的I/O、MapReduce应用程序开发;MapReduce的工作机制;MapReduce的类型和格式;MapReduce的特性;如何安装Hadoop集群,如何管理Hadoop;Pig简介;Hbase简介;ZooKeeper简介,最后还提供了丰富的案例分析

2017-09-26

十五个经典算法研究与总结、目录+索引

一、 A* 搜索算法 一(续)、 一(续)、 一(续)、 A* ,DijkstraDijkstraDijkstraDijkstra DijkstraDijkstra,BFSBFSBFS算法性能比较及 算法性能比较及 A* 算法的应用 算法的应用 二、 Dijkstra Dijkstra Dijkstra Dijkstra Dijkstra Dijkstra 算法初探 算法初探 二(续)、彻底理解 二(续)、彻底理解 二(续)、彻底理解 二(续)、彻底理解 二(续)、彻底理解 DijkstraDijkstraDijkstraDijkstra DijkstraDijkstra算法 二(再续)、 二(再续)、 二(再续)、 Dijkstra Dijkstra Dijkstra Dijkstra Dijkstra Dijkstra 算法 +fibonacci+fibonacci+fibonacci+fibonacci 堆的逐步 堆的逐步 c实现 二(三续)、 二(三续)、 二(三续)、 Dijkstra Dijkstra Dijkstra Dijkstra Dijkstra Dijkstra 算法 +Heap+Heap+Heap 堆的完整 堆的完整 c实现源码 实现源码 实现源码 三、动态规划算法 三、动态规划算法 三、动态规划算法 三

2017-09-26

Eclipse教程中文版

Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。 Eclipse 是 Java 的集成开发环境(IDE),当然 Eclipse 也可以作为其他开发语言的集成开发环境,如C,C++,PHP,和 Ruby 等。 Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

2017-09-26

微软面试 100 题

本微软面试 1001题系列,共计 11 篇文章,300多道面试题, 截取 本 blog索引性文章: 程序员面试、算法研究编艺术红黑树数据挖掘 5大系列集锦 ,中的第一部分编辑

2017-09-26

Selenium2+Python自动化测试实战(第二版)

Selenium2+Python自动化测试实战(第二版)高清完整PDF版 本书内容由浅入深,章节的安排也符合全读者的学习曲线,所有涉及到python 语言的地方都有详细的介绍。这是一本自动化测试书,这也是一本python 编程入门的书。希望通过本书的学习,你不仅仅只是掌握一个自动化测试技术,使你的编程水平也有长足的进步,从此摆脱纯手工测试,向“测试开发”人员转型。

2017-09-25

FFT和IFFT的MATLAB实现代码

FFT和IFFT的MATLAB实现代码,自己编写的,谢谢!

2014-11-07

数字图像霍夫曼编码压缩编码MATLAB实现

数字图像霍夫曼编码压缩编码MATLAB实现

2014-04-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除