- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark RDD- Partitioner
partitioner是Spark RDD的重要组成部分，记录了数据split的逻辑是shuffle过程中key重新分区的策略，决定了key被分到哪个分区内，RDD是k-v二元组数据形式时可继承Partitioner自定义分区。** * * 自定义分区逻辑：对words集合中每个word只分到一个分区内 * * @param words */class MyPartitio...
2018-07-31 20:20:17
195
原创 Spark常用算子-transformation
spark常用算子有两种：transformation：RDD中所有转换算子都是延迟加载，从一个RDD到另一个RDD转换没有立即转换，仅记录数据的逻辑操作，只有要求结果还回到Driver时的动作时才会真正运行。 action：触发action时才会真正的执行action操作动作 transformation常用算子类型如下：1.textFile (path: String) : RDD[S...
2018-07-25 00:37:44
2686
原创 Spark常用算子-action
spark action常用算子类型如下：1.collectAsMap(): Map[K, V]：二元组RDD转为Map数据类型countByKey(): Map[K, Long]：统计RDD中每个key出现的次数，还回Map类型表示每个key出现了几次countByValue(): Map[T, Long]：统计RDD中每个元素出现的次数，还回Map类型表示每个元素出现了几次val rdd...
2018-07-25 00:36:01
1770
原创 Android常见错误总结
1，导入以前的Android程序或使用以前的开发工具有时会出现Error generating final archive: Debug certificate expired on 12/05/01这种错误原因分析：android要求所有的程序必须有签名，否则就不会安装该程序。在我们开发过程中，adt使用debug keystore，在 preference->android->buid
2013-05-27 12:35:04
326
原创 Android小计一
从考研结束今天重新回到Android开发中，回忆中整理总结遗忘的笔记1，Eclipse 中修改android的Default debug keystore路径 ：ANDROID_SDK_HOME=D:\android\android_avd
2013-05-24 13:37:08
476
转载 如何提高阅读源代码的效率
要想快速并高效地阅读源码，一定要有好方法，不然看着会挺费劲，当然，用什么方法取决于具体的情况。我就把自己总结的方法给大家show一下，互相交流交流：1、一边阅读代码一边写注释。这是我用过的最好的方法，对代码理解得更深入，看一些重要代码或者特别难懂的代码时挺有用。更何况，注释也是一种文档嘛。2、一边阅读代码一边绘制UML。这个方法适用于类之间的关系较复杂和调用层次较深的情况，我一般都是先绘制
2011-11-22 22:19:54
223
原创 如何在模拟器上安装apk
1，下图是我的安装效果图，可以体验与真机一样的效果，QQ也能聊天、也能聊天。桌面效果图2，在模拟器上安装apk的步骤如下A，正确安装Android模拟器B，配置环境变量(我的环境变量Android的SDK安装在了E:\Android目录下面)配置如下：Path=E:\Android\android-sdk-windows\tools3，执行安装命令打开cmd窗口
2011-11-17 11:10:43
580
原创 计算机统考资料下载网址总汇
数据结构考研指导http://bbs.kaoyan.com/thread-1437578-1-1.html操作系统考研指导http://bbs.kaoyan.com/thread-1437489-1-1.html计算机组成原理考研指导http://bbs.kaoyan.com/thread-1437549-1-1.html完整版《数据结构1800题+答案》http://bbs.kaoyan.com
2010-04-07 20:58:00
3829
3
基于CDH5的Hadoop2大数据集群详解
2016-11-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人