- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 scala eclipse sbt（ Simple Build Tool） 应用程序开发
问题导读1、如何方便、快速、有效得在Eclipse下编译打包Scala应用程序？2、怎样使用Sb来构建发布程序？3、添加sbt eclipse插件有哪些配置方式？由于Scala有一个比较完备的Eclipse IDE（Scala IDE for Eclipse）, 对于不想从eclipse迁移到Iea平台的Dev来说，如何方便、快速、有效得在Eclip
2016-07-20 17:29:49
420
转载 问题导读
1.job的本质是什么？2.任务的本质是什么？3.文件系统的Namespace由谁来管理，Namespace的作用是什么？4.Namespace 镜像文件(Namespace image)和操作日志文件(edit log)文件的作用是什么？5.Namenode记录着每个文件中各个块所在的数据节点的位置信息，但是他并不持久化存储这些信息，为什么？6.客户端读写某个数据时，是否通过
2016-03-04 10:08:38
377
转载 MapReduce框架详解
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架
2016-03-01 11:11:33
230
转载 Spark基础知识学习分享
一、Spark基础知识梳理1.Spark是什么？ Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。Spark基于map reduce 算法模式实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于Hadoop MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，节省了磁盘IO耗时，号称性能比Hadoo
2016-02-27 16:00:56
207
转载 assertThat用法
一般匹配符1、assertThat( testedNumber, allOf( greaterThan(8), lessThan(16) ) );注释： allOf匹配符表明如果接下来的所有条件必须都成立测试才通过，相当于“与”（&&）2、assertThat( testedNumber, anyOf( greaterThan(16), lessThan(8) ) );注释：any
2016-02-23 12:03:00
218
转载 mapreduce的二次排序
mapreduce的二次排序 SecondarySort关于二次排序主要涉及到这么几个东西：在0.20.0 以前使用的是setPartitionerClass setOutputkeyComparatorClasssetOutputValueGroupingComparator 在0.20.0以后使用是job.setPartitionerClass(P
2016-02-19 15:46:52
226
电子测量技术
2013-06-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人