- 博客(6)
- 问答 (5)
- 收藏
- 关注
RSS订阅转载 hadoop SequenceFile 读取例程注释
[java] view plaincopyimport java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.ap
2015-01-08 22:23:36
394
转载 如何在Hadoop的MapReduce程序中处理JSON文件
简介：最近在写MapReduce程序处理日志时，需要解析JSON配置文件，简化Java程序和处理逻辑。但是Hadoop本身似乎没有内置对JSON文件的解析功能，我们不得不求助于第三方JSON工具包。这里选择json-simple实现我们的功能。在Hadoop上执行Java程序的命令如下所示：[plain] view plaincopyprint?
2015-01-08 22:21:16
1080
转载 mapreduce读取sequencefile文件中的数据
[java] view plaincopysequencefile中的数据是以key，value对存储的。 [java] view plaincopy通过mapreduce模式，可以读取sequencefile中的数据。 [java] view plaincopy
2015-01-08 22:16:29
445
转载 读取hadoop Sequence格式的文件的代码
http://blog.csdn.net/longerandlonger/article/details/8482477[java] view plaincopypublic static void main(String[] args) { org.apache.hadoop.io.SequenceFile.Reader re
2015-01-08 22:10:22
389
转载 Hadoop Core 学习笔记(二) lzo文件的写入和读取
zhuanzi :http://guoyunsky.iteye.com/blog/1266226 压缩是绕不开的话题,因为当今很多程序的压力还是在IO.特别是Hadoop这种分布式存储和运算框架,单台机器的IO,网络通信IO都是压力和挑战.关于Hadoop为什么要用Lzo来压缩而没有选用传统的压缩方法,我这里不再阐述.相关资料很多.有兴趣的可以查看cloudera这篇博客:http:
2015-01-08 22:02:36
1054
1
转载 Hadoop Core 学习笔记(一) SequenceFile文件写入和读取Writable数据
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1265944刚接触Hadoop时,对SequenceFile和Writable还产生了一点联想,以为是什么神奇的东西.后来也明白,不过就是自己IO的一些协议,用于自己的输入输出.这里介绍下如何从sequence file中读出和写入Writable数据. Writ
2015-01-08 21:47:52
588
空空如也
用java实现SFTP server
2016-04-03
怎么知道shell 运行结束？
2016-03-02
亚马逊推出了一个平台，用户可以租用，可以使用低配置电脑跑高配置软件，这个平台是什么
2015-06-04
mysql的问题，大神帮忙看下
2015-05-12
python中的类型怎么对应java中的byte[]
2014-12-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人