- 博客(14)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 hive与hbase的十大区别与联系
共同点：1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储 区别：2.Hive是建立在Hadoop之上为了减少MapReducejobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目。3.想象你在操作RMDB数据库，如果是全表扫描，就用Hive+Hadoop,如果是索引访问，就用HBase+Hadoop 。
2014-06-23 17:18:28
832
原创 Hadoop的多文件输出及自定义文件名
最近写程序的时候要用到多文件输出。但是在网上找了很多资料，要么是老版本的方法，要么就是新版本的方法。网上很多说0.20.203.0版本的Hadoop中有MultipleOutputs类——确实有，只不过是老版的。坑啊。而他们用的MultipleOutputs是在org.apache.hadoop.mapreduce.lib.output里面的，但我笔者的Hadoop中偏偏就没有这个类。取去了一个最
2014-06-11 18:49:56
2823
原创 Hadoop的整文件读取
写Hadoop程序时，有时候需要读取整个文件，而不是分片读取，但默认的为分片读取，所以，只有编写自己的整文件读取类。需要编写的有： WholeInputFormat类，继承自FileInputFormat类 WholeRecordReader类，继承自RecordReader类 其中，用于读取的类是WholeRecordReader类。以下代码以T
2014-06-11 18:46:24
1045
原创 Ubuntu14.04LTS上安装fcitx输入法
我的Ubutnu版本是14.04LTS，也就是最近才发布的版本，但下的是英文版的，没有中文输入法（其实有个ibus，但用着太不方便，安装了半天还是用不了），最后发现了这个fcitx输入法，而且这个输入法还是中国人编的，那当然支持呀~~~~ 安装步骤如下： 打开终端，输入如下命令：sudo apt-get install fcitx-table-wbpy
2014-06-11 18:42:56
886
转载 修改 ubuntu 默认启动项
安装Ubuntu和Windows双系统后，每次启动都要按下箭头才能进入Windows，如果一疏忽，又得重启一次，颇为麻烦。有没有什么办法让系统启动时自动进入Windows呢？最近在网上搜索了一篇，在这里转载给大家分享一下（原文网址：http://jingyan.baidu.com/article/afd8f4de58959134e386e969.html）打开Ubuntu系统后，打开中
2014-03-17 23:34:45
4051
原创 hadoop中的一些基本操作及wordcount的运行操作示范
先介绍几个初学时常用的命令（要先进入到hadoop的bin文件夹里）：①显示目录：hadoop fs -ls如果要显示某个文件夹里的内容，则在后面添加文件夹的地址，例如显示input中的内容：hadoop fs -ls input（到现在还没发现怎么进入hdfs中的文件夹里去，好像没有这样的命令，所以就只能显示某个文件夹的内容，如果input里面还有文件夹，如example文件夹，则显示其
2014-03-14 18:23:23
1692
原创 Ubuntu下hadoop的集群式分布配置
笔者最近在家里配置了hadoop的集群式分布，从此，终于告别了伪分布和单机分布，激动啊~~~~但网上的大多教程都是在CentOS上的，笔者看的教程也是，虽然大致步骤差不多，但还是遇到一些麻烦，再次与大家分享分享。JDK 6u45Hadoop 0.20.203.0首先，保证要征用的几台电脑在同一个网域内，笔者征用了两台：Master：192.168.1.3Slave1：192.1
2014-02-02 13:56:24
1495
转载 Ubuntu每次启动都显示System program problem detected的解决办法
每次启动Ubuntu都显示System program problem detected，很烦人，不过修改一个文件就可以。执行命令 sudo gedit /etc/default/apport将enabled=1改为enabled=0保存退出即可
2014-01-23 13:16:08
24342
5
原创 Ubuntu系统中给eclipse安装hadoop-eclipse插件时遇到的问题
由于学习hadoop的需要，需要用eclipse来编写hadoop下运行的程序，但照着网上的教程来向eclipse安装hadoop插件的时候遇到的问题颇多，而网上的回答又杂七杂八，鱼目混珠，还得笔者费了许久的时间，终于把一个非常非常简单的问题给解决了- -，在写此文的时候都觉得可笑，在此，写下此文，和各位交流交流。版本信息：Ubuntu 12.04LTSHadoop 0.20.
2014-01-13 16:15:11
1674
原创 Ubuntu上安装Hadoop伪分布
由于学习上要用hadoop，虚拟机又很卡，而且不喜欢，只有在自己电脑上装个Ubuntu（我装的是12.04），但学校只有wifi，而且是输密码的那种，经常掉线，所以在寝室里安装Ubuntu就别想连接有线了。Ubuntu装好过后居然连无限网卡驱动都没有（不是说集成了的吗？看来我的无线驱动有点冷门耶- -），只有自己装。由于没有学过Linux，只有到网上找方法，但五花八门，没有一个对我适用，最后，在百
2014-01-12 11:01:48
1507
1
Deep learning实战之word2vec
2014-12-22
如何将窗体应用程序的前后台连接起来
2015-08-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人