- 博客(13)
- 收藏
- 关注
原创 随视云平台论坛正式开通:http://blog.csdn.net/adsitbbs
随视云平台论坛正式开通:http://blog.csdn.net/adsitbbs
2011-07-27 11:37:48 469
原创 java 通过jdbc驱动连接hive操作
1,hive首先要起动远程服务接口,命令: nohup hive –service hiveserver & 2,java工程中导入相应的需求jar包,列表如下: antlr-runtime-3.0.1.jar hive-exec-0.7.1.jar hive-
2011-08-31 16:16:43 1469
原创 hive 三种启动方式及用途,关注通过jdbc连接的启动
1, hive 命令行模式,直接输入/hive/bin/hive的执行程序,或者输入 hive –service cli 用于linux平台命令行查询,查询语句基本跟mysql查询语句类似 2, hive web界面的启动方式,hive –serv
2011-08-31 16:16:04 1110
原创 Hive HBase 整合(中文)
hive hbase整合,要求比较多,1.hive的得是0.6.0(当前最新的版本) 2.hive本身要求hadoop的最高版本是hadoop-0.20.2 3.要求hbase的版本是0.20.3,其他版本需要重新编译hive_hbase-handler 但是新版的h
2011-08-31 09:51:38 875
原创 在windows xp系统下配置eclipse集成hadoop开发
一、目的: 由于hadoop只能在Linux环境下运行,所以对于在windwos系统下使用IDE工作的开发人员来说,调试是件麻烦的工作,所以我们今天要配置的Hadoop开发环境是在Windows XP系统下,并集成eclipse使开发人员在做hadoop开发时更容易调试。 二
2011-08-31 09:50:16 606
原创 ClientCnxn: Session 0x0 for server null, unexpected error Connection refused
坑爹的异常!这个异常碰到过多次每次有可能会是不同的地方出现问题导致, 现在总结出来该异常的总体解决方向为:是zookeeper访问regionserver时候抛出的,一般是hbase-site.xml中的dns设置有问题,或者dns本身有问题,症状就为regionserver一
2011-08-12 10:19:05 2523 1
原创 java.io.IOException: Could not obtain block: blk
连续两个晚上跑数据出现这个异常,具体内容如下: 2011-08-10 05:51:21,823 ERRORorg.apache.hadoop.hbase.regionserver.CompactSplitThread: Compaction/Splitfailed for
2011-08-12 10:18:23 7108
原创 hbase 根据需求创建组合索引(组合rowkey)及组合索引创建规则
hbase据我目前的了解来看 《查询》方面的最大优势是根据rowkey 进行查询,然后结合map/reduce 运算效率非常高,但是如果牵扯到表关联查询,涉及到列簇中的列时,因为没有索引效率就变的非常低下,所以我这采用了组合索引(组合rowkey)方式来解决这个问题,下面采用简单
2011-08-10 09:38:28 3827 2
原创 Could not append.Requesting close of hlog
上几天跑程序,hadoop集群报了如下错误: 2011-08-05 11:57:03,067 DEBUG org.apache.hadoop.hbase.regionserver.HRegion:Started memstore flush forwb_userinfo,sin
2011-08-10 09:37:45 557
原创 hbase java.lang.IllegalArgumentException: Could not resolve the DNS name of X.X.X.X:60020
主机修改了新的hostname,同时修改了master,regionserver节点,但是启动时发现仍然会解析老的hostnames,报告如下异常: 13:21:04,340 INFO org.apache.hadoop.hbase.master.HMaster: -ROOT-
2011-08-03 18:44:38 1061
原创 Hadoop分布式集群系统添加节点
1、 安装jdk1.6.0_26(安装java环境)Scp /etc/profile newnodeip:/etc2、 安装hadoop及hbase、zookeeperYum install hadoop-0.20 Yum install hadoop-0.20-task
2011-07-27 11:16:59 616
原创 hadoop版本问题
通过yum方式动态添加新的datanode,启动从机器datanode时,会报如下错误:hadoopFATALorg.apache.hadoop.hdfs.server.datanode.DataNode: Incompatible build versions:namenode
2011-07-27 09:57:02 446
原创 hadoop节点热删除(动态删除)
今天在hadoop集群环境下需要将两台datanode删除,为了不影响在运行业务,需对节点进行动态删除,记录操作过程如下:1, 从集群中移走节点,需要对移走节点的数据进行备份:在主节点的core-site.xml配置文件中添加如下内容: dfs.hosts.ex
2011-07-26 19:23:39 1338
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人