- 博客(144)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Intellij连接远程hadoop
环境：服务器：CentOS6.6 Hadoop-2.7.2client端：windows10：开发工具：intellij IDEA前期准备：需要在windows平台下载hadoop-2.7.2的bin包，并且解压到本地目录，我的是在E:\hadoop-2.7.2\hadoop-2.7.2，具体如下：1、在intellij中创建一个maven project flie-
2016-08-04 15:36:55
10146
转载 hadoop常用命令汇总
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容Hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件
2016-08-04 11:05:32
756
转载 HBase 写优化之 BulkLoad 实现数据快速入库
1、为何要 BulkLoad 导入？传统的 HTableOutputFormat 写 HBase 有什么问题？我们先看下 HBase 的写流程：通常 MapReduce 在写HBase时使用的是 TableOutputFormat 方式，在reduce中直接生成put对象写入HBase，该方式在大数据量写入时效率低下（HBase会block写入，频繁进行flush，split，comp
2016-08-01 17:45:33
2630
原创 hbase错误：Org.apache.hadoop.ipc.RemoteException:User:client is not allowed to impersonate root
场景：远程登录配有Kerberos的hbase的时候，client端用到的kerberos的principal是client/[email protected]错误：Org.apache.hadoop.ipc.RemoteException:User:clientis not allowed to impersonate root;解决方法：在hadoop的配置文件core-site.xm
2016-07-29 10:57:06
5128
原创 HBase-1.2.1之查找Region位置的源码学习
首先需要清楚的是：zookeeper上存放的是meta表在region的地址真正的meta表数据是存放在region上的，和其他普通的数据表是一样的。以get操作为例：在HTable中的get方法中的return rpcCallerFactory.newCaller().callWithRetries(callable,this.operationTimeout);--->
2016-07-28 17:00:40
809
原创 hbase-1.2.1之协处理器的源码学习
HBase中的协处理器：两种：observer和endpointObserver：RegionServerObserver：钩子函数主要是针对对region的管理的，比如merge，writeWAL，createRElplicationEndPoint,replicateLogEntries.RegionObserver：钩子函数主要是针对client端对region上的数据操作，比如
2016-07-28 15:56:22
1593
原创 hbase-1.2.1之scan、batch操作的源码学习
Scan操作：1、 实例化Configuration类Configuration conf = HbaseConfiguration.create();同Get操作。2、 实例化HTable类HTable hTable = new HTable(conf,tableName);同Get操作。3、 实例化Scan类Scan scan = new Scan();
2016-07-28 15:13:15
1935
原创 hbase-1.2.1之put操作源码学习
Put操作：1. 实例化Configuration类Configuration conf = HbaseConfiguration.create();同Get操作。2、 实例化HTable类HTable hTable = new HTable(conf,tableName);同Get操作。3、 实例化Put类Put p = new Put(Byte
2016-07-28 14:58:52
1482
原创 HBase-1.2.1之HRegionServer启动源码学习
在hbase-server项目中的org.apache.hadoop.hbase.regionserver.HRegionServer类中。public HRegionServer(Configuration conf, CoordinatedStateManager csm) throws IOException, InterruptedException { this.
2016-07-28 14:49:27
1478
原创 java api登录远程配有kerbeors的hbase实现
昨天开始才知道IDEA Intellij中可以在打包的jar包中设置断点进行debug，于是决定把之前遗留下的连接远程hbase的问题重新捡起解决。现在的环境：client端：是windows10的系统，开发工具为IDEA Intellij 远程的服务器端：是非本地机的centos系统。使用的hadoop为2.7.2版本，hbase为1.2.1
2016-07-22 17:57:06
3247
转载 用Java访问带有Kerberos认证的HBase
开始之前 因为HBase的存储系统是基于Hadoop的存储，现在Hadoop已经增加了Kerberos认证机制，这样HBase的客户端访问HBase数据库的时候也需要进行身份的认证。 Kerberos是一个认证中心，客户端在访问HBase前必须通过认证才能访问，下图是Kerberos的认证图： 我们不需要详细介绍Kerbero
2016-07-19 18:26:41
14085
转载 通过hive访问hbase中的表
在hbase中创建表后,我们只能在hbase shell中使用scan查询数据,这对于熟悉SQL的使用者不怎么习惯,不过我们可以在hive中创建外部表来访问hbase表中的数据,例子如下:1.这里hbase中的表oss_user_label_action_data已经存在=> #hbase(main):067:0> scan 'oss_user_label_action_dat
2016-07-19 16:58:49
1294
原创 Hbase安装kerberos及远程登录配置
1. 安装ZK, 单机多实例配置及启动· 创建data目录, 创建datalog目录· 1040 mkdir data 1041 cd data/ 1043 mkdir slave1 1044 mkdir slave2 1045 mkdir slave3 1046 cd .. 1047 mkdir datalog 10
2016-07-19 10:17:07
8731
2
转载 HBase集群中RegionServer崩溃后的快速恢复措施探索
随着互联网和通信行业的迅猛发展，积聚的各种数据呈急剧增长态势。这些海量数据既蕴含着丰富的信息和资源，又面临着信息有效管理和提取的难题。云计算是分布式处理、并行处理和网格计算的发展，可以提供近乎无限的廉价存储和计算能力，特别适合于日益暴增的海量数据的存储和处理。在云计算领域中，Hadoop体系独树一帜，其丰富的子系统可以满足多种领域和行业的应用需求，而其中的HBase作为一种非结构化数据库，特别适合
2016-07-08 09:49:07
2203
原创 HBase-1.2.1之Get操作源码学习
最近在学习HBase的源码，主要是学习HRegionServer部分。从Get请求入手，找到了主要的实现类：Get，HTable，ConnectionManager等。具体如下：Get操作：使用Java API读取数据：1、 实例化Configuration类Configuration conf = HbaseConfiguration.create();在Hba
2016-05-30 15:09:32
1494
1
原创 java中的System.arraycopy方法
今天在看hbase源码，看到了System.arraycopy方法，学习了一下：java中的ArrayList是动态数组，其优点就是查询速度快，插入和删除速度慢，就是因为它是数组形式，有位置索引，所以在查询的时候可以根据下标索引直接找到对应元素，但是在插入和删除元素的时候，需要挪动数组，所以速度较慢。深查其java源码，可以发现ArrayList中其实就用到了System.arraycopy方
2016-05-12 16:55:31
2534
转载 HBase学习
HBase简介HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。HBase的目标是存储并处理大型的数据，更具体地说仅用普通的硬件配置，能够处理成千上万的行和列所组成的大型数据库。HBase是一个开源的、分布式的、多版本的、面向列的存储模型。可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统
2016-05-06 18:34:48
950
原创 zookeeper的单机多实例配置和分布式配置
单机多实例配置：#生成配置文件，配置文件名随便，这里是zoo.cfgcp /data/apache/zookeeper/conf/zoo_sample.cfg /data/apache/zookeeper/conf/zoo.cfgvi /data/apache/zookeeper/conf/zoo.cfg 配置文件内容：tickTime=2000initLimi
2016-05-03 16:58:32
7119
原创 HBase中的HMaster、HRegionServer、Zookeeper
HMaster是HBase主/从集群架构中的中央节点。通常一个HBase集群存在多个HMaster节点,其中一个为Active Master,其余为Backup Master.Hbase每时每刻只有一个hmaster主服务器程序在运行，hmaster将region分配给region服务器，协调region服务器的负载并维护集群的状态。Hmaster不会对外提供数据服务，而是由region服
2016-05-03 16:00:44
9977
原创 hbase1.2.1配置kerberos
今天需要在hbase上配置kerberos认证，所以需要安装kerberos，安装配置过程如下：kerberos简介kerberos简单来说就是一套完全控制机制，它有一个中心服务器（KDC），KDC中有数据库，你可以往里添加各种“人”以及各种“服务”的“身份证”，当某个人要访问某个服务时，他拿着自己的“身份证”联系KDC并告诉KDC他想要访问的服务，KDC经过一系列验证步骤，最
2016-04-29 17:25:05
8311
1
原创 zookeeper-3.4.8配置kerberos
ZooKeeper跟Hadoop Core、HBase有什么关系呢？ZooKeeper都提供了哪些服务呢？主要有：管理Hadoop集群中的NameNode，HBase中HBaseMaster的选举，Servers之间状态同步等。具体一点，细一点说，单只HBase中ZooKeeper实例负责的工作就有：存储HBase的Schema，实时监控HRegionServer,存储所有Region的寻址入口，
2016-04-29 17:21:13
3402
原创 Caused by: org.apache.zookeeper.KeeperException$AuthFailedException: KeeperErrorCode = AuthFailed fo
在配置hbase的kerberos认证时，启动zookeeper之后，启动hbase出现如下错误，导致HMaster立马down掉但是接着在zkEnv.sh中配置了如下内容之后，SERVER_JVMFLAGS="-Dsun.net.spi.nameservice.provider.1=dns,sun"启动zookeeper出现了如下错误：2016-04-29 1
2016-04-29 16:34:06
13784
2
转载 Mysql常用命令集
MySql 常用命令集 Mysql常用命令 show databases; 显示数据库 create database name; 创建数据库 use databasename; 选择数据库 drop database name 直接删除数据库，不提醒 show tables; 显示表 describe tablename; 显
2016-04-25 11:38:37
908
原创 linux中的Mysql的安装、重置安装密码、修改权限
安装：1、安装查看有没有安装过： yum list installed MySQL* rpm -qa | grep mysql* 查看有没有安装包： yum list mysql* 安装mysql客户端： yum install mysql 安装mysql 服务器端： yum install mysql-server
2016-04-22 19:17:18
1997
1
原创 Ranger-hbase-plugin-0.6.0安装
首先，把ranger-hbase-plugin.tar.gz文件复制到rangerplugins文件夹下：cp ranger-0.6.0-SNAPSHOT-hbase-plugin.tar.gz /opt/rangerplugins之后解压：cd /opt/rangerpluginstar -zxvf ranger-0.6.0-SNAPSHOT-hbase-plugin.tar
2016-04-22 18:56:38
1848
1
转载 linux之vim命令使用
第一级 – 存活安装 vim启动 vim什么也别干！请先阅读当你安装好一个编辑器后，你一定会想在其中输入点什么东西，然后看看这个编辑器是什么样子。但vim不是这样的，请按照下面的命令操作：启 动Vim后，vim在 Normal 模式下。让我们进入 Insert 模式，请按下键 i 。(陈皓注：你会看到vim左下角有一个–insert–字样，表示，你可以以
2016-04-22 14:55:21
587
原创 Ranger源码编译（2）
今天上班，接着昨天的工作继续往下安装1.Ranger-usersync的安装配置cp/opt/incubator-ranger/target/ranger-0.6.0-SNAPSHOT-usersync.tar.gz /opt/cd /opttar –zxvf ranger-0.6.0-SNAPSHOT-usersync.tar.gzcd range
2016-04-22 12:24:51
2484
1
原创 mvn常用命令
常用命令： mvn -v 显示版本 mvn help:describe -Dplugin=help 使用 help 插件的 describe 目标来输出 Maven Help 插件的信息。 mvn help:describe -Dplugin=help -Dfull 使用Help 插件输出完整的带有参数的目标列 mvn help:describe -Dplugin=compile
2016-04-21 18:48:02
1158
原创 Apache Ranger0.6版本源码编译
1 Ranger简介Apache Ranger提供一个集中式安全管理框架,它可以对Hadoop生态的组件如Hive,Hbase进行细粒度的数据访问控制.通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限.这些策略可以为不同的用户和组来设置,同时权限可与hadoop无缝对接.2 准备2.1 环境说明1 Ra
2016-04-21 18:44:02
3695
11
原创 mvn install时Premature end of Content-Length delimited message body错误
[ERROR] Failed to execute goal on project myMahout: Could not resolve dependencies for project org.conan.mymahout:myMahout:jar:1.0-SNAPSHOT: Could not transfer artifact org.apache.hadoop:hadoop-core
2016-04-21 12:19:37
17737
转载 java.security.cert.CertPathValidatorException: timestamp check failed
用maven编译Apache Ranger源码时，遇到错误如下：Plugin org.apache.maven.plugins:maven-remote-resources-plugin:1.5 or one of its dependencies could not be resolved: Failed to read artifact descriptor for org.apach
2016-04-21 11:09:30
14392
1
转载 Linux下rar和unrar命令的安装使用
Linux下rar unrar的安装：以3.8.0版本为例，如果是64位平台,执行以下命令，也可以去官方网站：）下载最新版:wget http://www.rarlab.com/rar/rarlinux-x64-4.2.0.tar.gzrar软件不需要安装，直接解压到/usr/local下，以下操作需要有root权限。#tar zxvf rarlinux-x64
2016-04-20 14:01:54
21827
原创 Hbase安装
环境：CentOS6.5 Hadoop2.7.2 HBase1.2.11.安装好 hadoop 集群，并启动 [grid@hadoop4 ~]$ sh hadoop-2.7.2/sbin/start-dfs.sh [grid@hadoop4 ~]$ sh hadoop-2.7.2/sbin/start-yarn.sh 查看 hadoop 版本： [grid@hadoop
2016-04-19 19:19:39
1263
原创 Guava代码学习笔记
Guava 是一个 Google 的基于java1.6的类库集合的扩展项目，包括 collections, caching, primitives support, concurrency libraries, common annotations, string processing, I/O, 等等. 这些高质量的 API 可以使你的JAVa代码更加优雅，更加简洁，让你工作更加轻松愉悦。
2016-04-14 20:26:01
1669
原创 InvocationTargetException
InvocationTargetException 是一种包装由调用方法或构造方法所抛出异常的受查异常。这个异常并不是Eclipse插件开发特有的，而是标准JDK中的，它定义在 java.lang.reflect包下。在进行Java开发的时候很少会接触到这个异常，不过在进行Eclipse插件开发中则不同，很多API都声明抛出此类异常，因此必须对此异常进行处理。但是InvocationTarge
2016-04-14 15:20:25
937
原创 HBase笔记
HBase是面向列存储的列式数据库列式数据库：对数据库中的数据存储时，是按照列来存储的。附：对于普通的行式关系型数据库，对于查询语句SELECT ID, NAME FROM STUDENT，则处理该查询命令时，是先从STUDENT表中将所有列的数据都查出来返回给客户端，然后再客户端在将ID列和NAME列过滤出来呈现给客户，这样对于磁盘的IO消耗太大，查询速度就会降低。对于列式数据库来说，
2016-03-25 16:44:00
500
原创 使用Ant实现打包jar包上传到服务器
在开发过程中，常常需要同步更新服务器上的程序。如果每次都将程序重新打包，然后再登陆服务器进行上传，这样过程显得比较繁琐，特别是更新步骤较多时，很容易出错。我们可以通过Ant来实现打包和上传过程，如果是与Eclipse集成的，那整个过程将更加简化。ant脚本其实整个过程比较简单，主要用到两个task，jar和scp。其中，scp是ant的扩展task，需要第三方的库jsch的支持。可以到
2016-03-25 11:17:07
1882
原创 学习使用Eclipse中的Ant的小实例
Ant的优点 Ant是Apache软件基金会JAKARTA目录中的一个子项目，它有以下的优点。跨平台性。Ant是存Java语言编写的，所示具有很好的跨平台性。操作简单。Ant是由一个内置任务和可选任务组成的。Ant运行时需要一个XML文件(构建文件)。Ant通过调用target树，就可以执行各种task。每个task实现了特定接口对象。由于Ant构建文件时XML格式的文件，所以和容易维护和书写
2016-03-24 16:03:46
722
转载 HBase优化技巧、存储
这篇文章浅显的从几个方面谈谈HBase的一些优化技巧，只能作为我学习笔记的一部分，因为学多了怕忘，留给自己以后看看。1 修改 linux 系统参数Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误，导致整个HBase不可运行，你可以用ulimit -n 命令进行修改，或者修改/etc/se
2016-03-21 18:14:14
1970
转载 java操作HBase
本篇文章讲述用HBase Shell命令 和 HBase Java API 对HBase 服务器 进行操作。在此之前需要对HBase的总体上有个大概的了解。比如说HBase服务器内部由哪些主要部件构成？HBase的内部工作原理是什么？我想学习任何一项知识、技术的态度不能只是知道如何使用，对产品的内部构建一点都不去关心，那样出了问题，很难让你很快的找到答案，甚至我们希望最后能对该项技术的领悟出自己的
2016-03-21 18:12:07
676
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人