无聊小刚-CSDN博客

原创如何用php与thrift连接base

前言各位看官可能要说，网上有很多相关的文章介绍如何使用php和thrift连接hbase,为毛你还要写呢？其实我也是无奈之举，本人在开发的过程中，需要使用php去连接hbase，但是拜读过网上的文章后，经过试验，都没有能满足我个人的需求。痛定思痛，耐下心来查看thrift生成的php相关的代码，跟着注释以及自己的猜测，一步步的试验，终于达到目的，为了使自己的努力成果不至于很快遗忘，所以

2017-03-09 15:45:29 818

原创 hive 与 kylin的搭建

hive安装前言由于kylin现在最高支持的hive版本为1.2.1，所以只能安装此版本，不能安装hive2.0。使用hive需要事先安装好ant，具体安装过程不进行介绍，还需要一个mysql来保存hive的元数据。编译hive编译hive一定要保证网络通畅，编译过程中会出现个别的包无法下载，导致错误，换个时间或者调整网络环境，从新编译，就可以了解压源码包。进行编译。

2016-12-26 09:13:28 7767

原创 mesos源码编译及配置及marathon配置安装

前提保证编译服务器与外网联通状态依赖环境安装配置subversion 1.8+需要的yum配置vim /etc/yum.repos.d/wandisco-svn.repo添加如下内容[WandiscoSVN] name=Wandisco SVN Repo baseurl=http://opensource.wandisco.com/centos/6/svn-1.

2016-12-15 09:52:03 1093

原创 redis集群模式运维常用命令及相关说明

进入集群客户端任意选一个redis节点，进入redis 所在目录cd /redis 所在目录/bin/./redis-cli -h 本地节点的ip -p redis的端口号 -a 密码查看集群中各个节点状态进入到redis客户端后，运行如下命令，查看集群中节点状态cluster nodes会得到如下输出模糊的部分为ip

2016-12-13 08:53:01 5924

原创 hbase运维常用命令及相关说明

准备在操作hbase时，一定要切换到hbase 用户，例如hbase的用户为hduser,一定要先使用su hduser，然后再执行相关的命令命令启动整个集群启动整个集群前，需要确认集群中各个节点均未启动，如果有个别节点启动，请杀死该进程。进入一个master节点的服务器cd /hbase所在目录/bin/./start-hbase.sh关闭整个集群c

2016-12-12 15:31:40 2133

原创 hadoop常用运维命令及相关说明

准备在操作hadoop时，一定要切换到hadoop 用户，例如hadoop的用户为hduser,一定要先使用su hduser，然后再执行相关的命令命令整集群启动启动前，需要确认集群中的节点都是没有启动的， zookeeper集群是启动起来的，如果没有启动，请登录到zookeeper各个节点上运行/zookeeper所在目录/bin/zkServer.sh start

2016-12-12 13:58:29 804

原创 spark+yarn调整计算任务的内存占用

调整的背景公司正式环境有一个小小的spark+hadoop集群，yarn的可用内存只有小小的40G，五个节点，每个节点8G内存，因此需要对每个上线的计算任务占用的资源都要精打细算。写了两个sparkstreaming的任务，发现其中一个任务用了三个container,每个container占用了2G的内存，另外一个任务用了四个container，每个container占用了2G的内存，这样

2016-11-17 08:48:40 4351

原创 kafka安装及常用命令总结

前提条件zookeeper已经安装完毕，分别为hd1:2222,hd2:2222,hd3:2222,hd4:2222,hd5:2222已经在官方网站下载好了二进制包，kafka_2.10-0.10.0.0.tgz将二进制包放到所有要安装kafka的节点上，host指定为：mq1,mq2,mq3,mq4设置zookeeper进入hd1, 切换用户为hadoop用户，进入zooke

2016-11-12 10:26:04 5507 2

无聊小刚的博客