- 博客(11)
- 资源 (7)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 kafka ssl & acl
一 KafkaSSL配置1.1 创建密钥和证书以下在每台kafka服务器上执行keytool -keystore server.keystore.jks -alias localhost -validity 365-keyalg RSA -genkey以下在连接kafka的clientt端执行，如果不要求客户端身份认证（服务器端没有配置ssl.client.auth=req
2017-03-27 20:36:39
893
原创 解决 Error:No suitable device found: no device found
1、查询当前网卡mac（HWaddr）yarn004 Desktop]# ifconfigeth2 Link encap:Ethernet HWaddr 00:50:56:20:A3:28 inet addr:192.168.10.105 Bcast:192.168.10.255 Mask:255.255.255.0 inet6 addr: fe80::250:
2017-01-15 23:32:19
1469
原创 hadoop分布式安装
1.hadoop的分布式安装1.1 设置ip地址执行命令 service network restart验证: ifconfig1.2 关闭防火墙执行命令 service iptables stop验证: service iptables status1.3 关闭防火墙的自动运行执行命令 chkconfig iptables off验证: chkconfig -
2017-01-15 23:28:18
294
原创 kafka扩容
1、扩容简单，增加节点即可，保证broker id在集群中唯一，复制集群配置文件到新增节点机器上，启动节点server 脚本即可。2、迁移历史数据Adding servers to a Kafka cluster is easy, just assign them a unique broker id and start up Kafka on your new servers. Howe
2017-01-06 18:34:29
2471
原创 修改副本数
1、确定需要增加副本的topic列表，确定topic的分区、副本详情信息，编写副本修改计划。例如原topic的partion个数为3，副本数为1原topic副本分配情况如下{"version":1, "partitions":[{"topic":"rangertest","partition":0,"replicas":[10000]}, {"topic
2017-01-06 18:18:31
1721
原创 kafka acl配置
1、环境查看指令，确认环境无授权信息[root@zdh167 bin]# ./kafka-acls.sh --list --authorizer-properties zookeeper.connect=localhost:2181/kafka [root@zdh167 bin]# 2、授权用户集群管理权限[root@zdh167 bin]# ./kafka-acls.sh -
2017-01-06 18:03:22
19470
原创 linux hadoop本地集群时间同步
学习hadoop生态圈的环境部署时候，需要集群时间同步，因为分布式集群的特性要求集群内部机器时间必须同步，容差有限制。故需要配置集群时间的同步，能联网的时间同步很简单，但是不能联网的内部机器集群就需要配置本地ntpd服务。
2016-09-05 10:49:00
495
原创 zookeeper手把手搭建伪分布集群环境
很多初学hbase、hive、kafka等hadoop生态圈的分布式组件的同仁都会面临在本地搭建zookeeper集群的情况，但是鉴于本地机器环境不满足多节点安装的时候，一个很好的替换措施就是本地搭建伪分布环境，这样既能充分了解分布式环境部署需要的基础配置参数，也能学习到集群的运维等。本问就是基本的zookeeper本地伪分布环境搭手把手建过程，如有错误还请读者能不吝指出，共同学习。文中配置文件路径依赖于自己的环境需求
2016-09-05 10:27:08
3899
1
原创 hadoop文件系统错误could only be replicated to 0 nodes, instead of 1解决方法
当hadoop fs的datanode容量不够时会发生如下错误：org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/root/input could only be replicated to 0 nodes, instead of 1at org.apache.hadoop.hdfs.serve
2015-05-12 00:26:20
1012
原创 hive不自动创建多层目录解决方法
hive中创建新table时候出现如下类似错误：Moving data to: hdfs://hadoop0:9000/hive/hmbbs_pv_2013_05_30Failed with exception Unable to rename: hdfs://hadoop0:9000/tmp/hive-root/hive_2015-05-11_14-03-48_326_195830098
2015-05-11 14:33:42
1625
原创 集成C3P0连接池后控制台狂抛com.mchange.v2.c3p0.SQLWarnings错误解决方案
集成C3P0连接池后控制台狂抛com.mchange.v2.c3p0.SQLWarnings错误解决方案
2014-11-27 18:32:32
7426
Shell脚本学习指南
2017-03-16
Scala编程完整版
2017-03-16
java就业培训教程.(张孝祥)
2017-03-15
sqlserver2008驱动jar包
2014-11-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人