- 博客(4)
- 收藏
- 关注
RSS订阅原创 flume-NG采用syslogtcp方式监听端口
一、采集说明 本采集方式使用socket通信的方式，向flume发送数据进行采集，采集后的数据存储到hdfs和kafka。 二、配置文件 1、source采集层 port.properties# set agent nameagent.sources = r1agent.channels = c_kafka c_hdfs agent.sinks = s_kafka_k1 s_
2017-07-19 18:35:47
3805
1
原创 kafka集群安装
一、环境配置jdk版本：jdk1.8.0_111scala版本：2.11.8kafka版本：kafka_2.11-0.10.2.1二、kafka下载 kafka下载地址 注意：要选择对应的scala版本，否则容易报错。三、解压到安装目录 tar -zxvf kafka_2.11-0.10.2.1.tgz -C /root/myInstall/四、Kafka目录介绍 /bin 操作ka
2017-06-08 18:37:17
207
原创 kafka常用命令总结
kafka常用操作命令 1.启动Kafka，其中”>>/dev/null”表示将日志信息输出到”黑洞”，其中”2>&1”表示将错误信息和前面的日志信息一样，也输出到”黑洞”，末尾的”&”表示以后台方式启动kafka： bin/kafka-server-start.sh config/server.properties >>/dev/null 2>&1 &2.创建一个名为”test”的Topic：
2017-06-08 16:56:03
337
原创 flume-NG整合hdfs和kafka
flume版本：apache-flume-1.7.0-bin.tar hadoop版本：hadoop-2.7.3 kafka版本：kafka_2.11-0.10.2.1 zookeeper版本：zookeeper-3.4.6 最近在安装搭建flume和kafka这两款软件，网上有很多这方面的简介，在这里，我把flume—NG和kafka、hdfs整合在一起。flume作为消息采集和传
2017-06-08 15:35:22
1712
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人