suphieLiang-CSDN博客

原创 zk及kafka集群搭建

一、zk集群搭建机器数量：奇数个（最少3台） zk及kafka依赖于java环境 centOs yum 安装命令yum -y install java-1.8.0-openjdk* zk配置dataDir=/aaa/zookeeperclientPort=2181maxClientCnxns=0initLimit=5syncLimit=2server.1=zk1:2...

2019-05-17 10:40:32 1072

原创 Python中使用flask框架遇到的一些小问题

flask框架中请求方法及请求参数1、在flask框架中路由不标注请求方法默认为GET方法请求2、在GET请求中，假设我的请求参数多个是key-value结构。我的首选传参模式是将参数作为json传入，通过request.args.get("message") 的方式获取，在将取到的数据转换成字典（使用json.load方法)进行操作。但，当传入的数据量很大的时候，在转换的时候可能会出...

2018-07-26 11:20:49 1443

原创 kafka生产者

kafka producer：消息生产者，就是向kafka broker中发送消息的客户端。kafka producer相关配置：其中：bootstrap.servers :kafka集群地址通常为 ***:9092,***:9092,***:9092acks：生产者认为一个请求完成，所需要kafka集群主服务的应答次数。这个配置控制已发送消息的持久性。下面是这个配置可能的...

2018-07-26 11:17:48 725

kafka consumer：消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。因为Kafka的broker是无状态的，所以consumer必须使用partition offset来记录消费了多少数据。如果一个consumer指定了一个topic的offset，意味着该consumer已经消费了该offset之前的所有数据。consumer可以通过指定offset，...

2018-07-26 11:11:10 470

原创关于sparkStreaming整合kafka遇到的问题

首先概述一下，我的代码主要就是将kafka中消费的数据转到sparkStreaming中，并进行一系列的操作。这个代码在网上有很多相同的，在此不做太多论述。代码大概是这样的：第一个问题：权限问题，我的kafka集群是需要sasl安全认证登录，而在我的代码中并没有可以让我配置消费者的地方，因为是初学者总是哪里都想试试。首先尝试了通过JavaStreamContext设置KafkaConsum...

2018-06-14 15:10:00 2739

原创 superset权限配置

superset创建用户在当前页面可以增加用户、编辑用户、删除用户。在编辑用户、添加用户是可以为用户设置角色。给新用户Gramma以及addPermission角色，addPermission角色用于配置用户可以访问的数据，Gramma角色为有限访问。角色拥有不同的权限。在list Roles 中查看其中Admin：管理员拥有所有可能的权利，包括授予或撤销其他用户的权限，以及更改其他人的切片和仪表...

2018-05-23 16:31:53 7191

原创 superset使用说明

查看数据源添加一个slices点击选择一个数据源进行分析配置点击save as保存添加一个dashboard添加成功，可在目录中展示可对其进行展示、修改删除的操作

2018-05-23 16:21:49 1774

原创 kafka consumer消费者 offset groupID详解

kafka consumer：消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。因为Kafka的broker是无状态的，所以consumer必须使用partition offset来记录消费了多少数据。如果一个consumer指定了一个topic的offset，意味着该consumer已经消费了该offset之前的所有数据。consumer可以通过指定offse...

2018-05-23 16:13:58 51674 6

原创 Jupyter Notebook安装及简单使用

Jupyter Notebook是一个交互式笔记本，支持运行 40 多种编程语言。Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 markdown。用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等。本文介绍基于Linux 系统搭建Jupyter Notebook。首先查询当前Python版本已知当前版本为2...

2018-04-03 17:27:11 1397

原创 nifi发送http请求

流程概述：从kafka中消费json串，取json中的某几个属性值，作为参数进行http请求（GET请求或POST请求），接收返回参数存入文件，总流程如下。 ConsumeKafka：消费kafka中json串，如： {“id”:”111”,”userName”:”你好”} EvaluateJsonPath：通过添加Property取json串中某几个属性的值，传出的数据只有值。可添加多个

2018-01-03 17:32:31 6402 4

原创 nifi通过自定义processor将数据流入Elasticsearch

此文章对自定义processor不做详细讲解。总体流程如下其中AddT为自定义processor AddT流入的数据为json格式流入的字段应与FlowMsgIn中相同因此流入的数据应如： {“City”:”“,”param”:”cc”,”Number”:”12345”,”body”:”aa”,”query”:”111”} 数据流入后在rules类中通过一定业务逻辑增加ne

2018-01-02 14:33:47 2733

原创将kafka数据导入Elasticsearch

基于当前最新版本logstash 6.0.0 不同版本的logstash输入输出语法略有不同。 Kafka->logstash->elasticsearch->kibana 下载logstash并解压进入logstash/config目录新建文件 kafka-logstash-es.conf 编写文件kafka-logstash-es.conf input { //日志写入的数据源

2017-11-29 17:45:29 7049

原创 kibana使用入门

kibana可视化页面：kibana安装地址：5601 首先要在Management中基于Elasticsearch中已有的index建立映射（_mapping）若Elasticsearch中没有index可以在Dev Tools中使用命令行创建一个indexPOST /company_basic/info/pretty { “properties”:{

2017-11-29 17:37:35 4241

原创 Zeppelin&Spark Zeppelin开发spark

呕心沥血，基本上经历了所有Bug才跑通，写了一篇文字最多的文档，愿大家少走弯路首先配置spark的interpreter，其实并没有更改配置，其中master的配置纠结了好久因为跟网上所提供的配置方式并不一致，尝试了各种失败以及空指针后终于在网上找到一个不错的解释： mesos模式中使用mesos://zk://zk1:2181,zk2:2182,zk3:2181/mesos或mesos://

2017-11-24 11:23:28 3009

原创使用zepplin查询hbase

首先进入欢迎页面，点击右上角的longin进行登录。登录之后的页面为点击zeppelin tutorial 进入如下页面点击interpreter配置数据库驱动信息 default driver ：org.apache.phoenix.jdbc.PhoenixDriver default url： jdbc:phoenix:Phoenix所在机器:/此处为hbase

2017-11-21 17:16:08 1303

原创使用nifi将数据库数据上传到Elasticsearch

首先将数据库数据导出CSV文件，再将CSV文件转换成json格式文件 CSV在线转json地址：CSV在线转json 使用kibana在Elasticsearch中建立一个新的index POST /company_basic/info/_mapping?pretty 其中company_basic为index名，info为type名。在nifi中建立如下组件其中GetFile

2017-10-30 15:43:51 5173 1

原创 nifi中使用PutElasticsearch

processer中有putElasticsearch和putElasticsearch5，其中putElasticsearch对应的是2.x版本，putElasticsearch5对应的是5.x版本。本机安装的Elasticsearch为5.x版本，故选用putElasticsearch5。建立如下组件关联 putElasticsearch5的配置如下 ElasticSearch Hosts

2017-10-25 15:40:15 2267

原创使用Phoenix连接hbase数据库

本文在Phoenix及hbase均已安装成功的前提下。在eclipse中使用jdbc连接hbase数据库。导入所需jar包<dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>4.7.0-

2017-10-17 17:37:17 2044

原创 druid集群的搭建

1、启动zookeeper 下载zookeeper安装包，解压、安装 bin/zkServer.sh start2、修改druid配置文件（1） conf/druid/_common/common.runtime.properties a、修改zookeeper列表 b

2017-09-28 16:58:18 3734

suphieLiang的博客