fyb1990-CSDN博客

原创 impala创建parquet文件的外表及两个容易忽略的陷阱

impala外表的创建方法impala创建外表有两种方式，一种由impala-shell 进行创建，一种通过hive shell进行创建。impala-shell 进行创建准备工作连接impala-shell在文本中书写impala的创建表语句例子create table stats_xxxx_day( ID STRING, STATDATE STRING ) partition by(p_sta...

2018-04-21 19:27:44 3257

原创 kafka0.2.10.0安装配置及demo

1. 简介kafka （官网地址：http://kafka.apache.org）是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。i. 消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。ii. 多个broker协同合作，producer、consumer和broker三者之间通过zookeeper来协调请...

2018-04-21 19:40:41 148

原创 svn 转git ，项目配置方案

简介svn和git都是常用的版本管理软件，但是git无论在理念或是功能上都比svn更为先进。但是有的公司是以svn作为中央仓库，这时git与svn代码的同步就可以通过 git-svn这个软件进行，从而用git管理svn代码。最后的效果相当于把svn仓库当作git的一个remote（远程仓库），而你本地的代码都是通过git来管理，只有push到svn时才会把你本地的commit同步到svn。从svn...

2018-04-21 19:38:43 391

原创 haproxy的配置教程

#haproxy1.7编译安装配置#centos7 x86_64#高可用、负载均衡使用1.#下载#http://www.haproxy.org/download/1.7/src/haproxy-1.7.8.tar.gz#cd /data/nfs/download#yum install gcc gcc-c++ autoconf automake -y2.查看linux内核> uname -...

2018-04-21 19:36:59 696

原创 spark 实时流任务优雅停止

大数据优雅停止程序步骤（1）通过Hadoop 8088页面找到运行的程序（2）打开spark ui的监控页面（3）打开executor的监控页面（4）登录liunx找到驱动节点所在的机器ip以及运行的端口号（比如端口为56194）（5）然后执行一个封装好的命令sudo ss -tanlp | grep 56194 |awk '{print $6}'|awk -F, '{print $2}'|aw...

2018-04-21 19:35:52 2739

原创 Azkaban安装部署

Azkaban安装部署在2.5版本之后，Azkaban提供了两种模式来安装：一种是standalone的“solo-server”模式；另一种是两个server的模式，分别为AzkabanWebServer和AzkabanExecutorServer 两个server的模式：安装准备Azkaban官网: https://azkaban.github.io软件下载地址: https://git...

2018-04-21 19:34:00 307

fyb1990的博客