lzphoenix-CSDN博客

原创 fluentd收集mapreduce分布式环境下的用户日志

mapreduce下可以启动hadoop的日志合并功能，但是很多不需要存入的info/warn等日志也都合并到了一起，不利于查看程序主动打出的log。这种应用场景比较多的是适用于etl时有一些原始数据输入格式不符合要求而被过滤的排查。所以自己调研了一下分布式环境下异步存储日志的开源组件，觉得fluentd这个组件较好。

2016-02-13 00:09:32 528

原创使用python开源组件yarn-api-client获取yarn信息

可以用这个开源组件来做yarn上job运行情况的监控。pip install yarn-api-client 可以在系统中安装该python组件。该组件的git地址为 https://github.com/toidi/hadoop-yarn-api-python-client1）使用接口的情况如下：1.job_history: historys=HistoryServer('c

2016-02-12 23:53:54 6208

原创 git使用心得

总结下最常使用的git命令，废话少说，直接上干货。1）git初始化这个新手一般很少遇见，但是如果要使用类似github这样的git仓库，第一个肯定是如何创建git的问题。在github上先创建自己的仓库源，然后做以下操作1> git账户的录入 git config --global user.name "Your Name" git config --global us

2016-02-12 23:29:37 381

原创 centos下部署jenkins持续集成环境

1）在线安装jenkinssudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.reposudo rpm --import http://pkg.jenkins-ci.org/redhat/jenkins-ci.org.keyyum install jenkins2

2016-02-12 23:01:14 2073

原创 Yeoman快速搭建Web开发框架

Yeoman是一个脚手架工具，可以自动化整合NodeJs/AngularJs/css/html等Web开发环境。Yeoman主要包含了三个工具：yo、grunt、bower：yo：脚手架工具，主要作用是创建项目骨架（跟grunt-init有点像）。grunt：构建工具，主要用来运行各种任务，比如文件压缩、合并、打包等。bower：主要用来做前端资源依赖管理，跟npm很像，区别在于：

2016-02-07 11:40:23 2155