- 博客(16)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 使用Flume+Kafka+SparkStreaming进行实时日志分析
使用Flume+Kafka+SparkStreaming进行实时日志分析每个公司想要进行数据分析或数据挖掘，收集日志、ETL都是第一步的，今天就讲一下如何实时地（准实时，每分钟分析一次）收集日志，处理日志，把处理后的记录存入Hive中，并附上完整实战代码1. 整体架构思考一下，正常情况下我们会如何收集并分析日志呢？首先，业务日志会通过Nginx（或者其他方式，我们是使用Ngin
2018-02-07 09:49:23
476
原创 Saltstack 的学习总结
Saltstack 的学习总结一 、Saltstack的简介 SaltStack采用 C/S模式，server端就是salt的master，client端就是minion，minion与master之间通过ZeroMQ消息队列通信。minion上线后先与master端联系，把自己的pub key发过去，这时master端通过salt-key-L命令就会看到minion的key，接受
2018-02-02 14:23:07
2497
转载 HTTP简介
HTTP简介HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）。HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信
2018-01-30 22:50:42
154
转载 SaltStack实战之远程执行-Returners
SaltStack实战之远程执行-Returners@(学习)[SaltStack]SaltStack实战之远程执行-ReturnersReturners列表介绍mysql returner的用法1 安装pip和MySQLdb2 配置mysql数据库2 配置salt-master3 测试1. Returners列表http
2018-01-30 16:04:33
311
转载 SaltStack实战之远程执行-Targeting
SaltStack实战之远程执行-Targeting@(学习)[SaltStack]SaltStack实战之远程执行-Targetingminion id配置Targeting分类SaltStack远程执行组成部分： * 目标（Targeting） * 模块（Module） * 返回（Returnners）1.
2018-01-30 15:53:13
168
转载 SaltStack实战之数据系统-Grains
SaltStack实战之数据系统-Grains@(学习)[SaltStack]SaltStack实战之数据系统-GrainsGrains应用场景Grains应用示例1. Grains应用场景Grains可以在state系统中使用，用于配置管理模块。Grains可以在target中使用，用来匹配minion，比如匹配操作系统，使用-
2018-01-30 15:06:29
166
转载 Saltstack之Grains组件
grains说明grains是Saltstack最重要的组件之一，grains的作用是手机被控主机的基本信息，这些信息通常都是一些静态类的数据，包括CPU、内核、操作系统、虚拟化等，在服务器端可以根据这些信息进行灵活定制，管理员可以利用这些信息对不同业务进行个性化定制。例：（janja模板）{% if grains['os'] == 'Ubuntu' %}host: {{ gra
2018-01-30 12:04:26
333
转载 Saltstack之pillar组件
pillar组件pillar也是Saltstack最重要的组件之一，其作用是定义与被控主机相关的任何数据，定义好的数据可以被其他组件使用，如模板、state、API等。在pillar中定义的数据与不同业务特性的被控主机相关联，这样不同被控主机只能看到自己匹配的数据，因此pillar安全性很高，适用于一些比较敏感的数据，这也是区别于grains最关键的一点，如定义不同业务组主机的用户id、组
2018-01-30 12:02:18
171
转载 Saltstack系列6：Saltstack之state
state功能state是Saltstack最核心的功能，通过预先定制好的sls（salt state file）文件对被控制主机进行状态管理，支持包括程序包（pkg）、文件（file）、网络配置（network）、系统服务（service）、系统用户（user）等。 state的定义state的定义是通过sls文件进行描述的，支持YAML语法，定义规则如下：$ID:
2018-01-30 12:00:26
198
转载 Python KafkaProducer and KafkaConsumer的开发模块
Python KafkaProducer and KafkaConsumer的开发模块1.在python中往kakfa写数据和读取数据,使用的是python-kafka库2.消费者需持续写入数据，因groupid存在偏移量，才能看看到数据。3.安装库的命令为pip install python-kafka -i https://pypi.douban.com/simple4
2018-01-23 15:42:16
505
转载 saltstack 全面介绍
一、关于salt简介，安装和基本配置转载自： 来自：http://tech.mainwise.cn/?p=438说明：salt是一个异构平台基础设置管理工具(虽然我们通常只用在Linux上)，使用轻量级的通讯器ZMQ,用Python写成的批量管理工具，完全开源，遵守Apache2协议，与Puppet，Chef功能类似，有一个强大的远程执行命令引擎，也有一个强大的配置管理系统，通常叫做Sal
2018-01-23 15:12:33
2239
1
转载 python Saltstack
python Saltstack 一. 安装配置 a. 环境准备123456789101112服务端:192.168.1.24 oldboy客户端:192.168.1.147 oldgirl客户端:1
2018-01-23 14:26:48
200
转载 saltstack组件
实验环境saltstack（master主机）: 192.168.1.103(master.example.com) saltstack（minion主机）: 192.168.1.104(minion4.example.com)注意：1.两个节点的防火墙都需要关闭或者允许数据包的传入传出 2.两个节点之间要相互作dns解析（/etc/hosts） 3.两个节点的se
2018-01-23 10:41:28
209
转载 Saltstack 安装配置详解
下面这篇文章主要介绍另外一个运维自动化工具 Saltstack 。一、简介Saltstack 比 Puppet 出来晚几年，是基于Python 开发的，也是基于 C/S 架构，服务端 master 和客户端 minions ；Saltstack 和 Puppet 很像，可以说 Saltstatck 整合了 Puppet 和 Chef 的功能，更加强大，更适合大规模批量管理服
2018-01-22 14:46:01
148
转载 Saltstack 安装配置详解
下面这篇文章主要介绍另外一个运维自动化工具 Saltstack 。一、简介Saltstack 比 Puppet 出来晚几年，是基于Python 开发的，也是基于 C/S 架构，服务端 master 和客户端 minions ；Saltstack 和 Puppet 很像，可以说 Saltstatck 整合了 Puppet 和 Chef 的功能，更加强大，更适合大规模批量管理服务器，并且它比 Pupp
2018-01-19 15:37:19
179
转载 windows 下安装PyCharm并连接Linux
1. 下载安装Pycharm专业版具体方法略。Pycharm5激活方法参考http://www.cnblogs.com/snsdzjlz320/p/7110186.html 2. 添加配置连接远程服务器2.1 打开 PyCharm，依次点开 File → Settings → Project scripts → Project Interpreter 选择“Add
2018-01-18 13:20:21
643
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人