蜷缩的蜗牛-CSDN博客

原创为了学习整理各种问题，如有版权问题，请留言联系，我及时修改！

在CSDN开通博客主要是为了整理遇到或者在论坛上看到的一些问题，方便以后自己遇上此类问题提供参考，如果我转载、整理的文档有哪里有不对的请指出，谢谢！亦或者文章有版权问题，请留言联系！

2013-11-12 17:00:12 1025

原创利用Prometheus打造高逼格监控系统

前言近几年来，持续集成、微服务的影响范围不断扩大，Docker微服务架构，已渐渐成为服务器架构的主流。但是在微服务、持续集成的作用下，将会产生成百上千的服务组件；而每个服务组件容器的生命周期管理工作日渐突出。为了提高对容器生命周期、使用内存、Cpu、负载等等指标刻不容缓，尽可能的细化每一个服务使用资源，提高整体资源利用率。传统开源监控系统如Nagios、Zabbix等，虽然这些...

2020-03-28 13:12:59 4732

原创 ElasticSearch用户管理API

查看所有角色GET /_xpack/security/role?pretty查看角色GET /_xpack/security/role/dev-read?pretty{ "dev-read" : { "cluster" : [ ], "indices" : [ { "names" : [ "baibu-app*" ...

2020-03-28 12:53:35 1004

原创 Docker 集群Swarm创建和Swarm Web管理

关于Docker Swarm更多的介绍请查看《Docker管理工具-Swarm部署记录》一、环境配置 1、安装环境 # cat /etc/redhat-release CentOS Linux release 7.3.1611 (Core) # docker versionClient: Version: 1.12.3 API version:

2017-08-20 11:44:46 3816 3

原创 Mysql备份脚本

1、脚本 #!/bin/bash#Script_Name: mysql_backup.sh#Author: 蜷缩的小蜗牛#Site: www.along.party#Version: V0.1#Purpose: Mysql Backup #Create_Time: 2017/07/25DB_NAME=$1BASE_PATH=`dirname $0`

2017-07-25 16:07:44 431

原创基于Docker、Jenkins和Saltstack的持续部署方案

一、基础环境 1、Centos7.2 # cat /etc/redhat-release CentOS Linux release 7.3.1611 (Core) 2、Docker版本《docker仓库安装》# docker versionClient: Version: 1.12.6 API version: 1.24 Package

2017-07-21 23:08:27 5568 3

原创使用Logstash multiline 收集PHP、tomcat等应用服务多行堆栈日志

很多时候应用程序出错是都是抛出一堆堆栈信息（即在日志文件输出多行），此时logstash可以使用multiline的插件收集日志时需要把错误堆栈信息收集为一个记录。multiline字面意思是多行,顾名思义就是对多行日志进行处理。 multiline配置与用法 input { stdin { codec => multiline { pattern =>

2017-07-17 18:23:16 2896

原创 Docker 定制ssh、java等基础服务镜像

1、启动一个基于centos镜像的容器 # docker run –p 10022:22 -ti centos bash[root@f743588bbeef /]#-p是为了等会启动ssh后测试能否正常登陆 2、在容器中安装openssh-server、java等 [root@f743588bbeef /]# yum install -y -

2017-04-17 12:45:27 1060

原创 Dokcer创建私有仓库、私有仓库Web管理

1、直接用Docker提供的镜像registry运行私有仓库 # docker run -d -p 5000:5000 -v /data/registry:/var/lib/registry --name registry --restart='always' registry-d : 后台运行-p : 宿主机跟容器映射端口 SERVER_PORT:CONTAIN

2017-04-11 17:01:51 2483 1

原创 salt 2016.3.3版本 cp.push拉取minion端文件异常问题

今天在线上环境使用cp.push模块拉取minion端文件时，出现如下错误 # salt 192.168.xxx.xxx cp.push /etc/fstab192.168.xxx.xxx: The minion function caused an exception: Traceback (most recent call last): File "/u

2017-03-24 15:42:52 1579

原创 Zabbix自动添加Mysql多实例监控

1、定义每个实例的端口 cat mysql_port 33063307330833093310 331133123313 2、给所有实例创建一个zabbix用户只允许本地访问，生产环境具体权限各位看官自己看着给吧O(∩_∩)O GRANT ALL PRIVILEGES ON *.* TO zabbix@'127.0.0.1'

2017-03-09 15:12:33 2962

原创 Mysql占用大量写I/O

早上收到zabbix告警，发现某台存放监控数据的数据库主机CPU的IOwait较高，一直持续较长时间。登录服务器查看磁盘IO发现队列高达90%多，而且经常反复如此通过iotop查看发现占用io较大的进程是mysql 登录mysql查看show processlist，发现基本上每次io队列较高时都是在insert时，以为是插入语句有问题，于是打开mysql慢查询日

2017-03-07 15:06:59 12522

原创 Telegraf + InfluxDB收集系统性能，Grafana图形展示

一、telegraf简介： Telegraf 是一个用 Go 编写的代理程序，可收集系统和服务的统计数据，并写入到 InfluxDB 数据库。 Telegraf 具有内存占用小的特点，通过插件系统开发人员可轻松添加支持其他服务的扩展。官网地址：https://docs.influxdata.com/telegraf/v1.2/introduction/getting_started/ 二

2017-03-02 17:50:27 14438

原创 InfluxDB

一、InfluxDB简介 InfluxDB 是一个开源分布式时序、事件和指标数据库。使用 Go 语言编写，无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。它有三大特性： 1. Time Series （时间序列）：你可以使用与时间有关的相关函数（如最大，最小，求和等） 2. Metrics（度量）：你可以实时对大量数据进行计算 3. Eevents（事件）：它支持任意的事

2017-03-02 15:17:03 1503

原创查看服务器型号、SN、Raid等信息

一、查看服务器型号安装dmidecode yum install dmidecode 1、查看服务器型号、SN信息 # dmidecode -t 1# dmidecode 2.11SMBIOS 2.7 present.Handle 0x0024, DMI type 1, 27 bytesSystem Information Manuf

2017-02-24 16:00:00 18783

原创 jenkins安装简要说明

1、配置JAVA环境变量 # mkdir /usr/local/java/ –p # cd /usr/local/java/ # tar zxvf /data/elk5.0/jdk-8u111-linux-x64.tar.gz # cat >>/etc/profileEOF export JAVA_HOME=/usr/local/java/jdk

2017-02-15 13:15:05 1439

原创 Zabbix监控nginx服务进程状态

zabbix监控nginx需要开启nginx status，要确认nginx编译http_sub_module模块！ 1、检查当前nginx是否安装配置http_sub_module模块 # nginx -VTengine version: Tengine/1.5.2 (nginx/1.2.9)built by gcc 4.4.7 20120313 (Red Hat

2017-01-22 17:31:37 4849

原创 Grafana-zabbix配置模板

官方文档: http://docs.grafana.org/reference/templating/ Grafana展示Zabbix主机监控图形时，一个一个主机添加过于麻烦。想要查看多台主机的监控图形，通过使用配置模板，调用多台主机数据展示！！ 1、配置group变量 2、配置host变量其中query的匹配原则

2017-01-06 17:26:57 6520

原创 Saltstack --crontab定时任务管理

1、查看minion端定时任务语法： salt.modules.cron.list_tab(user) salt.modules.cron.ls(user) 以上两种用法实际上返回相同结果 # salt 192.168.62.158 cron.list_tab root 192.168.62.158: ---------- crons:

2017-01-03 16:38:14 4107 1

原创 Zabbix批量添加web监控模板

本文参考自清风拂面《python实现zabbix批量监控WEB网站和批量监控主机端口》修改，使得以后添加web时更加方便，zabbix agent端完成1-3步，在zabbix web端直接导入模板即可使用。 1、agent端批量添加脚本/data/zabbix/scripts/web_site_moniter.py #!/usr/bin/env python# codi

2016-12-29 15:49:51 8776 1

原创 Grafana-zabbix源码安装简要说明

1、Grafana源码安装 wget https://grafanarel.s3.amazonaws.com/builds/grafana-4.0.2-1481203731.linux-x64.tar.gztar zxvf grafana-4.0.2-1481203731.linux-x64.tar.gzmv grafana-4.0.2-1481203731 /data/P

2016-12-28 16:27:54 3337

原创 zabbix源码安装配置

本文安装环境： a、Redhat 6.6 b、php-5.6.29 c、nginx-1.11.8 d、zabbix-3.2.3 e、使用系统镜像盘配置本地yum源安装依赖包一、PHP源码安装配置 1、安装依赖包 yum install gcc-c++ mysql-develyum install libxml2-develyum install libjpeg

2016-12-28 15:15:26 699

原创百度echarts自定义主题使用

1、百度echarts官网主题构建，自定义主题主题在线构建 http://echarts.baidu.com/theme-builder/ 构建完成后下载并保存js文件 2、html导入保存的js文件引入 ECharts 文件 -->script src="echarts.js">script> 引入自定义主题customed -->script src="custo

2016-12-21 11:49:30 7808

原创 elasticsearch5 版本集群管理工具head安装

1、下载head插件源码 https://github.com/mobz/elasticsearch-head 2、下载nodejs nodejs官网下载地址https://nodejs.org/dist/ wget https://nodejs.org/dist/v6.9.2/node-v6.9.2.tar.xz 3、配置node环境变量

2016-12-14 13:11:30 9846

原创配置管理工具Saltstack 之自定义grains

salt master配置 # cat /etc/salt/master|grep -v '#'interface: 192.168.xxx.xxxworker_threads: 15auto_accept: True file_roots: base: - /data/salt/base 自定义grains有两种方法,第一种mi

2016-12-13 11:51:59 1679

原创 Elk实时日志分析平台5.0版本源码安装配置

最近有朋友老说用RPM安装ELK教程不适用，不通用；很多生产环境不联网，操作系统版本也不同；叫我弄个源码安装的教程。所以就整理一个ELK5.0版本源码安装过程，水平有限，凑合着看！！一、配置JAVA环境变量# mkdir /usr/local/java/ –p# cd /usr/local/java/# tar zxvf /data/elk5.0/jdk-8u111-lin

2016-12-08 15:20:53 162750 11

原创 ELK用户管理

1、x-pack 添加用户# cd /data/PRG/elasticsearch# bin/x-pack/users useradd admin -p kbsonlong -r superuser2、查看用户[root@kbsonlong elasticsearch]# bin/x-pack/users listkbson : monitoring_usera

2016-12-08 14:33:54 3189 1

原创 Apache Traffic Server配置cluster服务

关于TrafficServer Cluster原理可以查阅http://blog.chinaunix.net/uid-10249062-id-3243299.html，这篇博文已经描述的非常清晰1、修改records.config配置配置cluster模式LOCAL proxy.local.cluster.type INT 1 默认是3配置clus

2016-12-07 15:18:07 2955 1

原创 saltstack-----state.sls引用grains

在生产环境中普遍会有很多主机，当需要批量修改配置文件的时候，某些配置文件可能跟主机信息相关，需要作出对应的调整，那此时可以利用grains获取不同主机来做相应的修改同步，批量的修改配置文件。例如在生产环境中配置nagios插件nrpe配置文件是，server_address是客户端主机IP地址，当需要批量修改客户端配置的时候，此时客户端的配置文件中server_address肯定不是固定的，需

2016-12-04 22:37:57 160758

原创 Saltstack之Salt-api安装使用

安装salt apiyum -y install salt-api pyOpenSSL chkconfig salt-api on 创建用户，saltapi认证使用useradd -M -s /sbin/nologin kbson echo 'kbson' | passwd kbson --stdin 添加salt api配置[root@oper

2016-12-02 18:02:03 6064

原创 elasticsearch5.0启动出现的错误

elasticsearch5.0启动失败，出现如下提示：1、Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error='Cannot allocate memory' (errno=12)由于elasticsearch

2016-11-30 23:00:52 49450 7

转载 Apache Traffic Server 简介

一介绍Apache Traffic Server（ATS或TS）是一个高性能的、模块化的 HTTP 代理和缓存服务器。Traffic Server 最初是 Inktomi 公司的商业产品，该公司在 2003 年被 Yahoo 收购，之后Traffic Server 一直在 Yahoo 内部使用长达 4 年，直到 2009 年 8 月 Yahoo 向 Apache 软件基金会（AS

2016-11-30 16:43:15 605

原创 svn安装脚本

#!/bin/bash dir='/svndata' ##svn的目录name='project1' ##svn的资源库名称user='kbson' ##svn验证登陆的用户名passwd='kbsonlong' ##svn验证登陆的密码yum -y install httpd httpd-devel subversion mod_dav_svn expectmkdir -p $

2016-11-25 19:46:34 330

原创 Django登录、注册和修改密码简单页面实现

1、创建Modeluserpw/models.pyfrom django.db import modelsimport hashlib# Create your models here.class User(models.Model): username = models.CharField(max_length=30) password = models.Char

2016-11-08 18:10:31 17349 3

转载针对Logstash吞吐量一次优化

Logstash性能优化：场景：部署节点配置极其牛逼（三台 48核 256G内存万兆网卡的机器），ES性能未达到瓶颈，而filebeat又有源源不断的日志在推送（日志堆积），此时却发现ES吞吐量怎么也上不去，基本卡在单logstash 7000/s 的吞吐。这时候我们基本确定瓶颈在logstash上。logstash部署在服务端，主要处理接收fil

2016-10-28 20:26:50 2400

转载 Filebeat的高级配置-Filebeat部分

在Filebeat安装完成准备使用前，最好先对Filebeat进行一些详细的配置再使用，下面来详细讲解一下相关内容。Filebeat的配置文件是/etc/filebeat/filebeat.yml，遵循YAML语法。具体可以配置如下几个项目：FilebeatOutputShipperLogging(可选)Run Options（可选）这个Blog主要讲解Filebeat的配

2016-10-28 20:24:50 3163

转载通过Python使用saltstack收集服务器资产信息自动入库

由于各种因素导致公司服务器资产信息不完善，想要重新整理一份资产信息表，借鉴《通过Python使用saltstack生成服务器资产清单》的脚本稍微修改，完善自己想要的资产信息，并写入数据库！在此做个记录，以便后期资产更新。脚本内容如下：# coding=utf-8import salt.client as scimport MySQLdbdb = MySQLdb.connec

2016-10-28 15:03:02 5640 1

原创 saltstack模块

1、cmd模块，实现远程命令行调用执行（默认root权限操作，操作需谨慎）# salt operation cmd.run "uptime"operation: 13:46:57 up 32 min, 1 user, load average: 0.07, 0.05, 0.072、cp模块，实现远程文件、目录复制分发，以及下载URL等操作将mas

2016-10-28 14:14:03 1554

原创 Elk实时日志分析平台搭建

一、关于ELK实时日志分析平台A. Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。B. Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。C. Kibana 也是一个开源和免费的工具，

2016-10-27 23:10:20 6360 4

原创 saltstack根据不同操作系统版本同步不同文件

1、编写pillar，根据不同版本匹配需要同步的文件名# /srv/pillar/yum/init.sls files: {% if grains['osmajorrelease'] == '5' %} base: CentOs_5.11.repo saltstack: saltstack-rhel5.repo {% elif grains['osmajorrele

2016-10-11 23:36:39 2890

空空如也

空空如也