- 博客(117)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 AWS-ES使用技巧
AWS-ES配置自动删除索引策略{ "description": "trade log auto delete.", "default_state": "current", "states": [ { "name": "current", "actions": [], "transitions": [ { "state_na
2022-02-11 14:39:15
901
原创 Redshift使用技巧和常用语句
创建用户create user dev with password 'xxxxxx';创建组并加入create group data_viewer;alter group data_viewer add user dev;给组spectrum库的只读权限revoke create on schema spectrum from group data_viewer;grant usage on schema spectrum to group data_viewer;grant selec
2021-09-30 18:30:43
959
原创 ES shard Unassigned恢复提示corruption
ES出现Unassigned shard时，通常使用如下命令进行恢复即可，这里假设shard 3丢失。POST _cluster/reroute{ "commands": [ { "allocate_stale_primary": { "index": "my-index-name", "shard": 3, "node": "my-node-name",
2020-08-20 11:25:23
621
原创 Kubernetes Python API中文使用说明
创建管理员用户，授权，获取Token创建用户vi CreateServiceAccount.yamlapiVersion: v1kind: ServiceAccountmetadata: name: admin-user namespace: kube-systemkubectl create -f CreateServiceAccount.yaml用户授权vi Role...
2019-12-13 15:22:01
11935
2
原创 kubernetes 1.11.3 使用kubeadm安装步骤
写在前头本文让有意向使用原生 kubernetes 集群的企业或个人，可以方便的、系统的使用 kubeadm 的方式搭建 kubernetes 高可用集群。并且让相关的人员可以更好的理解kubernetes集群的运作机制。集群部署过程严格按照官方文档的流程非科学上网的同学同样适用PS: 本文对应的视频教程和更多的k8s内容移步慕课网实战课 ->《Kubernetes 生产级实践指...
2019-10-30 14:45:32
611
原创 详解nginx的原生被动健康检查机制&灾备使用（含测试）
nginx作为一个集web服务器、cache、7层lb于一身的全能型选手，已经应用到互联网各种领域，其高性能、易使用的技术品质深得人心，连同在其基础上二开的tengine、openresty都有很大的用户量，今天剖开讲一下nginx健康检查和灾备的机制。先简单说一下在生产环境的应用场景，健康检查就不多讲了，目的是为了实时摘掉有问题的后端。说一下灾备，我们业务上是为了做专线和公网的互备，因为有海...
2019-09-16 16:36:50
3916
1
转载 Springboot 添加Grafana监控
Introduction to Micrometer with Springboot引用：http://www.bytesville.com/springboot-micrometer-prometheus-grafana/Springboot and Springcloud has made it easier to develop Microservices in the past cou...
2018-10-17 18:35:14
11993
2
原创 GoReplay 流量压测工具的使用
依赖要使用 gor , 你需要先有一个 web server. 当然, 也可以使用 gor 自带的文件服务器, 启动如下:gor file-server :8000表示将当前目录作为文件服务器的根目录, 监听端口为 8000安装下载编译好的二进制文件 download也可以自行编译.捕获 web 流量运行如下命令:sudo ./gor --input-r...
2018-09-17 16:04:30
5598
1
原创 踩坑: supervisor中的minfds及minprocs参数用途
使用supervisor遇到的一个坑，为此还撕逼了一下午，先填了再说先来看看minfds及minprocs这两个参数在supervisor官方文档中的说明（官方文档地址http://www.supervisord.org/configuration.html#supervisord-section-values）： minfds The minimum number of fil...
2018-08-08 23:27:29
6025
原创 使用Prometheus+Grafana 监控MySQL/MONGODB
1. 安装GO编译环境wget https://dl.google.com/go/go1.10.3.linux-amd64.tar.gztar -zxvf go1.10.3.linux-amd64.tar.gzmv go /data/app/govim /etc/profile #添加环境变量export GOROOT="/data/app/go"export GOPATH...
2018-07-11 15:13:09
5392
原创 elasticsearch写入优化记录,从3000到8000/s
背景基于elasticsearch-5.6.0机器配置：3个阿里云ecs节点，16G,4核，机械硬盘优化前，写入速度平均3000条/s，一遇到压测，写入速度骤降，甚至es直接频率gc、oom等；优化后，写入速度平均8000条/s，遇到压测，能在压测结束后30分钟内消化完数据，各项指标回归正常。生产配置这里我先把自己优化的值贴出来，后面有参数的详解： elasti...
2018-06-25 16:59:37
30079
3
原创 Prometheus及前沿企业级监控
一. Prometheus介绍1.pagerduty企业级告警工具。https://www.pagerduty.com 需要收费2. Prometheus的优缺点
2018-06-20 17:34:49
1110
原创 MariaDB 多主一从 RDS测试
MariaDB 多主一从 搭建测试 背景： 目前MySQL依然只支持一个Slave从一个Master复制数据，虽然也可以做到一主多备(M->S)，双主复制(M<->M)等架构，但是局限性依然很大。由于项目的要求，需要各个主库的表整合到一个地方进行统计和分析，要是每次连不同的实例操作，是一件非常耗体力的操作。所以继续一种类似多主一从的实例。原文链接： http://...
2018-04-24 15:59:41
806
转载 监控Mongo慢查询
监控Mongo慢查询1. 使用mongostat监控MongoDB全局情况 mongostat是mongdb自带的状态检测工具，在命令行下使用。它会间隔固定时间获取MongoDB的当前运行状态，并输出。 如果你发现数据库突然变慢或者有其他问题的话，你第一手的操作就考虑采用mongostat来查看mongo的状态。 mongostat --host localhost:27017
2018-03-01 18:08:42
12478
原创 Kafka由于ext4的日志问题导致IO.WAIT升高的解决办法
先引用kafka的ext4文件系统使用注意事项Ext4 may or may not be the best filesystem for Kafka. Filesystems like XFS supposedly handle locking during fsync better. We have only tried Ext4, though.Ext4可能是也可能不是最好的文件系统，据说像X
2017-12-15 13:54:26
1430
原创 持续集成Gitlab+Jenkins - 学习笔记
一.Gitlab相关1.Gitlab的介绍： GitLab是一个利用 Ruby on Rails 开发的开源应用程序，实现一个自托管的Git项目仓库，可通过Web界面进行访问公开的或者私人项目。 GitLab拥有与Github类似的功能，能够浏览源代码，管理缺陷和注释。可以管理团队对仓库的访问，它非常易于浏览提交过的版本并提供一个文件历史库。它还提供一个代码片段收集功能可
2017-08-16 11:09:06
977
原创 mysql-5.6安装+Percona 监控 - 学习笔记
一.mysql-5.6安装：1.安装mysql:# groupadd mysql# useradd -r -g mysql -s /sbin/nologin mysql# wget http://mirrors.sohu.com/mysql/MySQL-5.6/mysql-5.6.36-linux-glibc2.5-x86_64.tar.gz #下载编译完成的包，性能更可靠#
2017-08-07 18:08:21
674
原创 数据存储- tmpfs+LevelDB+SSDB - 学习笔记
一. tmpfs相关1. tmpfs的特性：1.基于内存的文件系统，RAW+SWAP,虚拟内存2.tmpfs使用虚拟内存，/dev/shm/使用共享内存3.访问速度快，可以动态调整大小4.没有持久性，重启后删除5.占用的空间不会在内存清理的时候删除（这点注意）2. tmpfs的应用场景：1.squid或nginx缓存2.PHP Session 3.存放socket4.自定义缓存3.挂载
2017-08-07 11:09:45
649
原创 分布式存储-fastdfs+glusterfs- 学习笔记
一. 存储概念１.块存储的多种实现：块存储： 就好比硬盘一样, 直接挂在到主机，一般用于主机的直接存储空间和数据库应用的存储1.磁盘+LVS: 单机硬盘纯存储2.DAS(DELL MD系列): 直连式存储3.SAN 存储: 通过FC连接2.文件存储的多种实现：文件存储：与较底层的块存储不同, 上升到了应用层, 一般指的就是 NAS ,一套网络储存设备,。1.NAS(nfs): 通过TCP/IP连
2017-07-29 20:39:29
3894
原创 分布式缓存Redis+codis集群 - 学习笔记
一. Redis基础知识 1.Redis与Memcached对比：Memcached: 不支持持久化，纯set或get性能高过redis，简单易用，支持类型单一，没有验证Redis: 支持持久化，易用，支持多种数据类型，支持集群，有基础验证
2017-07-13 17:57:11
681
原创 Nginx反向代理缓存 + CND+PHP缓存 - 学习笔记
一.缓存的概念1. Buffer,Cache的区别：buffer: 一般用于写操作，写缓冲。cache: 一般用于读操作，读缓存。它们都是解决速度不一致的问题，都设计到IO操作。2.Cache的重点关注点：1.存放位置（多级cache）： 客户端（浏览器缓存） 内存（本地或者远程服务器） 硬盘（本地或者远程服务器） 2.过期时间： TTL 3.强制失效
2017-06-21 17:00:55
2141
原创 JVM原理及参数调优 - 学习笔记
一.JVM的基础知识 1.JVM内存结构：1.JVM堆内存结构：2.JVM内存分配：3.Java的堆机构和垃圾回收：4.Jvm堆内存配置参数：5.JVM新生代概念和配置：6.JVM老生代概念（不要配置，系统自动减法得出）：7.JVM持久代概念：二.JVM的垃圾回收算法 1.JVM垃圾收集算法：2.JVM垃圾回收算法：2.1 复制算法2.2 标记清除算法、三.JVM的垃圾回收器 1.名词解释：2.串
2017-06-16 11:59:47
418
原创 LINUX运维常用调试命令 - 自用
1.查看进程打开哪些文件：lsof -p 18237-p: 后面跟进程号2.跟踪线程命令：strace -p 182373.Vim增加和去掉多行注解：多行注释：1. 进入命令行模式，按ctrl + v进入 visual block模式，然后按j, 或者k选中多行，把需要注释的行标记起来2. 按大写字母I，再插入注释符，例如//3. 按esc键就会全部注释了取消多行注释：1. 进入命令行模式，按
2017-06-12 16:13:15
426
原创 Tomcat 生产应用实践-调优+安全+监控 - 学习笔记
一.Java相关1. JDK,JRE,SDK名称解释：JDK就是Java DevelopmentKit.简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK就是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。 JRE就是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者
2017-06-07 18:27:19
777
原创 TCP状态 + TIME_WAIT状态 - 学习笔记
一.TCP的11种状态1、先上图：2、全部11种状态2.1、客户端独有的：（1）SYN_SENT （2）FIN_WAIT1 （3）FIN_WAIT2 （4）CLOSING （5）TIME_WAIT 。2.2、服务器独有的：（1）LISTEN （2）SYN_RCVD （3）CLOSE_WAIT （4）LAST_ACK 。2.3、共有的：（1）CLOSED （2）ESTABLISHED 。3、状态
2017-06-05 16:24:33
620
原创 架构师反向代理Haproxy+压力测试 - 学习笔记
一.Apache的反向代理1.Apache的编译安装:yum install apr-devel apr-util-devel pcre-devel openssl-develcd /usr/local/src/wget http://archive.apache.org/dist/httpd/httpd-2.4.18.tar.gztar -zxvf httpd-2.4.18.tar.gzc
2017-05-16 19:50:22
1083
原创 架构师之DNS实战 - 学习笔记
一.DNS基础知识1.DNS相关名词解释：相关解释： 1、Serial：只是一个序号，但这个序号可被用来作为slave与master更新的依据。举例来说，master序号为100但slave序号为90时，那么这个zone file的资料就会被传送到slave来更新了。由于这个序号代表新旧资料，通常我们建立你可以利用日期来设定！ 举例来说，上面的资料是在2016/01/01所修改的第一次，所以用2
2017-05-08 18:26:28
1044
原创 zabbix监控 - 学习笔记
一. 监控知识1.硬件监控：机房巡检，远程控制卡，IPMI2.系统监控：cpu负载查看（指标）：uptime(低于3)，top（30%-70%） 监控命令：top，vmstat 1，mpstat 1（cpu监控），free -m3.网络监控：iftop，站长工具，SmokePing，监控宝二. ZABBIX相关官方安装文档：https://www.zabbix.com/documentation
2017-05-01 21:32:36
1477
1
原创 使用Nginx+Lua实现的WAF - 学习笔记
一.OpenResty安装和测试官方网站：https://openresty.org/cn/ LUA学习：http://blog.jobbole.com/70480/1.安装OpenResty：# yum install -y readline-devel pcre-devel openssl-devel# cd /usr/local/src下载并编译安装openresty# wget ht
2017-04-28 10:06:15
6589
原创 Saltstack实现Openstack管理
一.Saltstack实现Openstack管理官方手册： https://docs.saltstack.com/en/latest/topics/cloud/openstack.html 安装环境： 172.16.1.211 salt-master服务器 172.16.1.240 openstack控制节点ps: 下面都在salt-master操作1.安装插件：yum inst
2017-04-26 17:08:10
1966
原创 运维堡垒机Gate One-学习笔记
运维操作管理理念理念一：唯有控制才能真正解决问题审计是事后行为，从来没有事前审计一说 审计可以发现问题，但是无法防止问题发生 只有在事前严格控制，才能从源头真正解决问题理念二：系统账号无法确认用户身份系统账号的作用只是区分工作角色 多人共用一个系统账号是合理的 运维人员的流动不应影响系统账号理念三：人为操作难免会出问题人有失手，马有失蹄 不怕出问题，就怕出问题找不到原因 只要机器能做的，
2017-04-25 18:21:32
1993
原创 Nginx环境ssl配置+手动生成证书
1.配置https访问：yum install nginx httpd-tools vim /etc/nginx/conf.d/docker-registry.confupstream docker-registry { server localhost:5000;}server { listen 8080; server_name registry.wmj.com; ssl on;
2017-04-20 16:38:37
1144
原创 云计算Docker实践 - 学习笔记
一. Docker介绍和安装1.Docker的组成结构：2.Docker和Openstack对比：3.安装Docker服务：yum install dockersystemctl start docker二. Docker镜像和容器管理1.下载Docker的centos官方镜像：docker pull centosdocker images2.Docker的官方镜像导出和导入：docker
2017-04-13 15:55:05
2673
原创 Cobbler自动化安装 - 学习笔记
一. Cobbler的安装和使用参考链接：http://blog.oldboyedu.com/autoinstall-cobbler/1.Cobbler的安装：yum install cobbler cobbler-web dhcp tftp-server pykickstart httpd2.启动cobbler:/etc/init.d/httpd restart/etc/init.d/cobb
2017-03-29 17:44:56
2255
原创 Saltstack实现Haproxy自动化扩容+Openstack管理 - 学习笔记
一.安装etcd服务1.安装etcd应用：wget https://github.com/coreos/etcd/releases/download/v2.2.5/etcd-v2.2.5-linux-amd64.tar.gz -O etcd-v2.2.5-linux-amd64.tar.gztar -zxvf etcd-v2.2.5-linux-amd64.tar.gcp etcd etcdctl
2017-03-28 15:01:13
1216
转载 Percona Monitoring Plugins for Zabbix
Mysql安装 下载mysql二进制包 1 2 [root@linux-node1 ~]# cd /usr/local/srcwget http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.30-linux-glibc2.5-x86_64.tar.gz创建mysql用户 1 2 [root@linux-node2 ~]# grou
2017-03-23 15:07:54
273
转载 好用开源的Zabbix-mysql监控插件
Percona Monitoring Plugins for ZabbixMysql安装下载mysql二进制包12[root@linux-node1 ~]# cd /usr/local/src# wget http://dev.mysql.com/get/Downloads/MySQL-5.6/my
2017-03-23 11:52:12
1736
原创 修改openstack Centos镜像的默认用户的密码
Ubuntu官方提供的OpenStack镜像是用Key来登录的，太麻烦，可以改成用密码来登录。修改image的工具叫：guestfish。# yum install libguestfs-tools用它来打开一个镜像 # guestfish --rw -a trusty-server-cloudimg-amd64-disk1.imgguestfish的命令行提示符是>。你需要先运行这个镜像
2017-03-03 18:10:29
5743
原创 云计算Openstack-Liberty版 - 使用技巧 -调整主机大小，官方镜像调整
OpenStack-小技巧1.开启通过dashboard创建虚拟机时设置密码：控制节点：# vim /etc/openstack-dashboard/local_settings#下面3个改成TrueOPENSTACK_HYPERVISOR_FEATURES = { 'can_set_mount_point': True, 'can_set_password': True,
2017-03-02 17:56:35
1062
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人