wangtingting_100的博客

原创 jbd2导致系统IO使用率高问题

收到IO占用高告警系统信息：Linux version 2.6.32-696.18.7.1.el6.ucloud.x86_64 (root@59c188f3c79d)(gcc version 4.4.6 20120305(Red Hat 4.4.6-5) (GCC) ) #1 SMP Fri Jan 5 16:48:58 CST 20181、到机器上看到io使用率忽高，同时iow...

原创 k8s基础概念和常用操作

1、基本概念搞清楚master, node, pod，controller(deployoment，ReplicaSet，DaemonSet，StatefulSet，Job),service概念，在此基础上先学会通过kubernetes命令行客户端 kubectl管理应用。（1）get#login master node，list nodes in cluster$ kubect...

原创 DNS解析

1、DNS解析$ nslookup www.baidu.comServer: 172.17.1.235Address: 172.17.1.235#53 #port 53, local DNS172.17.1.235Non-authoritative answer:www.baidu.com canonical name = www.a.shifen.com...

原创 linux内核学习

最近加入了公司内部linux内核兴趣小组，决定单独开启一篇博客记录成长。以下是倪朋飞老师性能优化课程推荐的几本书，决定最近开始新一轮研读。计算机体系结构书籍：《深入理解计算机系统》Linux 编程书籍：《Linux 程序设计》和《UNIX 环境高级编程》Linux 内核书籍：《深入 Linux 内核架构》性能优化书籍：《性能之巅：洞悉系统、企业与云计算》...

原创 kafka分区，副本，倾斜及日常操作

Topic Summary：Replication 3Number of Partitions 15Sum of partition offsets 0Total number of Brokers 13Number of Brokers for Topic 10Preferred Replicas % 100Brokers Skewe...

原创 nginx http超时重试幂等问题

nginx做反向代理时，作为负载均衡器，对执行失败的任务默认会调度到其他节点执行。默认设置：proxy_next_upstream error timeout #发生网络错误以及超时，才会在其他服务器重试$ proxy_next_upstream error timeout http_500 #500时重试$ proxy_next_upstream error timeout http...

原创 ls -lh文件大小比du -sh大

ls -lh文件大小比du -sh小的情况参考https://blog.csdn.net/wangtingting_100/article/details/80913868du显示的是文件占block大小，通常1byte的文件，du大小是4bytes，这个是可以理解的，可偏偏ls -lh的结果比du -sh的要大。ls显示的是文件的逻辑大小，du显示的是磁盘占用情况，逻辑占用大于磁盘本身...

原创 ETCD

ETCD是一个分布式，一致的kew-value存储，主要用于共享配置和服务发现。通过Raft一致性算法管理日志复制，保证强一致性。Reference:https://raft.github.io/ http://thesecretlivesofdata.com/raft/...

原创 python之连接Mysql实现增删改查

Python2.7使用MySQLdb接口连接Mysql，Python3改用了pymysql通用方法是：import pymysql#连接数据库database = pymysql.connect(host="XXXXXXXXXX.mysql.rds.aliyuncs.com",user="xxxxxx_rw",passwd="xxxxxxxxxx",...

原创 go macos环境配置（超级简单）

之前老听同事讲要学go(压根没有在意)，直到知道很多开源项目（docker，etcd，kubernetes）都是go的实现。1、$ brew install go #默认源安装2、$ go version #查看版本go version go1.12.1 darwin/amd643、$ vim .bash_profile #修改环境变量export GOPATH=/Users...

原创 nginx防御DDos攻击

DDos攻击通过向目标网站发送大量的数据包，从而耗尽目标网站资源，导致不能响应正常的业务请求而达到攻击目的。通过分析请求来源，如果发现这些ip或者UA大多来源同一个或同一个网段的ip，可以通过修改nginx配置规则进行拦截。场景：某个地址遭受来自海外的攻击目标：禁止http://xxx.xxx.com/location/homepage/?tag=xxxx 海外访问1、#登陆海外接...

原创 kafka笔记

1、kafka基本概念kafka是一个支持离线和在线的、分布式、可分区、可复制消息队列。producer1,producer2-----(topic)----->kafka cluster-----(topic)----->consumer1,consumer2client与server通过TCP协议通信2、producerproducer通过topic将消息发送...

原创 Python子类继承父类构造方法的方式

1、显示调用父类构造方法2、不重写父类构造方法

原创 Python+Django学习笔记

原创 Python面向对象基础

1. classclass Person: '人的基类' perCount=0 def __init__(self, name, gender, age): self.name=name self.gender=gender self.age=age Person.perCount +=1 ...

原创 Python基础笔记

#Python特性，强类型（即强制要求变量类型），dynamic，capital sensitive，隐士类型（不需要声明）and objective.#compile with python3common libs# -*- coding: utf-8 -*-import osimport sysimport urllibimport jsonimport reimpo...

原创 cenos 更新yum源为aliyun源

1、#查看已有源$ ls -a /etc/yum.repos.d/. .. CentOS-Base.repo CentOS-Debuginfo.repo CentOS-fasttrack.repo CentOS-Media.repo CentOS-Vault.repo epel.repo yz.repo2、#备份已有的源$mv /etc/yum.repos.d ...

原创 Mac上安装mysql

1、$brew install mysql #源安装2、$ brew services listxcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun at: /Library/Developer/CommandLineTools/usr/bin/xcru...

原创 dubbo service telnet command

1、$ telnet 10.10.10.10 20881 #10.10.10.10 dubbo service provider's ipor $ telnet localhost 20881Trying 10.10.10.10...Connected to 10.10.10.10.Escape character is '^]'.2、press ENTER3、ls servic...

原创 buffer 与cache 的理解

buffer 与cache :通过 $ man freeBuffers Memory used by kernel buffers (Buffers in /proc/meminfo)cache Memory used by the page cache and slabs (Cached and SReclaimable in /proc/meminfo)buff/cache ...

原创 linux平均负载与CPU使用率关系

想要知道怎么排查，先看哪些因素会影响到平均负载，然后逐一排查。平均负载的定义：处于运行状态和不可中断状态的平均进程数，也就是平均活跃进程数。1、判断平均负载合理性（1）系统负载和CPU总数（逻辑总数）的关系，过载情况：load average > CPU 总数（2）查看系统平均负载$ toptop - 21:52:21 up 386 days, 4:10, 1 u...

原创 php应用CPU使用率100%解决思路

java程序出现问题可以利用的工具很多，最近遇到php进程100%情况，排查了半天，咩有找到好的工具。最后从极客时间上倪朋飞老师课程中寻到了解决办法。(1)查看系统cpu使用率$ top #查看系统的cpu，内存使用情况$ ps #查看进程的cpu 使用情况查看某一个进程的cpu使用情况，使用pidstat$ pidstat 1 3 #每隔1s输出一组数据，总计输出3组 ...

原创 超时时间connectTimeout，socketTimeout，proxy_read_timeout，proxy_connect_timeout笔记

1、一般的的情况客户端（connectTimeout，socketTimeout） -- 七层接入proxy （connect timeout, read timeout, keepalive timeout, send timeout）-- nginx （proxy_read_timeout，proxy_connect_timeout）-- 后端服务器connectTimeout：建连时...

原创 shell整型变量使用

$ cat sum.shsum=0for i in $(cat c.txt)do echo $i sum=$((i+sum)) #需要注意，如果事先声明变量是整型数，就不必使用$((…))或者let；doneecho $sum  

原创 公有云vm批量回收

目标：已知应用名，释放公有云上VM服务器（三思后操作）。1、通过应用名，在console机上找到应用对应环境的hostname$ for i in $(cat app_list); #app_list是关于要回收应用列表do evacli -a $i -l |grep "daily"|grep -v "prj" > host_list;done#拿到带有daily，且无prj...

原创 tcpdump 抓包

场景1：在机器下线之前，经常要统计下流转到该台机器的流量，从而知道哪些依赖于这个应用。$ sudo tcpdump -vv -i any dst port 9000 and dst host 10.10.10.10/localhost #抓取目标机为10.10.10.10/本机，目标端口为9000的流量场景2：抓包查看应用服务器到nsq服务器端口4444，topic为 to...

原创 pssh批量操作服务器（查找/删除/写入）

目标：批量查找以下hosts上goods-service.log文件中包含xxxxx的文本，前提是所在的机器到hosts列表中机器ssh是通的。1、#yum源安装即可$ sudo yum install pssh 2、$ pssh --helpUsage: pssh [OPTIONS] command [...]Options: --version ...

原创 linux参数传递之xargs

1、#查看近10个未被修改过的文件$ ls -lt |tail -10 drwxr-xr-x 4 root root 4096 Oct 23 05:36 a-qadrwxr-xr-x 4 root root 4096 Oct 23 05:34 b-qadrwxr-xr-x 4 root root 4096 Oct 23 05:33 c-qadrwxr-xr-x 4 root roo...

原创 dmesg 段错误

放了一个定时任务，定时执行dmesg -c$ cd /etc/cron.d$ cat dmesg_clean*/1 * * * * root dmesg -c &> /dev/null$ sudo ls /var/log/messages* -alk-rw------- 1 root root 566 Aug 21 11:37 /var/log/message...

原创 arthas在线诊断JVM工具

一、镜像安装：1、切换到进程运行所在的用户$sudo su sc #sc为java进程运行的用户2、安装$curl -L https://alibaba.github.io/arthas/install.sh | sh #前提是你的机器到alibaba镜像未做隔离3、从shell进入到arthas$./as.sh选择进程编号，比如14、查看$ thread -n...

原创 nginx性能调优之proxy_read_timeout

proxy模块的proxy_read_timeoutsyntax: proxy_read_timeout the_timedefault: proxy_read_timeout 60context: http, server, locationThis directive sets the read timeout for the response of the proxied se...

原创 linux内存泄漏与OOM问题排查

1、诊断存在泄露#观察内存总体使用情况，发现内存free在减少$ vmstat 5procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----r b swpd free buff cache si so bi bo in cs us sy ...

原创 tsar之查看收集应用nginx信息

安装： wget -O tsar.zip https://github.com/alibaba/tsar/archive/master.zip --no-check-certificate unzip ./tsar.zip cd tsar-master/ make&& make install如果不用tsar，还可以用sar，perf 等...

原创 mysql隐式转化

隐式转化问题

原创 nginx反向代理配置

nginx常用的就是反向代理了，下面配置请求到agreement_route.sc-inc.com，后端服务器为10.10.10.10 和10.10.10.11的反向代理。   upstream agreement_route_service {        server 10.10.10.10:9080; #9080为机器上该服务所起的端口号，tomcat默认8080。        ...

原创 ansible初始化机器

首先登录到ansible所在机器,到ecs_init.yml初始化脚本所在的目录。cd /home/scops/ansible-playbooks/sc1、首先先进行环境设置. ~/.virtualenvs/ansible/bin/activate2、viminventories/ecs_init/hosts文件，写入需要初始化机器的信息[ecs_inithost]#10.10...

原创 linux磁盘使用率超过90%时清理应用log

#!/bin/bash#cleaning top two max applications' log reguarly when disk's usage exceeds 90%maxUsed=$(df -h|awk 'NR==8 {print $5}'|sed 's/%$//')std=90if [ "$maxUsed" -gt "$std" ];thenecho > /home...

原创 rundeck添加后端节点

背景：机器websql拥有所有RDS白名单，rundeck需要访问RDS，rundeck无RDS访问白名单解决方案：现在rundeck上配置不同节点，在websql上做端口映射1、#rundeck机器配置节点#cd /home/sc/rundeck/projects/database_select/etc  #database_select为rundeck上你的工程# vim res...

原创 http状态码502与504区别

502 bad gateway 顾名思义 网关错误 后端服务器tomcat没有起来，应用服务的问题（前提是接入层7层正常的情况下）。应用服务问题一种是应用本身问题；另一种是因为依赖服务问题比如依赖服务RT高，依赖的服务有大的读取（mysql慢查，http等），以至于调用方超过超时read时间；服务集群压力大时，也会出现502超时（502理解为不可响应或响应不过来，其实还是不可响应）。504...

原创 rundeck用户权限管理

（1）  用户管理$ vim $RDECK_BASE/server/config/realm.properties# The format is# <username>: <password>[,<rolename> ...]admin:admin,user,admin  #用户名为admin，密码为admin，权限为普通用户user和管理员用户admin的配置...