lcomedy-CSDN博客

原创 kubernets节点异常问题分析

问题现象kubernetes集群中，发生部分pod应用不可用的告警问题排查基于这种情况，根据经验判断，怀疑是对应的某个节点出现问题。找到其中一个pod，kubectl get pod -o wide|grep pod-xxx 查看其在哪个节点上通过kubectl describe node xxxx 查看该node上的信息，发现该节点上的pod都出现上在了不可用的应用清单中。另外还观察到了一条warning信息通过其ip地址，登录服务器，发现已经无法登录了。查看node节点监控

2021-08-09 10:19:25 1199

原创基于nginx网关的浏览器上传大文件失败问题分析

前言 nginx用的时候很开心，出现问题时却很要命。这次出现的问题虽然能有很多方式去解决，但我仍旧希望能够用一个问题将知识进行串联，深挖其根因。问题现象浏览器上传文件，文件大小是四百多M，等待一段时间后，上传失败。显示报错如下图：问题排查信息收集遇到这种问题上面出现了两个错误，一个是网络错误，一个返回的是413。413这个错误信息提示很明显，Request Entity Too Large。凭多年老司机经验，查看nginx配置，发现配置的client_max_body_size为300

2021-07-11 23:14:22 1901 4

原创 kubelet的cpu过高问题排查

问题现象kubernetes集群收到一条，kubelet的cpu使用率较高的告警，过会就恢复了。然后又告警，这样的情况反反复复发生。已知信息kubebernetes 1.17.2kubelet 1.17.2cpu使用率过高的情况并非持续的，这里可以初步怀疑，cpu的过高可能是被某个函数定时触发。问题排查先来一波常规套路，登录上服务器，执行如下操作：## 找到进程的pidps -ef|grep kubelet## 查看该进程的状态top -p xxx## 每隔1秒查看进程状态，

2021-07-11 23:13:06 2323 1

原创 kubernetes一直创建pod是咋回事

问题现象监控发出告警通知，某台机器的kubelet的cpu过高，kube-apiserver的qps也过高，kube-controller-manager也告警其请求apiserver的qps过高。最后排查下来，发现了有一个pod一直被驱逐，然后又不断的不创建。这就很神奇了，我就省略一些排查过程，重点聊聊如下几个问题，大家也可以带着问题思考下。这种情况是怎么触发的？为什么会出现这种情况？怎么避免这种情况？废话不多说，咱们先将问题来复现，再来好好分析上面的问题。问题复现首先我先来展示下依

2021-07-11 23:10:52 1580

原创 kubernetes通过kubectl无法查看日志问题处理过程

## 问题现象输入：```kubectl logs --tail 200 -f -n xxx pod-name-xxxx.```返回结果：```error: You must be logged in to the server (the server has asked for the client to provide credentials (get nodes))```## 已知信息1. kubernetes版本：1.17.22. 证书前不久已更新## 排查过程看到这个报错

2021-07-11 23:01:39 4338

转载 jvm关于内存管理和垃圾回收的学习总结

一、什么是JVM JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。 Java语言的一个非常重要的特点就是与平台的无关性。而使用Java虚拟机是实现这一特点的关键。一般的高级语言如果要在不同的平台上运行，至少需要编译成不同的目标代码。而

2017-07-14 16:51:28 284

原创基于阿里云RDS数据误删除的回滚方案

场景是这样子的：如果有人不小心删了数据库，怎么办？主从？恐怕不行，数据实时同步，备库的数据也被删了。那从库延迟同步，如何？嗯嗯，应该可以。那问题来了。如果延迟同步的情况下，发生数据库误删除，运维人员赶紧切到从库上，终究是能尽快的恢复业务，只是有一部分数据会丢失，那么怎样让服务继续运行的情况下，补回那一部分丢失的数据呢？这种情况下，我的脚本就派

2017-06-27 09:52:59 5652

原创利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送

公司最近上线了日志分析系统，每天都要给一些同事提供接口请求数据。方法比较笨，登录到kibana网站，找到画好的模板图，截图，发送给同事。我觉得这种方式，我是要崩溃的。所以我下定决心，周末在家把这个事情给自动化了。以下是自己的一个思路：1. 抓取api调用的一整天公有云上的数据2. 分析数据，得到count值，各个url上请求的count值3. 画出一张饼形图4. 发送邮

2017-06-25 11:28:45 4924

原创 nginx对ip限流的操作

一.背景我们经常遇到这种情况,客户使用生产环境进行了压力测试，大量的请求，导致其他客户的请求未能响应。服务器资源有限,但是客户端来的请求在不断的上涨, 为了保证一部分的请求能够正常相应, 不得不放弃一些客户端来的请求, 这个时候我们会选择行的进行一些NGINX的限流操作, 这种操作可以很大程度上缓解服务器的压力, 使其他正常的请求能够得到正常响应.二.使用nginx模块

2017-06-15 19:26:39 4665

Welcome my blog