程少亭-CSDN博客

背景:虚拟机要跑20G以上的k8s集群,用的移动硬盘 ,当集群启动之后磁盘IO一直在100%经过排查后发现如下问题,已经给出解决方案,并在持续观察中.这里不建议关闭system进程 ,非admin用户登录状态下,是无法关闭的,可见系统设计之初就不建议用户去关掉这类的关键系系统服务. System进程是Windows页面内存管理进程，拥有0级优先权，没有它系统无法启动。这个服务是没有exe的系统和第三方杀毒程序会不断扫描磁盘中的任务也会扫描虚拟机里的东西某抑云会经常扫描开启状态下的虚拟机 , 可能是音

2022-07-04 16:57:50 350

原创 shell脚本实现Excel表格半自动化

文章目录需求b.txt # 存放商品组列表中sku附赠商品sku 其一 :附赠商品sku 其二 :excel 拼接其实运维工作中经常会遇到整理一些表格的问题 ,比如领导要看服务器资源,配置,或者k8s容器资源使用率之类的(非技术类总监可能一时半会看不懂监控大屏这个时候excel相对是比较直观,相对) 也会使用一些shell脚本批量返回数据手动往excel里面粘贴需求电商平台的一些sku数据 ,组合sku字段有5行数据相同,平台sku 要复制一份左边的sku和下面三个固定的商品,还有一个是截

2022-05-02 03:12:14 2293

原创 java 比较数组数据大小

三目运算方式public class 比较数组大小 { public static void main(String[] args) { int[] arr ={5,15,20,25,1000}; for (int i = 0; i < arr.length-1; i++) {// System.out.println(Arrays.toString(a)); arr[0] = (arr[i]>arr

2022-05-02 02:51:29 5399 2

原创普法学习: 劳动关系的认定

这里写自定义目录标题1 什么是劳动关系1.2 劳动关系的认定标准1.3 从属性标准也是认定劳动关系的一种2. 案例2.1 案例摘要2.2 案例简述1 什么是劳动关系劳动关系是劳动者与用人单位之间实现社会化劳动的过程中产生的社会关系,对劳动关系的认识是一切劳动法问题的起点。在实际案例中，任何劳动争议的解决，都以认定劳动关系为前提。1.2 劳动关系的认定标准第一个标准是主体标准。其一，劳动关系的构成必须一方是单位，一方是自然人。其二，从用人单位的角度看，主体标准要求用人单位必须有用工资质；我国劳动

2022-04-27 19:22:05 350

原创 lua+nginx用户鉴权脚本--get方法

需求: 一个应用暴露在外网,对登录用户做鉴权,相当于白名单用户.原理: 用户在应用首页登录的时候会有get请求,在请求头中会有一串加密的base64字符串,经过jwt在线解码之后可以看到令牌过期时间,用户名以及其他信息,通过linux自带的base64命令依然可以解码出来脚本token.lua-- 获取用户请求头中含有Authorization认证的token信息local token = ngx.req.get_headers()["Authorization"]-- 将token转化为字.

2022-03-05 22:25:36 2779

原创 k8s的 Yaml文件编写与测试用例展示

什么是Yaml 文件？Yaml 是一种用来写配置文件的语言。结构上它有两种可选的类型：Lists [1,2,3,4] 和 Maps {1:111}。List 用 -（破折号）来定义每一项，Map 则是一个 key:value 的键值对来表示。Yaml文件的写法是什么样的大小写敏感(区分大小写)使用缩进表示层级关系缩进时不允许使用Tab键，只允许使用空格缩进的空格数目不重要，只要相同层级的元素左侧对齐即可"#"表示注释，从这个字符一直到行尾，都会被解析器忽略“—” 为可选的分隔符(三个横线,

2022-02-16 23:03:27 2259

原创 k8s集群角色绑定用户

k8s集群角色绑定用户把系统的匿名用户绑定到cluster-admin上kubectl clusterrolebinding system:anonymous --clusterrole=cluster-admin --user=system:anonymous

2022-02-16 22:11:07 1243

原创获取压缩json格式中的某个字段的值

sed 's/,/\n/g' | grep "preferred_username" | sed 's/:/\n/g' | sed '1d' | sed 's/}//g'sed ‘s/,/\n/g’ : 将压缩的json中的,号换成换行符就成了美化后的格式sed ‘s/????\n/g’ | sed ‘1d’ : 找到需要的key之后只显示了一行然后将: 也换成了换行符然后不显示第一行sed ‘s/}//g’: 最后一个sed命令的意思是将最后的花括号“}”用空字符替换，最终得到我们想要

2022-02-16 13:40:38 357

原创 keycloack主从集群以及负载均衡搭建

keycloak 主从安装配置部署情况主机ip角色备注主192.168.88.161master主loadblance从slave部署版本 keycloak-15.0.2.tar.gz主从模式之间会互相同步数据,即使设置从节点对数据库为只读权限基于服务器之间的UDP也会将数据同步拓扑架构[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kHUJiJkG-1644817050508)(image-20220

2022-02-14 13:39:24 2037 3

原创通过编写systemctl来控制二进制部署的MySQL服务

自己给自己看的其他人做为参考[root@node1 ~]# vim /usr/lib/systemd/system/mysqld.service [Unit]Description=MySQLDocumentation=https://www.mysql.com/cn/# 依赖服务，仅当依赖的服务启动之后再启动自定义的服务#After=[Service]# 启动类型，包括simple、forking、oneshot、notify、dbusType=forking# pid文.

2022-02-07 11:20:12 248

原创互信脚本使用

yum install -y expectssh-keygen -t rsa -P "" -f /root/.ssh/id_rsaexport mypass=123456 name=(node1 node2 node3 node4)for i in ${name[@]};doexpect -c "spawn ssh-copy-id -i /root/.ssh/id_rsa.pub root@$i expect { \"*yes/no*\" {send \"yes\r\"; exp_c

2022-02-07 09:48:53 1052

原创数仓分层介绍

文章目录数仓分层的意义是什么?常见的数据分层ODS层: 源数据层DW层: 数据仓库层(也叫作集团数据中心)DA(app)层: 数据应用层更加细分的数仓分层方案1 ODS数据源2 DW数据仓库2.1 DWD明细层：2.2 DWB基础数据层：2.3 DWS服务数据层：3 DM数据集市：4 RPT报表应用数仓分层的意义是什么?作为一名数据的规划者，我们肯定希望自己的数据能够有秩序地流转，数据的整个生命周期能够清晰明确被设计者和使用者感知到。直观来讲就是如图这般层次清晰、依赖关系直观。但是，大多数情况下，

2022-02-05 18:29:57 3447

原创 Hive中的序列化和反序列化

3.1． SerDe是什么SerDe是Serializer、Deserializer的简称，目的是用于序列化和反序列化。序列化是对象转化为字节码的过程；而反序列化是字节码转换为对象的过程。Hive使用SerDe（和FileFormat）读取和写入行对象。将文件数据映射到表上 --反序列化#百度百科解释-->序列化 (Serialization)#是将对象的状态信息转换为可以存储或传输的形式的过程。#在序列化期间，对象将其当前状态写入到临时或持久性存储区。.#以后，可以通过从存储区中读取或

2021-10-19 01:36:39 621

原创 Hadoop之HDFS概念

文章目录1. HDFS设计目标2． HDFS重要特性1． NameNode概述2． DataNode概述3． HDFS的工作机制3.1 HDFS写数据流程3.2． HDFS读数据流程HDFS是Hadoop Distribute File System 的简称，意为：Hadoop分布式文件系统。是Hadoop核心组件之一1. HDFS设计目标硬件故障是常态， HDFS将有成百上千的服务器组成，每一个组成部分都有可能出现故障。因此故障的检测和自动快速恢复是HDFS的核心架构目标。HDFS上的

2021-10-10 17:05:45 402 2

原创线性回归算法

2.1 线性回归简介学习目标了解线性回归的应用场景知道线性回归的定义1 线性回归应用场景房价预测销售额预测贷款额度预测线性关系举例：2 什么是线性回归2.1 定义与公式线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归。通用公式h(w)=w1x1+w2x2+w3x3+...+b=wTx

2021-09-10 20:32:41 1711 1

原创什么是机器学习? (基础篇)

机器学习基础特征值:数据集中的一列(x)目标值:要预测的这一列(y)(连续值(0,1,2,3,4,5…)和离散值(类别型))样本:一行数据,数据集中有多少行数据就是有多少样本[0,1,2,3] 向量特征工程:决定模型预测的效果,对数据进行处理的过程特征提取特征转换降维数据集的划分(历史数据=>y)(7:3,8:2,9:1)训练集(进行训练得到模型)测试集(检测训练的模型效果)真实的y值y_true模型可以得到一个预测的有值y_predy_true和y

2021-09-10 19:45:48 282

原创服务器压力排查 top

top一下找到占比最高的进程复制pid 在另一个终端上执行 top -H -p pid将最耗cpu的线程id转换为16进制输出printf “%x \n” pid会输出一个16进制的字符串jstack pid | grep 16进制字符串 -A 30扔给开发...

2021-09-10 19:35:41 202

原创 mysqldumpslow出数据库中的慢语句

命令mysqldumpslow -s c -t 10 slow.log > slow_result.log统计慢日志里出现次数最多的10条记录主要介绍两个参数-s和-t-s 这个是排序参数，可选的有：al: 平均锁定时间ar: 平均返回记录数at: 平均查询时间c: 计数l: 锁定时间r: 返回记录t: 查询时间-t n 显示头n条记录。...

2021-09-10 19:18:55 97

原创在linux上使用perf火焰图

下载与解压wget https://github.com/brendangregg/FlameGraph/archive/master.zip && unzip master.zip或者yum list perfyum -y install perf.x86_64出图perf record -F 99 -p 14623 -a -g – sleep 60 #执行期间不要退出 -p 进程号执行perf需要root权限请注意 record 表示记录cpu

2021-09-10 18:19:12 589 2

原创电商服务器系统架构常用优化

系统优化：1: 优化所有服务器的最大文件打开数和最大打开进程数2: 开启ntp服务自动同步,保持时间一致组件优化:ES优化:1: ES设置内存到系统内存的45%2: 设置bootstrap.memory_lock: true参数,保持JVM锁定内存，保证ES的性能3: 设置内核参数vm.swappiness=1,避免ES使用到swapNginx优化:1: 调整内核参数net.ipv4.tcp_syn_retries = 6,net.ipv4.tcp_synack_retries=

2021-09-10 18:01:57 138

原创数据类型与格式化输出（python）

数据类型# 数据类型查看的函数 type(数据/变量名)# 基础数据类型:int float bool# 容器类型: str list tuple set dict# 整型int1 = 12print(type(int1)) # <class 'int'># 浮点型float1 = 12.1print(type(float1)) # <class 'float'># 布尔型 (True/False)bool1 = Trueprint(type(

2021-07-31 14:31:41 244 1

原创 IPtables

文章目录常用命令添加防火墙规则禁止ip的端口访问清除防火墙规则设置禁止访问的区别 "REJECT"和"DROP"常用命令添加防火墙规则禁止ip的端口访问# 添加防火墙规则禁止ip的端口访问解决方法：禁止特定ip访问8501端口的命令0：iptables -I INPUT -s 192.168.0.232 -ptcp --dport 8501 -j DROP允许特定ip访问8501端口的命令1：iptables -D INPUT -s 192.168.0.232 -ptcp --dport

2021-04-08 15:45:29 216

原创针对kdevtmpfsi病毒内容的分析与清理

中毒症状：服务器cpu负载升高 top查看进程会发现一个名为kdevtmpfsi 的程序在占用杀掉之后重启可以推测有守护进程排查后守护进程为kinsing杀掉守护进程间隔一会又重新启动定时任务中有每秒都在执行的脚本要删掉间隔一星期或者两个星期又卷土重来建议挖矿程序可以通过docker镜像下载服务和redis 动态加载配置获取主机权限1、平时中间件要绑定内网网卡，禁止bind 0.0.0.0的情况出现2、用低权限用户启动3、统一更换常用端口4、redis设置2.

2020-12-28 20:32:33 30066 1

原创巡检脚本

#!/bin/bash#参数定义date=`date +"%Y-%m-%d-%H:%M:%S"`centosVersion=$(awk '{print $(NF-1)}' /etc/redhat-release)VERSION=`date +%F`#日志相关LOGPATH="/tmp/awr"[ -e $LOGPATH ] || mkdir -p $LOGPATHRESULTFILE="$LOGPATH/HostCheck-`hostname`-`date +%Y%m%d`.txt"#调

2020-12-23 19:08:25 564

原创 nmap简单实用

nmap用法下载对目标主机的所有端口扫描对目标主机指定端口进行扫描扫描内网整个网段主机nmap是一个端口扫描工具与telnet不同的是它可以扫描指定主机的所有开放端口（内网）多一个工具就多一份快乐下面来介绍一些基本用法运维用这些也就足够了下载直接yum安装就完事yum install nmap -y对目标主机的所有端口扫描nmap $ip对目标主机指定端口进行扫描[root@iZ0hu06awjetsqghsnzmleZ ~]# nmap -n --open -p 8

2020-11-19 17:25:49 106

原创计算机网络原理—课后习题解答

文章目录计算机的网络发展可以分为哪几个阶段？各有什么特点？计算机网络可以分为哪两大子网？它们各实现什么功能？简述各种网络拓扑类型的优缺点广播式网络与点对点式网络有何区别局域网广域网和城域网的主要特征早期的计算机网络中，哪些技术对后日后的发展产生了深远的影响？简述计算机网络的功能缩写名词解析计算机的网络发展可以分为哪几个阶段？各有什么特点？20世纪50年代初-----面向终端的计算机网络（一台中央主计算机连接大量的地理上处于分散位置的终端。半自动地面防空系统）20世纪60年代中期-----计算

2020-11-12 16:39:54 2061

原创 java自学笔记

文章目录java自学笔记java发展史jvm概述java自学笔记java发展史简介：讲解java的编程历史，jdk、jre、JVM区别和概述计算机语⾔言发展历史第⼀代计算机语⾔言：01010100010111000第⼆代汇编语⾔言00000011写成汇编语⾔言就是 ADD，只要还原成⼆二进制，汇编语⾔言就可以被 CPU 直接执⾏行行，所以它是最底层的低级语⾔言第三代⾼高级语⾔言⾯面向过程：c，Fortran ⾯面向对象：c++，java，c#jvm概

2020-10-10 10:39:46 95

原创 The connection to the server XXX:xxx was refused - did you specify the right host or port?

文章目录yum安装k8s遇到此问题时报错提示配置方法实际场景应用设置别名永久生效关于这个报错的解答大部分都是kube-admin安装的报错但是关于yum安装的几乎没有不过也是十分简单kube-admin安装出现此问题的原因以及解决方法yum安装k8s遇到此问题时报错提示这个是在node节点使用时会出现此问题报错的大致意思是询问kube-apiserver的地址是本机的8080端口吗? 有没有设置正确。配置方法kube-apiserver组件是安装在master节点的在其他

2020-09-09 17:32:11 1724

原创 elasticseach集群添加prometheus监控

elasticsear监控配置修改3台主机的配置elasticsearch_exporter-1.1.0.linux-amd64/deployment.yml启动elasticsearch_exporternohup ./elasticsearch_exporter &修改 prometheus配置prometheus-2.12.0.linux-amd64/prometheus.yml添加job_name- job_name: 'elasticsearch' sc

2020-09-09 10:22:43 918

原创 shell 脚本整理

如果前一条命令执行成功则…if [ $? -eq 0 ];thenecho -e "successful"elseecho "filed"fi如果不是root用户则…判断用户是不是XXX id号是否为XX 不是则返回if [[ `whoami` = "root" && `id -u` -eq 0 ]];thenecho "该用户为root"elseecho -e "\e[1;31mERROR: 当前为非root用户登录,该服务需要以root权限运行!\e[0

2020-08-26 00:34:47 295

原创通过jenkins+gitlab构建CI/CD流水线

持续集成教程1.Devops是什么开发 development运维 operations2.Devops能干嘛`Devops 是一种理念一种文化对应的方法论是6sigma、约束理论等管理模式`提高产品质量1 自动化测试2 持续集成3 代码质量管理工具4 程序员鼓励师3.Devops如何实现既然这么好？为什么有些公司没有设计架构规划-代码的存储-构建-测试、预生产、部署、监控遥想当年，软件程序员的大部分办公司那时还被称作实验室，程序员那时还叫做科学家。为了.....

2020-08-26 00:01:56 2545

docker离线包 Docker version 20.10.12

jdk-8u102-linux-x64.rpm

方法二.png

空空如也