qq_19550657的博客

原创 HAPROXY负责均衡测试

测试场景1：已经进入应用的请求，请求尚未响应完毕。将haproxy此应用的状态改成下线。请求是否能够正常响应到客户端。测试场景2：已经进入应用的请求，将应用Kill -9 关闭掉，haproxy是否能够自动重试，将请求分发到其他应用。1.在controller加入代码： @RequestMapping("/testSlowResponse.do") @ResponseBod...

原创 spring cloud gateway 网关服务 以及与zipkin , config 集成

上面的config应用，zipkin应用都已经注册到eureka上面，但是他们与具体的应用如何集成呢？ 详情请看如下配置：bootstrap.yml xxh:eureka: node1: 192.16.50.76 node2: 192.16.50.77 node3: 192.16.50.78 port: 8886gateway: node1: xxhl...

原创 springboot + mybatis+多数据源配置

此示例支持多种数据类型的数据源。思路：1.springboot默认配置是单数据源的，Mapper也是自动绑定到数据源的。所以要实现多数据源，必须先禁用掉springboot的默认配置。然后实现自定义的数据源，Mapper也需要自定义绑定数据源。2.关于事务，对于跨数据源的事务，最好根据实际业务，通过不同数据源Service组合和实现。3.同一个service方法只能用一个事务管理器...

原创 scrapy+splash爬取动态网页

1.环境：windows x64位，scrapy，splash，python3.6，Eclipse4.4，pydev4.4.5,virtual box5.2,Centos-7-x86-64-minimal-17082.首先去官网下载python3.6，进行安装，安装注意要把python勾选加入系统path。3.打开CMD窗口执行python -m pip install --upgrade...

原创 kubernetes启动pod，pod状态一直不正常

kubernetes启动pod，pod状态一直不正常，查看pod状态显示  image pull failed for registry.access.redhat.com/rhel7/pod-infrastructure:latest, this may be because there are no credentials on this request.  details: (open /e...

原创 容器内存指标

memsw_limit=$(cat /sys/fs/cgroup/memory/memory.memsw.limit_in_bytes) --交换区限制值。kmem_usage=$(cat /sys/fs/cgroup/memory/memory.kmem.usage_in_bytes) ---内核使用内存。usage=$(cat /sys/fs/cgroup/memory/memory.usage_in_bytes) ---APP总使用内存。

原创 Nacos配置容器内的应用客户端指定IP却无效果

3.1 跟踪发现NacosDiscoveryConfiguration的nacosWatch方法会重置 NacosDiscoveryProperties的ip和port属性。3.debug注册流程发现问题，通过倒推应该是某些点改变了NacosDiscoveryProperties里面的IP和port。InetAddress.getLocalHost().getHostName()自动获取ip覆盖掉我们自己设置的值。2.配置无效果，注册上去的并不是，我们给的Ip。

原创 分库分表表结构检查脚本

分库分表表结构检查脚本

原创 dump指定内存地址

dump指定内存地址

原创 pmap gdb 分析堆外内存泄露情况

内存分析

原创 高并发-防止雪崩与穿透

高并发

原创 shell 动态执行sql脚本

shell 动态执行sql脚本

原创 tomcat线程池监控，预警

2.如果springboot>2.2的需要开启mbean注册，否则无法获取到线程池对象。//基本不使用的协议。

原创 如何查找Redis中有但是DB没有的Key

如何查找Redis中有但是DB没有的Key

原创 OHC系统吞吐提升

单机想突破性能瓶颈，即使用上Redis,ES这些缓存神器，但是也无法突破网络操作的耗时瓶颈，项目中的基础数据可考虑堆外缓存，整体提升系统吞吐，同时又不用担心GC导致JVM响应变慢，系统接口也跟着变慢。package com.iamdog.rest;import com.alibaba.fastjson.JSON;import javafx.util.Pair;import org.caffinitas.ohc.OHCache;import org.springframework.web.bin

原创 java应用Out of Memory的情况下，spring事务会回滚嘛？

第一步：打开msdn.microsoft.com;

原创 psql: FATAL: role “postgres“ does not exist

1.如果你当前用户是createuser: could not connect to database postgres: FATAL: role "postgres" does not exist

原创 Python导出Excel.

import xlwtimport pymysqlimport osfrom stc00 import sql00from stc01 import sql01from stc02 import sql02from stc03 import sql03from stc04 import sql04from stc05 import sql05from stc06 import sql06from stc07 import sql07class MYSQL: def __init_.

原创 arthas热部署测试-是否会中断已进入应用的用户线程

启动一个sprint-boot工程，增加controller，增加方法。@RequestMapping("/testRefineClass") public String testRefineClass() throws Exception{ Thread.currentThread().sleep(15000); return testArthasRefine; }...

原创 python 交叉下载，跨操作系统下载安装包

pip download pandas --python-version 36 --only-binary=:all: --platform manylinux1_x86_64 -d E:\python-package

原创 脚本注入

https://cart.jd.com/gate.action?pid=100018640844&pcount=1&ptype=1 加入购物车，点击结算，提交订单。https://marathon.jd.com/seckill/seckill.action?skuId=100018640844&num=1&rid=1614914986抢购连接：https://marathon.jd.com/seckill/seckill.action?skuId=10001864.

原创 git&gitlab本地项目如何初始化到gitlab服务器

1.登陆到gitlab服务器，创建project.2.得到project的git地址：http://git.abc.com/mygrp/project1.git3.在本机建立文件夹git_workspace.4.在cmd窗口进入git_workspace，运行git init5.运行git clonehttp://git.abc.com/mygrp/project1.git master6.将自己的项目copy到master文件夹下面7.tortoiseGit 选中要提交的，进行..

原创 非web环境，使用redis连接池lettuce

public static void main(String[] args) throws Exception{List<String> nodes=new ArrayList<>(); nodes.add("144.108.38.243:7001"); nodes.add("144.108.38.243:7002"); nodes.add("144.108.38.243:7003"); nodes.add("...

原创 Excel VB脚本，下拉框多选

1.数据-数据验证，先做出单选效果 在弹出的数据验证窗口选择 序列，然后选择下拉的数据来源2.开发者工具-VisualBasic 在打开的窗口里面，选择需要下拉的sheet页，然后双击sheet,打开VB的脚本窗口在窗口输入一下。3.开发者工具-宏-宏安全性 启用所有宏。Option ExplicitSub Worksheet_Change(ByVal Target As Range)'让数据有效性选择 可以多选,重复选Dim rngD...

原创 微服务集群环境零停机发布脚本

#通知负载均衡haproxy器将我下线，负载均衡有3个管理端口，分别管理3个内核进程。curl -u admin:123456 -d "s=app_198_1&action=drain&b=#12" -o /dev/null "http://10.0.0.1:19100/admin_status"curl -u admin:123456 -d "s=app_198_1&action=drain&b=#12" -o /dev/null "http://10.0.0...

原创 Haproxy热加载配置文件。

haproxy -f /etc/haproxy/haproxy.cfg -p /var/run/haproxy.pid -sf $(cat /var/run/haproxy.pid)如果之前服务器未保存PID到文件可以修改/var/run/haproxy.pid将进程ID放到文件里面，每个PID占一行即可。

原创 Redisson分布式锁有效性测试

Redisson在分布式应用+Redis集群模式下锁的有效性验证

原创 df -h 卡住

etc/fstab文件的作用：系统分区信息/etc/mtab文件的作用：文件管道系统vi /etc/fstab 查看挂载的IP中是否有ping 不通的。vi /etc/mtab 查看挂载的IP中是否有ping 不通的。ping不通的记录删除掉。...

原创 linux服务器parse时间字符串与date命令的出来的日期差一天

vi ~/.bashrc 加入以下内容TZ='Asia/Shanghai'export TZsource ~/.bashrc重启服务即可

原创 Haproxy 软下线的几种方式。

由于最近做微服务化，原有的haproxy通过检测应用的check.jsp来进行应用健康状态检查，发布版本时，通过mv check.jsp check.jsp.bak，让应用下线。但是微服务spring-boot工程都是jar包，虽然可以通过7z命令来进行jar包内的文件重命名，或者删除，这样总感觉很low，破坏了jar包的完整性，存在一定的操作风险。虽然spring-boot有优雅停机功能...

原创 MobaXterm使用注意事项

X11 request failed on channel 01.linux主机必须安装xauth . yum install xauth2.ssh服务的X11Forwarding yesMobaXterm 可以让没有安装可视化操作界面的主机通过MobaXTerm的XServer运行可视化软件。...

原创 Grafana Alter 参数配置

原创 定位高耗CPU线程正在执行的代码

1. top 命令查看高耗CPU的PID2.根据PID，top -Hp PID ，查看一直100%CPU的线程。3.将线程ID转换为16进制。4.jstack PID > stack.log5.根据16进制的线程ID，查到其对应的stack，此时可看到高耗CPU的具体对应的代码。 5.1如果查到是是GC线程，说明JVM已经Full GC，此时jmap -heap...

原创 Oracle使用sqlplus根据sql导出部分数据

#!/bin/shexport LANG=en_US.UTF-8export NLS_LANG="Simplified Chinese_china".al32utf8../oracleClient/sqlplus -S username/passwd@IP:PORT/sid << EOF >/dev/nullset term off verify off feedba...

原创 MYSQL命令行设置客户端编码

在linux机器上，本机只是作为客户端连接远程mysql服务器，mysql客户端命令环境的编码集需要单独设置。在/etc/my.cnf/加上：[client]default-character-set=utf8一般mysql客户端如果没有设置编码集，mysql命令环境默认编码是latin，source脚本的时候，如果服务器编码是utf8，导入中文脚本会出现乱码。...

原创 elasticsearch log索引清理

为了尽量最大使用磁盘空间，索引的生存时间设置为最大，当磁盘使用达到一定的比例时，用shell脚本删除索引#!/bin/shdiskLeft=`df -h | grep xxhlog(替换你自己的磁盘标识) | awk '{print substr($5,1,2)}'`if [ $diskLeft -gt 85 ]thentop1Index=`curl 'yourIP:9200/...

原创 高吞吐Linux服务器内核参数调优配置

fs.aio-max-nr = 1048576fs.file-max = 6815744kernel.core_uses_pid = 1kernel.msgmnb = 65536kernel.msgmax = 65536kernel.sem = 250 32000 128 512kernel.shmmni = 4096#net.bridge.bridge-nf-call-ip6t...

原创 spring cloud 优雅停机部署 spring boot

spring boot 应用优雅关机完美的停机步骤应该实现以下步骤：第一步: 向Eureka Server Delete/Down 掉注册信息第二步：查看spring boot应用是否还有用户相关的线程：即tomcat的用户线程是否都运行完毕，比如一个用户的查询已经进入改应用，应该等待其响应完毕。第三步：如果没有正在运行的线程，则停掉应用，发布版本。如果有则等等待。第四步：发完完毕完...

原创 spring cloud sleuth 服务跟踪

一般sleuth是指服务跟踪的客户端，再每个应用引入相关的包就可以进行服务跟踪。简单的服务跟踪组成部分可分为:客户端，服务端，存储器。复杂的可以分成：客户端收集跟踪信息发送到消息中间件（rabbitmq,kafka等），然后服务端从消息中间件取数据，然后持久化存储。客户端只要引入相关的jar包，配置好采样器的采样频率以及消息中心服务的URL即可。本文主要讲解zipkin作为服务收集跟踪信息...

原创 spring cloud config 统一配置管理

spring cloud 版本GreenWich.SR21.一般我们把配置上传到git.abcde.com，配置的文件名按照 应用名（spring.application.name）-开发环境（spring.profiles）-分支(不写默认master).yml进行命名。例如xxh-cloud-gateway-dev.yml2.新建spring cloud config应用，我们可以根...