洪小帮主-CSDN博客

原创 docker安装kafka和zookeeper

1下载镜像docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 2启动zookeeper容器docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper3 启动kafka容器docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_

2021-04-20 10:19:07 211

原创 devops实践

随着公司业务的快速发展，需要加快开发流程的规范化和自动化，以提高产品的开发效率和交付效率。之前的开发测试和资源管理主要是半自动化的，个人生产力和资源利用率仍有很大提升空间。在DevOps的具体实践中，一方面， Gerrit + GitLab + Jenkins + CMP（Ansible）共同构建了更好的 CI/CD 流程，对自动化持续交付流水线进行了优化；另一方面，CMP（Self-Service Portal）帮助建立了自服务自运维门户，公司所有人员都可以通过统一的门户自助申请各类资源，并自助完成日常运

2020-07-09 18:00:56 407

原创 confluence的docker-compose文件

version: '2'services: mysql: image: mysql:5.7 container_name: mysql-confluence volumes: - ./mysql/:/etc/mysql/conf.d/ - ./db_data:/var/lib/mysql restart: always ports: - "3316:3306" environment: MYSQL_ROO.

2020-07-09 17:43:53 344

原创 docker-SonarQube配置docker-compose

version: '3'services: postgres: image: postgres:12 restart: always container_name: postgres ports: - 5432:5432 volumes: - /opt/postgres/postgresql/:/var/lib/postgresql - /opt/postgres/data/:/var/lib/postgresql/data.

2020-07-09 17:42:56 437

原创 alibaba nacos 配置文件

#*************** Spring Boot Related Configurations ***************#### Default web context path:server.servlet.contextPath=/nacos### Default web server port:server.port=8849#*************** Network Related Configurations ***************#### If pre.

2020-07-09 17:40:59 1223

原创 elastic集群搭建之docker环境

elastic集群搭建之docker环境docker-compose文件version: '2.2'services: es01: image: docker.elastic.co/elasticsearch/elasticsearch:7.4.2 container_name: es01 environment: - node.name=es01 - cluster.name=es-docker-cluster - discovery

2020-07-09 17:38:35 381

原创国内ip地址段，自取

1.0.1.0/241.0.2.0/231.0.8.0/211.0.32.0/191.1.0.0/241.1.2.0/231.1.4.0/221.1.8.0/211.1.16.0/201.1.32.0/191.2.0.0/231.2.2.0/241.2.4.0/221.2.8.0/211.2.16.0/201.2.32.0/191.2.64.0/181.3.0.0/161.4.1.0/241.4.2.0/231.4.4.0/221.4.8.0/211.4.16.0

2020-07-08 17:40:12 16827

原创 Http请求方法的区别

一、HttpRequest 请求方法根据HTTP标准，HTTP请求可以使用多种请求方法。HTTP1.0定义了三种请求方法： GET, POST 和 HEAD方法。HTTP1.1新增了五种请求方法：OPTIONS, PUT, DELETE, TRACE 和 CONNECT 方法。GET 请求指定的页面信息，并返回实体主体。HEAD 类似于get请求，只不过返回的响应中没有具体的内容，用于获取报头POST 向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求

2020-06-17 14:50:34 2501

原创 30条数据库设计规范

一、基础规范（1）必须使用InnoDB存储引擎解读：支持事务、行级锁、并发性能更好、CPU及内存缓存页优化使得资源利用率更高（2）必须使用UTF8字符集解读：万国码，无需转码，无乱码风险，节省空间（3）数据表、数据字段必须加入中文注释解读：N年后谁tm知道这个r1,r2,r3字段是干嘛的（4）禁止使用存储过程、视图、触发器、Event解读：高并发大数据的互联网业务，架构设计思路是“解放数据库CPU，将计算转移到服务层”，并发量大的情况下，这些功能很可能将数据库拖死，业务逻辑放到服务层具备更好

2020-06-11 18:09:40 476

原创互联网架构，如何进行容量设计？流量峰值QPS

一、需求缘起互联网公司，这样的场景是否似曾相识：场景一：pm要做一个很大的运营活动，技术老大杀过来，问了两个问题：（1）机器能抗住么？（2）如果扛不住，需要加多少台机器？场景二：系统设计阶段，技术老大杀过来，又问了两个问题：（1）数据库需要分库么？（2）如果需要分库，需要分几个库？技术上来说，这些都是系统容量预估的问题，容量设计是架构师必备的技能之一。常见的容量评估包括数据量、并发量、带宽、CPU/MEM/DISK等，今天分享的内容，就以【并发量】为例，看看如何回答好这两个问题。二、容量评

2020-06-11 18:04:20 1146

原创修复mysql8.0大小写敏感的问题

mysql8的大小写敏感配置比较坑，根据官方文档可以发现，该配置只能在数据库初始化之前配置。之后添加该配置会导致mysql服务无法启动。因此这里记录下重新初始化的方法：将数据库下所有数据保存备份，如果你不在意数据的话直接删除数据。1 停止MySQL2 删除 MySQL的数据 /var/lib/mysql3 修改该 lower_case_table_names = 14 启动 mysql5 搞定在重新初始化之后所有账号数据都会被重置，这里需要查看重新初始化的root账户登陆密码：查看临时密码

2020-05-28 17:25:51 3182 3

原创 centos服务器修改时区和时间

时区文件CentOS 和 Ubuntu 的时区文件是 /etc/localtime , 但是在 CentOS7 以后 localtime 以及变成了一个链接文件 : ll /etc/localtime lrwxrwxrwx. 1 root root 38 Mar 13 2017 /etc/localtime -> ../usr/share/zoneinfo/America/New_York修改时区CentOS6 , Ubuntu16 修改方法 : cp /usr/share/zonei

2020-05-27 11:16:11 1235

原创 mysql8.0 tinyint字段长度修改时无效

ALTER TABLE risk_rule MODIFY type TINYINT(4);show warnings;会提示Integer display width is deprecated and will be removed in a future release：整数显示宽度已弃用，将在以后的版本中删除解决方法：不指定宽度如：INT 后面不要加宽度Integer display width is deprecated and will be removed in a future re

2020-05-14 14:34:22 7858

原创 MySQL8.0 ibd2sdi 根据ibd文件恢复表结构

ibd文件在8之前InnoDB存储表的结构和数据时，分别存储在frm文件和ibd文件。而在8的时候全都存到了ibd文件里。。。。。。如果你把mysql搞崩了…比如我手贱把preformance_shcema表删了…相信这回帮到你。ibd2sdiOracle 将frm文件的信息及更多信息移动到叫做序列化字典信息（Serialized Dictionary Information，SDI），SDI被写在ibd文件内部，它是数据字典包含的信息的一个冗余副本。为了从IBD文件中提取SDI信息，Oracle

2020-05-14 10:08:51 3789 1

原创 MySQL8.0恢复表空间步骤

MySQL如何恢復表空間？這不是新的信息，但我沒有多說，所以現在為那些需要它的人解決它。如果您丟失了ibd文件…您將丟失數據。因此，如果您有一個可用的副本…或者即使您從另一個數據庫同步，您仍然可以導入它。什麼/你如何失去表空間？這是一個恢復表空間的簡單示例。mysql> Create database demo;mysql> use demo;mysql> CREATE TABLE `demotable` (-> `id` int(11) NOT NULL AU

2020-05-13 19:57:28 1030

转载 JAVA线上故障排查全套路

线上故障主要会包括cpu、磁盘、内存以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。同时例如jstack、jmap等工具也是不囿于一个方面的问题的，基本上出问题就是df、free、top 三连，然后依次jstack、jmap伺候，具体问题具体分析即可。CPU一般来讲我们首先会排查cpu方面的问题。cpu异常往往还是比较好定位的。原因包括业务逻辑问题(死循环)、频繁gc以及上下文切换过多。而最常见的往往是业务逻辑(或者框架逻辑)导致的，可以使用jsta

2020-05-13 11:10:31 215

原创 crontab 踩坑指南，每小时执行一次 * /1 * *

正确的命令：0 */1 * * *crontab中的参数意思是：* * * * * command分时天月周命令当我想让命令每小时执行一次时：当时输入了：* */1 * * *结果是每分钟执行。因为我在分（第一个*）上，没有指定具体的分钟，因此他就默认了每分钟执行一次，也就是说：* */1 * * * = */1 * * * * = * * * * *举例：每天3点1分执行一次1 3 * * * command...

2020-05-13 10:56:55 5879

原创记录一下线上gc调优的过程

近期公司运营同学经常表示线上我们一个后台管理系统运行特别慢，而且经常出现504超时的情况。对于这种情况我们本能的认为可能是代码有性能问题，可能有死循环或者是数据库调用次数过多导致接口运行过慢。应领导要求，我们将主站中进行性能测试的框架代码（见我前面一篇博文记录一次通过性能日志处理线上性能问题的过程）添加到了该后台管理系统中。上线运行一段时间后，查看相关日志可以看到如下分析日志：性能分析日志通过该日志可以发现，dao方法一直获取不到数据库链接池，但是根据实际情况考虑应该不大可能，原因有两点：主站和后台管

2020-05-12 11:28:12 1629

原创持续更新阿里云漏洞修复

1、RHSA-2015:0794-中危: krb5 安全更新修复命令：yum update krb5-libs2、RHSA-2017:1860-中危: libtasn1 安全和BUG修复更新修复命令：yum update libtasn13、USN-3134-1: Python 漏洞修复命令：apt-get update && apt-get install pyt...

2020-04-13 10:21:53 1762

原创 elasticsearch:7.4.2 的docker compose文件

elasticsearch:7.4.2 的docker-compose.yml文件version: '2.2'services: es01: image: elasticsearch:7.4.2 container_name: es01 environment: - node.name=es01 - cluster.name=es-docke...

2020-03-31 17:46:23 311

原创 zabbix表结构整理

想理解zabbix的前端代码、做深入的二次开发，甚至的调优，那就不能不了解数据库的表结构了。我们这里采用的zabbix1.8、mysql，所以简单的说下我们mysql这边的表结构，其他环境不保证正确。mysql> show tables;+-----------------------+| Tables_in_zabbix |+----------------------...

2020-03-05 15:49:27 265

原创 docker compose方式部署rabbitmq

镜像选择：选择rabbitmq:3-management是因为带有web管理功能的如果是rabbit:3.7.8 这种版本需要进入容器内部执行docker exec -it rabbitnq bashrabbitmq-plugins enable rabbitmq_managementdocker-compose文件如下：version: '2'services: rabbit...

2020-01-17 16:06:40 1219

原创 docker compose理解

docker compose实际用例Docker Compose是一个编排多容器分布式部署的工具，提供命令集管理容器化应用的完整开发周期，包括服务构建，启动和停止。官网地址Compose 中有两个重要的概念：服务 ( service )：一个应用的容器，实际上可以包括若干运行相同镜像的容器实例项目 ( project )：由一组关联的应用容器组成的一个完整业务单元，在 dockercomp...

2020-01-16 15:27:09 415

原创记录一下centos7安装rabbitmq遇到的坑

一、安装Erlang1.安装Erlang编译依赖:yum -y install gcc glibc-devel make ncurses-devel openssl-devel xmlto perl wget2.下载Erlang：wget http://www.erlang.org/download/otp_src_19.3.tar.gz3.解压并安装tar -xzvf otp_src...

2020-01-16 14:46:27 6808 1

原创利用ADB调试桥免ROOT卸载安卓预装应用

利用ADB调试桥免ROOT卸载安卓预装应用用过安卓的小朋友都知道绝大多数手机厂商（尤其是国产手机厂商）都会在出厂前预装一大堆乱七八杂的应用。这些软件大多无法删除，占用空间不说，还严重影响使用体验，甚至可能存在安全隐患。虽然可以通过root来解决问题，但是root并不是每个人都有能力尝试的，而且很多机型并没有成熟的root方案。大多手机root后无法保修的政策，更是让人不敢去root。那么有没有...

2019-10-12 16:27:21 902

原创【Redis】获取没有设置ttl的key脚本

一前言在运维Redis的时候，总会遇到使用不规范的业务设计，比如没有对key设置ttl，进而导致内存空间吃紧，通常的解决方法是在slave上dump 出来所有的key ，然后对文件进行遍历再分析。遇到几十G的Redis实例，dump + 分析会是一个比较耗时的操作，为此，我开发了一个小脚本直接连接Redis 进行scan 遍历所有的key，然后在检查key的ttl，将没有ttl的key输出到...

2019-09-04 16:15:21 918

原创 Redis 内存分析方法

背景线上经常遇到用户想知道自己 Redis 实例中数据的内存分布情况。为了不影响线上实例的使用，我们一般会采用 bgsave 生成 dump.rdb 文件，再结合 redis-rdb-tools 和 sqlite 来进行静态分析。总的来说，整个分析的过程简单而实用，是每一个 Redis 的用户都非常值得掌握的一个方法。创建备份自建 Redis 可在客户端执行 bgsave 生成 rdb 文件...

2019-09-04 14:49:07 297

转载 redis 模糊删除key

redis-cli KEYS “pattern” | xargs redis-cli DELRedis keys命令支持模式匹配，但是del命令不支持模式匹配，有时候需要根据一定的模式来模糊删除key，这时只能结合shell命令来完成了。具体命令是：redis-cli KEYS “pattern” | xargs redis-cli DEL其中pattern是keys命令支持的模式，这样就...

2019-09-04 12:00:55 692

原创 weblogic发序列化命令执行漏洞工具分享

weblogic发序列化命令执行漏洞工具分享weblogic发序列化命令执行漏洞工具分享（链接: https://pan.baidu.com/s/1qE5MFJ32672l-MMl-QL-wQ 密码: d85j）JBOSS_EXP 工具分享（链接: https://pan.baidu.com/s/1SF_0oSN_lar9dkTWOZKDDw 密码: zfrd）oracle提权执行命令工具o...

2019-07-30 09:46:54 1986 1

转载未授权访问漏洞总结(redis,couchdb,jenkins,mongo,Elasticsearch,Memcache,Docker)

0x01 介绍Copy from https://paper.seebug.org/409/未授权访问可以理解为需要安全配置或权限认证的地址、授权页面存在缺陷，导致其他用户可以直接访问，从而引发重要权限可被操作、数据库、网站目录等敏感信息泄露。目前主要存在未授权访问漏洞的有：NFS 服务，Samba 服务，LDAP，Rsync，FTP，GitLab，Jenkins，MongoDB，Redis...

2019-07-21 19:48:44 400

原创 redis未授权访问漏洞利用

参考：https://blog.csdn.net/guxiaoguo/article/details/78913245利用条件：linux，对方开启ssh用到的工具：kail nmap redis公司测试服务器：10.0.3.45redis默认端口：6379主要思路：利用redis未授权访问命令给root账户写入SSH公钥文件，然后通过SSH登录服务器nmap扫描使用命令：nmap ...

2019-07-19 13:56:30 319

原创 centos7 安装maven过程

centos7 安装maven进入指定目录cd /usr/local/src/下载maven 包wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz解压改名tar zxf apache-maven-3.1.1-bin.tar.gz移动文件夹m...

2019-05-29 10:45:47 268

原创 CentOS7 yum 安装git过程

1.查看系统是否已经安装gitgit --version2.CentOS7 yum 安装gityum install -y git3.安装成功4.卸载gityum remove git

2019-05-29 10:42:54 551

原创 CentOS卸载MySQL的方法 yum remove mysql

CentOS卸载MySQL的方法 yum remove mysql[root@kypulo lampp]# rpm -qa|grep mysqlmysql-community-release-el6-5.noarchmysql-community-client-5.6.20-4.el6.i686mysql-community-libs-5.6.20-4.el6.i686mysql...

2019-05-28 17:21:28 1801

转载 linux服务器git pull/push时提示输入账号密码之免除设置

1、先cd到根目录，执行git config --global credential.helper store命令[root@iZ25mi9h7ayZ ~]# git config --global credential.helper store2、执行之后会在.gitconfig文件中多加红色字体项[user]name = 天明email = [email protected][creden...

2019-05-28 17:17:36 430

原创 git-查看远程分支、本地分支、创建分支

1.查看本地分支$ git branchbr-2.1.2.2master2.查看远程分支$ git branch -rorigin/HEAD -> origin/masterorigin/feature/IOS_visualtrackorigin/feature/android_visualtrackorigin/master3.查看所有分支复制代码$ git b...

2019-04-22 15:40:50 997

原创 Mysql 通过frm&ibd 恢复数据

Mysql 通过frm&amp;ibd 恢复数据mysql存储在磁盘中，各种天灾人祸都会导致数据丢失。大公司的时候我们常常需要做好数据冷热备，对于小公司来说要做好所有数据备份需要支出大量的成本，很多公司也是不现实的。万一还没有做好备份，数据被误删除了，或者ibdata损坏了怎么办呢？别担心，只要有部分的frm、ibd存在就可以恢复部分数据。注意：一、这个是对innodb的数据恢复。my...

2018-09-17 14:52:38 225

原创 MySQL慢查询日志分析

MySQL慢查询日志分析一：查询slow log的状态，如示例代码所示，则slow log已经开启。mysql&gt; show variables like '%slow%';+---------------------+------------------------------------------+| Variable_name | Value ...

2018-09-17 11:25:11 97

原创两台服务器搭建zookeeper集群

两台服务器搭建zookeeper集群ZooKeeper做三节点集群，启动后报错如下：[root@centos conf]# zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /usr/local/src/zookeeper-3.4.10/bin/../conf/zoo.cfgStarting zookee...

2018-09-12 16:42:28 6939 5

原创两台服务器搭建redis集群

两台服务器搭建redis集群### 两台服务器，各启动三个实例，形成三主三从实验机器IP： 172.31.25.110 172.31.25.111系统环境：centos 71、安装所需环境和工具yum -y install wget vim tcl gcc make2、下载redis 压缩包并解压cd /usr/local/wget http://download.redi...

2018-09-12 16:38:08 5738 2

梦幻西游界面

JUnit不知道怎么写，求大神来一篇，然后我仿照着做啊～～～跪谢