- 博客(187)
- 资源 (26)
- 收藏
- 关注
RSS订阅原创 tsl证书制作
一、自定义认证中心1.创建根证书密钥文件openssl genrsa -out ca.key 20482.创建自签名根证书openssl req -x509 -sha256 -new -key ca.key -sha256 -days 3650 -out ca.crt二、服务端1. 创建服务端密钥openssl genrsa -out server.key 20482. 创建服务端证书签名请求文件openssl req -new -key server.key..
2020-09-02 18:34:11
635
原创 Springboot异常处理
一、异常处理开关配置1. application.yml配置文件中新增配置spring: errors: controller: true attributes: true controller-advice: true二、定义异常类1.NonExistingUserException.javapackage com.zsx.exception;import lombok.extern.slf4j.Slf4j;@Slf4jpublic clas.
2020-08-22 16:27:01
1217
原创 Springboot下的WebRequest获取Requestbody参数
背景：因为RequestBody是以流的形式读取，流读取一次以后就没有了，所以HttpServletRequest 的 getInputStream() 和 getReader() 都只能读取一次。如果想要通过WebRequst再次获取RequestBody中的参数，首先需将RequestBody保存，然后通过自定义HttpServletRequestWrapper类，重写当中getReader()和getInputStream()方法；然后再通过Filter中将ServletRequest替换为自定的Ht
2020-08-22 15:30:49
3018
原创 kibana配置x-pack
背景：基于上篇es配置x-pack一、编辑文件1 在es-docker-compose.yml配置文件中新增kibana配置 kibana01: image: docker.elastic.co/kibana/kibana:7.7.0 container_name: kibana01 environment: CERTS_DIR_KIBANA: ${CERTS_DIR_KIBANA} volumes: - ${PWD}/config/.
2020-07-14 15:34:54
2591
原创 es配置x-pack
环境背景：Ubuntu 20.04 LTS、es-7.7.0、docker-19.03.8、docker-compose-1.25.5参考链接：https://www.elastic.co/guide/en/elasticsearch/reference/current/configuring-tls-docker.html一、新建文件1.1在目录/data/operations下分别创建如下3个文件1.1.1 .env文件内容# Use an es_ prefix for al.
2020-07-14 12:04:06
1281
原创 metricbeat收集http指标
背景：在metricbeat收集redis日志以及系统日志、python接收请求参数 基础上进行，部分简单内容省略一、查看容器ipdocker inspect metricbeat | egrep IPAddress二、编辑metricbeat.yml配置文件1. 新增http模块的配置 #--------------------------------- HTTP Module --------------------------------- - module: ht.
2020-07-03 16:51:13
839
原创 springboot整合es7.8
注：此处spirngboot部分省略背景：在gradle项目整合flyway、jooq插件基础上进行一、引入依赖implementation group: 'org.elasticsearch.client', name: 'elasticsearch-rest-high-level-client', version: '7.8.0'二、添加配置# ES配置es: hosts: [zsx-2.local:9200] scheme: http三、四、...
2020-07-02 09:41:28
915
原创 python接收请求参数
#!/usr/bin/python3# -*- coding: UTF-8 -*-import randomimport stringfrom flask import Flask, jsonify, requestapp = Flask(__name__)@app.route('/api', methods=['GET'])def get_port(): """ 无参 curl -X GET 'http://192.168.1.110:8001/api'.
2020-06-29 14:23:31
2004
原创 docker演示nginx负载均衡
背景：在上篇docker演示nginx反向代理基础上继续一、编写脚本1. 分别编写load_balancing_8000.py、load_balancing_8001.py脚本（注意脚本对应端口分别为8000、8001）#!/usr/bin/python3# -*- coding: UTF-8 -*-from flask import Flaskapp = Flask(__name__)@app.route('/api', methods=['GET'])def get_..
2020-06-24 11:33:13
126
原创 docker演示nginx反向代理
注：此处部分简单说明省略一、拉取镜像docker pull nginx:stable二、编写配置1. docker-compose.yml配置version: '3.1'networks: shared: external: name: sharedservices: nginx: image: nginx:stable container_name: nginx# restart: always ports:
2020-06-24 10:20:42
168
原创 wsl2中重启容器shell脚本
#!/bin/bashset -xset -etry_again_start() { for i in $(seq 1 4) do if [ "$i" = 4 ] then echo -e "\033[31m Too many failures, exit the program \033[0m" >&2 exit 1 fi if service docker status | grep "Docker is runn.
2020-06-23 10:39:37
645
原创 python进行redis操作
一、python脚本redis_test.py#!/usr/bin/python3# -*- coding: UTF-8 -*-import timeimport redis# 使用单个连接py_redis = redis.Redis(host='localhost', port=6379, db=0, decode_responses=True)# 使用连接池# pool = redis.ConnectionPool(host='localhost', port=6379, db.
2020-06-18 14:18:11
215
原创 metricbeat收集redis日志以及系统日志
注：部分说明省略一、拉取镜像docker pull elastic/metricbeat:7.7.0二、编写metricbeat.yml配置文件metricbeat.modules: #-------------------------------- System Module -------------------------------- - module: system metricsets: - cpu # CPU usage
2020-06-15 19:08:29
830
原创 shell脚本创建redis集群
通过脚本创建redis集群1. 创建脚本文件redis-node-start.sh，内容如下#!/bin/bash# 方法要定义在调用的前面，否则会因找不到该方法报错createRedisClusterContainer() { echo "Start to create redis cluster" for port in $(seq 7000 7005); do docker run -d -it \ -p "${port}":"${port}" \ .
2020-06-11 10:14:52
785
原创 python模拟发送json数据到logstash
一、模拟日志数据生成脚本json_log.py#!/usr/bin/python# -*- coding: UTF-8 -*-import datetimeimport jsonimport randomimport timeimport requestsheaders = { 'Content-Type': 'application/json',}info_list = {'User error': 'ERROR', 'Password ERROR': 'ERROR.
2020-06-09 20:32:23
639
原创 logstash中metrics插件简单使用
注：此处只关注logstash部分，其他部分此处省略Logstash配置文件1. logstash.conf文件内容input { # 自动模拟生成数据2次 generator { count => 2 message => '[ {"env":"test", "timestamp":"2020-06-02 01:04:39.978", "logLevel":"ERROR", "source":"req
2020-06-08 11:58:31
1022
原创 python简单RestApi案例
#!/usr/bin/python# -*- coding: UTF-8 -*-from flask import Flask, abort, request, jsonifyapp = Flask(__name__)users = []'''curl --header "Content-Type:application/json" -X POST http://127.0.0.1:8088/user -d '{"id":2, "name":"lisi", "age":18}''''.
2020-06-03 17:00:34
375
原创 filebeat+logstash收集postgres慢查询日志
背景：在win10下docker启动postgres、python连接postgres，创建表和插入数据以及ELK+Filebeat的基础上进行一、Filebeat端处理1. 配置文件修改1.1 filebeat.yml配置文件新增数据源类型- type: log enabled: true paths: - /usr/share/filebeat/log/facilities/*/*.log tags: ["facility"] fields: en...
2020-05-29 17:35:30
1294
原创 python批量插入数据到postgres
一、python脚本#!/usr/bin/python# -*- coding: UTF-8 -*-import stringimport psycopg2import randomfrom psycopg2 import extrasaddress_list = {'北京', '上海', '深圳', '广州', '长沙', '成都', '吉林', '邵阳', '九江', '长春', '拉萨'}conn = psycopg2.connect(database="test", u.
2020-05-28 19:39:25
1279
原创 python连接postgres，创建表和插入数据
一、python脚本文件1. 创建create_data.py 文件，内容如下#!/usr/bin/python# -*- coding: UTF-8 -*-import stringimport psycopg2import randomaddress_list = {'北京', '上海', '深圳', '广州', '长沙', '成都', '吉林'}conn = psycopg2.connect(database="test", user="test", password="t
2020-05-28 18:52:54
4642
原创 win10下docker启动postgres
一、拉取镜像docker pull postgres:13二、简单版启动容器1. 执行命令启动容器docker run --name postgres -e POSTGRES_PASSWORD=1234 -p 5433:5432 -d postgres:132. 打开navicat查看结果从以上结果看出数据库连接成功3. 拷贝镜像默认配置到宿主机docker cp postgres:/var/lib/postgresql/data/postgresql.conf .
2020-05-28 17:17:34
1934
原创 logstash匹配filebeat传递的log.file.path
一、filebeat容器1. d:/usr2/local/etc/filebeat/目录下filebeat.yml文件配置filebeat.inputs:- type: log enabled: true paths: - /usr/share/filebeat/log/apps/*/*.logoutput.logstash: hosts: ["192.168.1.110:5044"]2. 启动filebeatdocker run -v /d/usr/sh
2020-05-27 16:08:28
2634
原创 logstash匹配路径字段
方法一：使用grok插件1. d:/usr2/local/etc/logstash/pipeline1目录下logstash.conf配置文件input { stdin { } }filter { grok { # 匹配路徑 /usr/share/filebeat/log/apps/butler/filebeat5.log中的butler match => {message => "^/%{DATA}/%{DATA}/%{DATA
2020-05-27 11:33:15
1048
原创 logstash通过grok插件匹配springBoot默认日志
背景：在Logstash数据源为日志文件操作基础上进行一、修改配置1. logstash.conf文件修改为如下input { stdin { } file { # 容器中日志所在目录的文件 path => ["/usr/share/logstash/logs/*.log"] # 多行匹配方法1 codec => multiline { pattern => "^(..
2020-05-25 09:38:59
1418
原创 win10下ruby入门学习
学习背景：在使用logstash过程中，需要使用filter下的ruby插件一、安装ruby1. 下载ruby，下载链接：https://rubyinstaller.org/downloads/2. 执行安装文件，安装ruby，安装目录修改为E盘，其他默认3. 查看结果ruby -v二、交互式 Ruby（IRb）1. 打开cmd命令窗口，依次执行如下命令irbdef helloout = "hello world"puts outendnilhel
2020-05-21 13:40:57
337
原创 filebeat采集udp/tcp数据
背景：在win10下docker操作filebeat做日志采集基础上进行一、配置文件1. D:\usr\local\etc\filebeat目录下docker-compose-filebeat.yml文件，新增暴露端口version: '3'services: filebeat: image: elastic/filebeat:7.6.2 container_name: filebeat volumes: - /d/usr/local/logs..
2020-05-19 19:33:37
3740
原创 python进行udp/tcp简单通信
一、UDP服务端#!/usr/bin/python# -*- coding: UTF-8 -*-import socket# 基于网络的数据报协议 UDPserver = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)# 绑定这个端口，接收这个端口的消息，参数是元组，括号不能少server.bind(('192.168.1.110', 5000))while True: # 1024 缓冲区。recvfrom可以得到发送方的消
2020-05-19 17:42:22
425
原创 Logstash接收udp/tcp数据
背景：在Logstash数据源为日志文件操作基础上进行一、配置文件1. D:\usr\local\etc\logstash\pipeline1目录下logstash.conf文件配置input { stdin { } udp { host => "0.0.0.0" # 从5000端口获取日志 port => 5000 type => "udp" } tcp { ..
2020-05-19 17:35:48
4971
原创 win10下docker启动elasticsearch-head
一、拉取镜像docker pull mobz/elasticsearch-head:5二、修改文件2.1 下载vendor.js文件https://github.com/mobz/elasticsearch-head/blob/master/_site/vendor.js2.2 修改vendor.js文件第6886行 contentType: "application/x-www-form-urlencoded改成contentType: "application/json;..
2020-05-15 14:42:39
367
原创 win10下docker操作filebeat做日志采集
一、 拉取镜像docker pull elastic/filebeat:7.6.2 二、编写filebeat配置文件2.1 在目录D:\usr\local\etc\filebeat下分别创建docker-compose-filebeat.yml、filebeat.yml文件2.2docker-compose-filebeat.yml文件内容version: '3'services: filebeat: image: elastic/filebeat:7.6.2 .
2020-05-15 14:18:20
810
原创 Logstash数据源为日志文件操作
在Springboot整合ELK基础上进行一、模拟日志1. 在D:\usr\local\bin\start目录下编写python脚本save_log.py#!/usr/bin/python# -*- coding: UTF-8 -*-import datetimeimport threadingimport os# 递归级联创建的目录path = "D:/usr/local/logs"if not os.path.exists(path): os.makedirs(p
2020-05-14 19:55:43
597
原创 Springboot整合ELK
一、编写配置文件1. 在目录D:\usr\local\etc\elk下创建docker-compose-elk.yml文件version: '3'services: elasticsearch: image: elasticsearch:7.6.2 container_name: elasticsearch environment: # 设置集群名称为elasticsearch cluster: name=ela
2020-05-14 10:23:48
1485
原创 win10下docker启动redis单机及集群
一、单机版redis1. 拉取redis镜像docker pull redis2. 执行命令，启动redisdocker run -p 6379:6379 --name redis -d redis3. 查看结果到此单机配置成功二、配置Redis集群
2020-05-11 17:20:37
916
原创 日志整理
一、nginx日志1. 日志类型：访问日志、错误日志2. 默认参数配置log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'3. 参数说明* $remote_addr：客户端（用户）IP地址* $remote_user
2020-05-09 14:29:47
231
原创 ps相关命令详解
1. 显示所有进程信息ps -A2. 全格式显示所有进程信息ps -ef3. 长格式显示进程信息ps -l4. 正则查找ssh进程信息ps -ef|grep ssh5. 显示所有进程信息(包含其他使用者)ps aux6. 进程header部分参数信息说明UID：程序被该UID所拥有PID：就是这个程序的IDPPID：则是其上级父程序的IDC：CPU使用的资源百分比STIME：系统启动时间TTY ：登入者的终端机位置TI.
2020-05-08 17:47:53
1255
原创 win10下shell入门学习（一）
注：windows出厂时没有内置shell解释器，需要自行安装，为了同时能用grep, awk, curl，此处选择安装Cygwin一、安装Cygwin1.下载安装程序：https://www.cygwin.com/2 .执行安装程序，下载镜像失败3. 添加镜像地址：http://mirrors.163.com/cygwin/http://mirrors.neusof...
2020-05-08 15:17:18
1481
原创 win10下使用docker容器启动Fluentd
1. 拉取fluentd镜像docker pull fluent2. 在目录D:\usr\share\fluentd下新建配置文件fluentd.conf，文件内容为<source> @type http port 9880 bind 0.0.0.0</source><match **> @type stdout</m...
2020-05-07 19:31:07
569
原创 curl入门命令
1. 获取网页源码curl http://localhost:92002. 获取跳转后的网页源码curl -L http://localhost:56013. 返回头部信息curl -i http://localhost:92004. 获取通信详细过程curl -v http://localhost:92005. 发送get请求，获取返...
2020-05-07 17:15:37
3166
原创 win10下使用docker容器启动ELK
一、安装Logstash1. 拉取logstash镜像docker pull logstash:7.6.22.3.
2020-05-07 11:39:13
1272
1
原创 win10家庭教育版安装docker
参考地址：https://itnext.io/install-docker-on-windows-10-home-d8e621997c1d安装问题：one prerequisite is not fulfilled.Docker Desktop requires Windows 10 Pro or Enterprise version 15063 to run一、安装Hyper-V 和 C...
2020-05-06 09:55:48
2749
1
python.zip
2020-01-14
swt-gdip-win32-4763.dll下载
2018-12-14
Java反编译工具jd-gui.exe
2017-10-18
Java 反编译工具
2017-10-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人