- 博客(148)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 RabbitMQ消息丢失问题
生产者推送消息使用消息发送确认Confirm，通过回调的confirmCallback和returnCallback来控制消息的一致性和处理异常补推情况；消息队列存储使用持久化存储，队列交换机创建时durable属性设置为true，消息投递模式deliverymode设置为2，标记消息持久化；消费者使用手动确认消息模式，在消息处理完成后手动确认通知服务器消息完成；MQ会出现多名消费不均匀分发任务情况；...
2022-07-29 10:45:40
511
原创 python抓取信息js逆向解析
需求爬取个人信息python 爬取站点个人信息， 发现页面展示和爬虫源码不符合，含有加密信息；查找封装处理jsjs 简化处理方式两种处理结果方式：1、 方法处理成 python 函数，封装结果解析；2、 直接使用现成轮子包，处理...
2022-06-21 19:36:31
386
原创 py sel采集部署linux报错
问题处理原因py 使用driver 采集时，在windows正常采集；但是程序丢到linux中，报得异常处理问题报错设置权限问题 File "/usr/local/python3.8/lib/python3.8/site-packages/selenium/webdriver/chrome/webdriver.py", line 70, in __init__ super(WebDriver, self).__init__(DesiredCapabilities.CHROME['browse
2022-05-24 17:35:19
193
原创 python3定时异步调用
python3 定时器选择 schedule 自带功能十分强大；现有需求是每隔15分钟执行一次程序，考虑到程序执行周期需要进行异步执行，防止吧执行周期也加入进去；from threading import Threadimport scheduledef asynca(f): def wrapper(*args, **kwargs): thr = Thread(target=f, args=args, kwargs=kwargs) thr.start()
2022-05-16 17:57:16
1206
原创 python采集站点403postman正常
python 使用requests get获取站点内容提示403，但是使用postman获取正常；此时需要加上对应的header验证headers = { 'User-agent': "Mozilla 5.10", 'cache-control': "no-cache" }response = requests.get(url, headers=headers)print(response.status_code)可正常返回站点信息...
2022-05-13 17:57:00
654
原创 npm安装windows-build-toolss
windows 直接安装 windows-build-toolss 会卡在安装py2.7以后；使用以下命令安装：npm --vs2015 install --global windows-build-tools
2022-04-20 16:04:53
1534
1
原创 虚拟机桥接网卡配置
虚拟机桥接网卡配置TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33UUID=478e5e17-78a8-4cc5-9991-2
2022-03-10 10:51:17
197
原创 git bash连接mysql卡死问题
现象使用 git bash提供的命令界面进行连接本地 mysql 时会直接卡死在当前界面, 执行的结果是 无输出卡死;原因在安装 git bash 的过程中，就给出了说明提示。对于 Windows命令/交互式命令 需要在其前加"winpty"；如果不添加，则会出现卡死情况；处理方式在执行命令前加 winpty ；winpty 是一个 Windows 软件包，提供了类似 Unix pty-master 一样的接口，用于实现控制台程序之间的通讯。...
2021-12-14 18:38:17
948
原创 postgres 问题 psql: FATAL: sorry, too many clients already
场景项目 postgres 连接不上， 所有连接报错 ：psql: FATAL: sorry, too many clients already原由程序使用连接未及时释放， 连接一直处于 idle 状态处理方式1、 程序里面未释放的连接， 在使用后及时释放；2、 postgres 连接数默认最大 100个，在配置文件修改该参数；postgres.conf max_connection = 1000 修改后重启生效；3、 postgres 设置 idle 状态连接回收， 该状态默认不开启；p
2021-10-19 10:48:45
9846
原创 nrm测试和管理npm镜像源
简述npm 在使用过程中，下载速度可能会过慢，可以选择安装 nrm 来测试和切换镜像选择；安装 nrmnpm install nrm -g查看镜像列表nrm ls测试镜像访问速度nrm test npmnrm test taobao可以看出使用 taobao 的请求时间最快####### 切换镜像源nrm use taobao切面有 * 标识， 代表当前已使用该镜像地址...
2021-09-15 15:09:02
471
原创 mongo使用mongoexport和mongoimport
简述mongo tools 自带的导入导出工具，导出可选为json文件方便进行数据处理mongoimport 参数使用h,--host ：代表远程连接的数据库地址，默认连接本地Mongo数据库；--port：代表远程连接的数据库的端口，默认连接的远程端口27017；-u,--username：代表连接远程数据库的账号，如果设置数据库的认证，需要指定用户账号；-p,--password：代表连接数据库的账号对应的密码；-d,--db：代表连接的数据库；-c,--collection：代表连接数
2021-08-06 11:14:13
347
原创 php 加解密处理openssl_decrypt
基础定义openssl_encrypt# 以指定的方式和 key 加密数据，返回原始或 base64 编码后的字符串openssl_encrypt( string $data, string $cipher_algo, string $passphrase, int $options = 0, string $iv = "", string &$tag = null, string $aad = "", int $tag_leng
2021-07-29 15:32:41
7089
原创 mongo 文档清理重复项
db.link_User.aggregate([ { $group: { _id: {public_id: '$public_id'}, count: {$sum: 1},dups: {$addToSet: '$_id'}} }, { $match: {count: {$gt: 1}} }],{allowDiskUse: true}).forEach(function(doc){ doc.dups.shift(); db.
2021-07-12 15:17:22
93
原创 python 线程消费测试
直接上codeimport timeimport requestsimport threadingimport queueq = queue.Queue()def url_main(): while True: url = "http://www.baidu.com" q.put(url) time.sleep(5)def worker(): while True: url = q.get()
2021-05-24 14:56:09
61
原创 flask 外网访问
背景flask 运行起来默认外网无法测试访问操作启动时加上ip端口参数处理python3 manager.py runserver --host=0.0.0.0 --port=5000注意！：关闭防火墙systemctl stop firewalld.service
2021-05-21 11:10:29
2983
1
原创 docker 修改容器配置自启动
应用场景docker 重启导致应用全部停止， 需要手动一个个启动改动docker container update --restart=always 容器名称成果重启docker后， 容器自启动
2021-05-11 16:50:49
372
原创 mongo 创建唯一索引
概述mongo数据防止插入重复， 创建唯一索引， 插入时判断异常操作db.tt2.ensureIndex({'name':1},{unique:true})测试程序#!/usr/bin/env python# -*- coding:utf-8 -*-from pymongo import MongoClientconn = MongoClient('192.168.38.94', 27017)db = conn.mydb# my_set = db.test_setmy_set =
2021-05-10 17:15:45
645
原创 kafka 简要搭建测试
简介Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等主要应用场景是：日志收集系统和消息系统。快速搭建测试这里使用的docker进行快速构建服务测试# 拉取基础镜像docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka# 启动zookeeperdocker
2021-05-10 14:35:39
128
原创 postgres设置自增
postgres设置自增postgres 自增需要先进行创建自增序列，指定自增值，最小值，最大值：CREATE SEQUENCE "public"."tt_id_seq" INCREMENT 1 MINVALUE 1 MAXVALUE 9223372036854775807 START 1 CACHE 1;设置序列所有者：ALTER TABLE "public"."tt_id_seq" OWNER TO "postgres";设置自增从1开始：SELECT setval('"public"."t
2021-03-30 14:41:47
1107
原创 docker 启动postgres
查询 docker 版本需要 docker 18.03 ce 以上版本[root@localhost ~]# docker versionClient: Docker Engine - Community Version: 20.10.5 API version: 1.41 Go version: go1.13.15 Git commit: 55c4c88 Built: Tue Mar 2 20:33:55
2021-03-27 17:45:03
911
原创 docker 安装
安装docker#!/bin/bash# 安装Docker-CEyum install -y yum-utils device-mapper-persistent-data lvm2# 增加最新版本的Docker安装仓库yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo # 安装Docker-CE版本yum install -y docker-ce do
2021-03-27 17:43:25
66
原创 postgres 索引基础
postgres 索引方法选择B-Tree支持查询类型对比 等号和范围操作符 ('=', '<', '>', '<=', '>=', BETWEEN, IN)Hash支持等号操作符Gist支持自定义复杂类型（rtree_gist, btree_gist, intarray,tsearch, ltree 和 cube）GINGIN空间占用比Gist较多，使用模糊匹配like索引注意事项索引不应该使用在较小的表中索引不应该使用在大批量更新插入的表中索
2021-03-27 17:42:46
116
原创 钉钉自定义预警接入-php
钉钉自定义预警接入-php业务场景企业内部数据异常预警频率限制每个机器人每分钟最多发送20条。如果超过20条，会限流10分钟。机器人添加需要在PC端后台添加机器人，设定安全设置： IP段限制，关键字限制，签名限制代码测试1、IP段限制直接针对IP接口限制，代码里面没有标识<?php function request_by_curl($remote_server, $post_string) { $ch = curl_init(); curl_setopt
2021-03-16 11:15:31
364
2
原创 win10 遍历删除子文件夹
win10 处理# 删除当前目录下的所有 .svn 文件夹for /r . %i in (.svn) do rd /s /q %i
2021-02-23 11:00:15
364
原创 redis哨兵测试
redis哨兵测试<?php//初始化redis对象$redis = new Redis();//连接sentinel服务 host为ip，port为端口$redis->connect('127.0.0.1', '26382');//可能用到的部分命令，其他可以去官方文档查看//获取主库列表及其状态信息$result = $redis->rawCommand('SENTINEL', 'masters');$master_name = 'mymaster';//
2021-02-09 10:00:14
1484
原创 mysql常用
记录最近用到的mysql操作数据导出导出整个数据库结构和数据mysqldump -h 127.0.0.1 -uroot -p123456 database > database.sql导出单个数据表结构和数据mysqldump -h 127.0.0.1 -uroot -p123456 database table > table.sql导出整个数据库结构 // -d 等于 --no-datamysqldump -h 127.0.0.1 -uroot -p123456 -d data
2021-01-20 10:16:29
72
原创 linux sed命令使用
host_env="new line"newline=5line=$(sed -n '/line/=' a.ini)echo $line#sed -i "${line}d" a.inised -i '/^new/d' a.inised -i "${newline} a\\${host_env}" a.ini
2020-11-04 19:20:07
85
原创 python 排序
1、 桶排序def bucket_sort(lst): buckes = [0] * ((max(lst) - min(lst)) + 1) n = 1 print((max(lst) - min(lst)) + 1) print(buckes) for i in range(len(lst)): buckes[lst[i] - min(lst)] += 1 # print('{}--------{}'.form
2020-11-03 17:16:36
774
1
原创 docker启动 redis 并挂载主机目录
1、启动reids 命令docker run -dit --name redis --privileged=true -p 6479:6379 --restart=always -v /etc/localtime:/etc/localtime -v /data/redis_data/conf/redis.conf:/etc/redis/redis.conf -v /data/redis_data/data:/data redis redis-server /etc/redis/redis.conf --a
2020-10-27 17:53:56
1463
原创 excel 公式记录
时间戳转时间=TEXT((AD1/1000+8*3600)/86400+70*365+19,"yyyy/mm/dd hh:mm:ss")、对比包含=IF(IFERROR(MATCH(C2,D:D,0),0)>0,"在列包含","不在列")
2020-09-21 17:54:39
133
原创 yum makecache 报错Error: Cannot retrieve metalink for repository: epel. Please verify its path
在CentOS 6.5 x86_64下 yum makecache 报错Error: Cannot retrieve metalink for repository: epel. Please verify its path解决方法：修改 /etc/yum.repos.d/epel.repo
2020-09-01 19:23:05
349
原创 Mongo排序查询内存超标
报错今天在查询 mongo 过程中一直报错：：Executor error during find command: OperationFailed: Sort operation used more than the maximum 33554432 bytes of RAM. Add an index, or specify a smaller limit., full error: {'ok': 0.0, 'errmsg': 'Executor error during find command:
2020-08-17 11:22:04
452
原创 python包jupyter
本地python调试工具 jupyter 安装使用1、 本地使用 win10 安装使用安装：pip install jupyter运行： jupyter notebook2、运行报错问题D:\soft\cmderλ jupyter'jupyter' is not recognized as an internal or external command,operable program or batch file.因为默认安装不在当前python目录中我本地位置为：C:\Users\1
2020-08-11 16:27:58
1216
1
原创 flask 基础调试
测试 flask 修改启动后修改代码自动生效from flask import Flaskapp = Flask(__name__)app.debug = [email protected]("/")def he(): return "hilo2u"if __name__ == "__main__": app.run()
2020-08-06 15:11:47
148
原创 mongo批量去重插入
最近用到 mongo批量去重插入， 记录一波import osimport psycopg2import timeimport threadpoolimport gcimport pymongofrom pymongo import UpdateOnemyclient = pymongo.MongoClient("mongodb://127.0.0.1:8080/")mydb = myclient["test1"]["tt1"]data = [{"aa":11, "bb": 22},
2020-08-05 17:03:34
359
原创 VM共享文件夹失败：unknown filesystem type ‘vmhgfs‘
win10 使用虚拟机共享文件夹挂载失败， 报错：unknown filesystem type 'vmhgfs'最终使用：vmhgfs-fuse .host:/ /mnt/hgfs
2020-07-28 15:59:22
1935
原创 docker for windows挂载目录报错
docker for windows挂载目录报错需要先设置共享目录 然后进行挂载1、设置共享主目录 小鲸鱼=> setting =>shared Drives =>选择 =>应用2、启动挂载 docker run -dit -v D:/data:/data --name newDocker docker-image3、查看状态 docker ps -a4、进入docker 操作 docker exec -it newDocker bash...
2020-07-22 20:08:14
478
原创 Linux 服务器负载情况
Linux 负载查看使用 top 命令，然后按1可以显示cpu核数：我这里展示的 cpu 核数为 1核， load值为 0.1图中 load 值展示了3个数据， 分别为最近 1分钟、5分钟和15分钟的平均负载显示Linux 负载计算根据cpu核数来进行计算：load值 > 1 * CPU核数 则为负载cpu 核数为 1时，load值超过1则为负载cpu 核数为 2时，load值超过2则为负载;...
2020-07-08 20:08:19
244
原创 Linux 定时清理7天前日志文件
查看7天前的LOGfind /home/www/ -name '*.log' -and -mtime +7清理7天前的 logfind /home/www/ -name '*.log' -and -mtime +7 -type f |xargs rm
2020-06-15 18:43:15
2061
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人