wanglei_storage的博客

原创 Python Celery 分布式任务

python celery redis

原创 Python Logging

logging的定义，logger/handler/formatter/getChild，文本格式，JSON格式，ES

原创 Python 多线程

多线程，GIL，锁，信号量，队列，条件锁

原创 Python 协程

协程的意义，事件循环/async/await，爬虫/mysql/redis操作案例

原创 nginx 限制请求源

nginx限制请求源

原创 钉钉单聊/群聊机器人实现思路

钉钉官网文档：https://open.dingtalk.com/document/group/robot-overview一、钉钉开发平台1.申请机器人应用开发-企业内部开发-基础信息-机器人-创建机器人2.开发管理设置开发服务器出口IP列表3.回调接口设置钉钉扫码后的回调后端接口 （用于消息接收）4.权限设置企业内机器人发送消息权限二、消息接收获取post后的消息数据及各字段1.通用字段conversationType = req_data['conversatio

原创 Kubernetes集群中访问LoadBalancer暴露出去的SLB地址不通

kubernetes service loadbalancer externalTrafficPolicy

原创 k8s pod yaml 格式完整版

示例:apiVersion: v1kind: Podmetadata: name: string namespace: string labels: - name: string annotations: - name: stringspec: containers: - name: string image: string imagePullPolicy: [Always|Never|IfNotPresent] command: [S

原创 磁盘数据迁移记录

场景说明：/dev/vdb：需要迁移数据的磁盘，目前挂载在/data下面/dev/vdc：新购买的磁盘，目前还没有挂载，迁移完/dev/vdb的数据以后挂载到/data下面一、迁移前停止服务systemctl stop service 停止正在运行的服务，避免因为磁盘卸载导致系统文件异常二、检测文件是否被进程所使用lsof /data三、卸载挂载的数据盘umount /dev/vdb四、删除/etc/fstab自动挂载记录vim /etc/fstab（删除/dev/vdb的

转载 彻底理解CPU Load-这一篇就够了

我们经常去看Linux的平均负载。通过uptime或者top命令就可以显示出，平均负载的内容如下：load average: 0.09, 0.05, 0.01大多数人都对平均负载有所了解：三个数字分别代表了一分钟，五分钟和十五分钟三个时间段内的CPU负载的平均值，而数字越低越好。数字越高表示系统出现了问题或机器过载。但是负载值多少才最合适？谁也说不清楚。首先，我们从最简单的单核处理器的系统...

原创 apacheDS ldap 安装，配置，增删查该及备份恢复

ApacheDS、ApacheDirectoryStudio详解文章目录ApacheDS、ApacheDirectoryStudio详解一、说明二、安装三、访问apacheDS四、配置五、增删查改六、备份七、还原一、说明之前看了看openldap的文章，能用，但是不太好用。包括安装，部署以及web页面phpadminldap的安装，环境比较麻烦。也找了找apacheDS ldap的文章，真...

原创 性能压测报告

文章目录服务器接口性能压测报告一、说明二、本次压测伴随的性能调优1、slb2、系统内核3、nginx4、php三、盘古单节点压力测试四、盘古单代理节点压力测试五、集群压力测试1、每秒2000并发，总计5分钟压力测试2、每秒3000并发，总计5分钟压力测试六、结论服务器接口性能压测报告一、说明本次压力测试主要是为了找出系统瓶颈，提高单台服务器及整个集群的吞吐量，并根据负载均衡SLB...

原创 Django 组件 Form

Django FormDjango的Form主要具有一下几大功能：生成HTML标签验证用户数据（显示错误信息）HTML Form提交保留上次提交数据初始化页面显示内容小试牛刀1、创建Form类from django.forms import Formfrom django.forms import widgetsfrom django.forms import field...

原创 Django 信号 Signals

一、什么是信号Django提供一种信号机制。其实就是观察者模式，又叫发布-订阅(Publish/Subscribe) 。当发生一些动作的时候，发出信号，然后监听了这个信号的函数就会执行。你也可以理解为是一个hooks，当触发某一种类型的操作之后，会进行一些hooks操作 二、内置信号类型1、Model sginalsModel signals pre_init ...

原创 Django 缓存 Cache

文章目录一、缓存二、Django 缓存应用场景三、Django 缓存的五种配置0、通用配置（以redis为例）1、开发调试2、将缓存信息保存至文件3、将缓存信息保存至内存4、将缓存信息保存至数据库5、将缓存信息保存至memcache（python-memcached模块）6、将缓存信息保存至memcache（pylibmc模块）7、将缓存信息保存至redis（django-redis模块）四、Dj...

原创 Django 中间件 Middleware

中间件Middleware是Django请求/响应处理的插件框架。它是一个轻巧的低级"插件"系统，用于全局改变Django的输入或输出。每个中间件组件负责执行某些特定功能。例如，Django包含一个中间件组件 AuthenticationMiddleware，它将用户与使用会话的请求相关联。该文档介绍了中间件的工作原理，如何激活中间件以及如何编写自己的中间件。Django附带了一些你可以

原创 Django CSRF 说明与配置

Django 默认对GET请求不做CSRF防御机制Django 只对POST请求做CSRF防御机制一、CSRF是什么CSRF 全称（Cross Site Request Forgery）跨站请求伪造。也被称为One Click Attack和Session Riding，通常缩写为CSRF或XSRF。你可以这样理解：攻击者（黑客，钓鱼网站）盗用了你的身份，以你的 名义发送恶意请求，这些请求包...

原创 Django Session Cookie使用

一、cookie和session说明由于http是无状态的协议，不像tcp一样可以保持连接，那么这个时候用户在通过http协议访问时，服务器并不知道具体是哪个用户，导致无法根据某种状态做一些特殊的处理，那么这个时候，cookie就产生了cookie就是服务器基于不同的用户或者用户不同的状态进行区分，进而执行不同的操作，如可以根据用户cookie进行判定用户是否登录，也可以通过web服务器来根据...

原创 pycharm mysqldb 报错

pycharm 报错：django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module.Did you install mysqlclient?解决1、打开pycharm2、选择 preferences3、选择 Project Interpreter4、安装 PyMySQL5、编辑项目下的__init...

转载 关于vim编码器粘贴代码会出现乱序问题

https://www.cnblogs.com/end/archive/2012/06/01/2531147.html

原创 关于django 2.x版本中models.ForeignKey() 外键说明

下面是代码class GroupInfos(models.Model): uid = models.AutoField(primary_key=True) caption = models.CharField(max_length=32, unique=True) ctime = models.DateTimeField(auto_now_add=True, null=T...

原创 Jenkins 定义git clone超时时间

原创 CentOS 7.4 配置 Supervisor 守护进程

1、安装yum install python-setuptoolseasy_install supervisor2、创建守护进程跟路径mkdir -m 700 -p /etc/supervisor3、在目录“ /etc/supervisor”下创建配置文件echo_supervisord_conf > /etc/supervisor/supervisord.conf4、修改配置...

原创 消息队列之-Kafka原理讲解

一、入门1.1 简介一、入门1.1 简介Apache Kafka 是一个分布式流媒体平台 流媒体平台有三个关键功能发布和订阅记录流，类似于消息队列或企业消息传递系统以容错的持久方式存储记录流记录发生时的处理流Kafka 通常用于两大类应用：构建可在系统或应用程序之间可靠获取数据的实时流数据管道构建转换或相应数据流的实时流应用程序...

原创 kafka zookeeper 集群搭建

Kafka Zookeeper 集群环境部署环境说明os version：centos 7.4kafka version：kafka_2.11-2.0.0zookeeper version：zookeeper-3.4.10node count：3目录规则/data/zookeeper：zookeeper 存储路径/data/zookeeper/zookeeper_data：z...

原创 elasticsearch 6.3.2 API

elasticsearch APIcat：https://www.elastic.co/guide/en/elasticsearch/reference/6.3/cat.html indices：https://www.elastic.co/guide/en/elasticsearch/reference/6.3/indices.html search：https://www.elasti...

原创 logstash 6.3.2 filter 过滤器各种方法

input { file { path => "/data/logs/nginx_logs/access.log" type => "dev-chuiyi-site-landing-1&a

原创 logstash 6.3.2 geoip

一、GEOIP1、说明GeoLite2 数据库是一个免费的 IP 地理定位数据库，与 MaxMind 的 GeoIP2 数据库有一定可比性，但不如后者准确。GeoLite2 Country 与 City 数据库在每月的第一个周二更新。GeoLite2 ASN 数据库的更新时间为每周二。IP 地理定位在本质上缺乏准确性。地点通常接近人口的中心。 由 GeoIP 数据库提供的任何地点均不应...

原创 logstash 6.3.2 配置与模板

logstash.confinput { redis { host => "10.168.216.1" port => "6379" key =

原创 easticsearch 6.3.2 dynamic mapping

https://www.elastic.co/guide/en/elasticsearch/reference/current/dynamic-mapping.html

原创 easticsearch 6.3.2 mapping field datatype

字段数据类型elasticsearch 支持文档中字段的许多不同数据类型。官网：https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-types.html1、核心数据类型1）String text（文本数据类型） 例如电子邮件正文或者产品说明。这些字段是 analyzed ，它们通过分析器传递...

原创 elasticsearch 6.3.2 mapping parameter

https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-params.html

原创 elasticsearch 6.3.2 mapping 详解

https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-types.html一、mapping 说明elasticsearch 是一个文档数据库，但是它也是有模式和概念的。文档中的每个字段仍然需要定义字段的类型，默认情况下，elasticsearch中的字段的值类型都是 string。那有些时候，我们可...

原创 elasticsearch 6.3.2 API-cat

elasticsearch 官方提供了各种 API 用于查看集群中的各种状态 官网地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/cat-recovery.html先来看一下有哪些API/_cat/allocation/_cat/shards/_cat/shards/{index}/_cat/ma...

原创 elasticsearch 6.3.2 集群系统预配置

一、配置 Elasticsearch 进程可打开的系统文件数ulimit -n 65536sudo vim /etc/security/limits.conf root soft nofile 65536 root hard nofile 65536 * soft nofile 65536 * hard nofile 65536二、关闭 swappingES在系统swap虚...

原创 elasticsearch 6.3.2 集群配置

约定俗成： elasticsearch 所有关于数据的路径都位于 /data/elasticsearch 下面，因此，除了主程序以外，所有的es相关的数据都应该位于该路径下面，包括但不限于:es 数据 # /data/elasticsearch/es_dataes 程序日志 ...

原创 pycharm 安装 python第三方库

1、打开pycharm主面板 2、单击File 3、单击Settings 4、选择Project 5、选择Project Interpreter 6、单击+ 7、输入要安装的包 8、Install Package

原创 python socket http response

最近有一个需求，就是希望部分员工在读数据的时候触发一个请求，那这个请求可以通过jenkins来触发，也可以通过脚本，或者是通过其他方式；所以写了个python socket 脚本，在用户触发请求的时候，同步数据并且返回数据同步信息import socketimport timeimport osserver = socket.socket(socket.AF_INET, socke...

原创 python 获取网页编码问题

代码如下：#!/usr/local/bin/python3.6import urllib.requesturl = 'http://www.baidu.com'req = urllib.request.urlopen(url)print(req.read())在默认情况下，当我执行完这串代码之后，python会打印网页的源信息，并且会有部分乱码问题，这是因为网页编码格式没有解码...

原创 随写

run() 一.获取用户信息 1.acc_login(user_data, log_obj) 1.获取账户信息 2.acc_auth(account,password) 验证用户并返回用户数据 1.获取用户文件路径 2.获取用户信息 ...