- 博客(88)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 UWSGI配置协程
uWSGI 是一个 Web 服务器，它实现了 WSGI（Web Server Gateway Interface）协议、uwsgi、http 等协议。WSGI 是 Python 的标准应用服务器/网关接口，被广泛用于各种 Python Web 开发框架中，比如 Flask 和 Django。uWSGI 旨在提供全面的 Python Web 应用程序服务器。除了作为应用服务器，uWSGI 还内置了许多功能，如 HTTP 路由、负载均衡、静态文件服务、SSL 支持等。
2024-02-19 19:44:12
347
原创 初入Go小菜总结
常用小知识点总结：1、GO函数执行顺序，如果有init方法，实质先执行的init，后执行main.main；如果同一个文件中有多个init函数，则按照init出现的顺序执行2、defer关键字相当于执行函数的善后工作，等函数执行完了再执行defer中的内容；defer执行过程相当于执行闭包函数，调用外层变量相当于引用传递，如果有需要，可以将defer后的body体更改为函数值传递3、GO语言不支持继承，通过在结构体内置匿名成员来实现继承4、如果需要虚函数的多态特性，则需要借助GO语言的接口来
2021-01-09 17:13:04
262
原创 Linux常用安全监测与系统排查命令分享
1、查看某证书的详细信息，server.crt是对应组件的crt文件；可以校验证书的加密算法，过期时间等 # openssl x509 -in filename.crt -text -noout2、验证ssl重协商是否开启（重协商协议开启之后，攻击者很容易利用此协议攻击系统，handshake过程数据都是加密的，被攻击者很难察觉到） 先查询接口开放的端口和对应的IP # netstat -tunpl| grep 8025 // 端口为服务对应的开...
2021-01-09 15:07:34
539
原创 OpenStack oslo_config 实现及使用技术探讨
一、简介众所周知，oslo_config是openstack框架下各服务加载配置文件（.conf）所使用的通用库，配置文件一般放在/etc目录的工程目录下，oslo_config一般是在服务启动时，提前加载配置数据到内存中，之后供服务使用；此处不啰嗦太多，主要还是探讨oslo_config cfg.py文件的设计优点。二、cfg.py解析class ConfigOpts(collections.Mapping): def __init__(self): pass # 初
2020-11-04 11:48:16
449
1
原创 python进程内存占用持续增高排查经验分享
一般导致此问题的几种code方式1、创建全局变量，如list或者dicti类型，一直向里面塞数据，未释放；创建类变量，类只创建一次实例，向类变量中无限塞数据2、循环引用，自己实现了__del__方法，未将创建的资源释放掉，python不会自动识别释放掉这部分资源排查此类问题无好的方式，需要借助工具pyrasite进行分析，此工具可以结合其余的辅助插件mem_top插件介绍：refs回显信息: 占用内存最大的topN变量中的元素个数bytes回显信息: 占用内存最大的top...
2020-09-17 16:42:07
6378
1
原创 Subprocess使用总结
Subprocess.Popen使用安全性要比python再带commands强太多，Popen可以对参数进行安全校验，直接上代码# -*- coding: utf-8 -*-import subprocessimport errnodef ssh_host(ip="", password="test123"): args = "ssh root@%s" % ip ...
2020-03-23 12:02:33
889
转载 APP接口安全设计要点
请求合法性校验：请求合法性校验主要就是指如何避免API被非法的调用，比如系统里面有一个短信接口，就要考虑如何避免这个短信接口不被短信轰炸机滥用，可以采用的方式有以下几种：1. 验证码，验证码主要用于防范恶意注册、恶意破解密码、恶意灌水等非法操作，验证码可以使用Google的CAPTCHA解决方案。2. Token令牌，Token主要用于自动登录，也就是在不需要用户频繁登录的情况下...
2019-12-31 15:30:57
229
原创 API 校验与失效策略
数据接口API简易校验策略Client生成tokenimport hashlibimport stringimport timefrom urllib.parse import quoteimport requestshost = 'http://0.0.0.0:3000'app_key = '' # 对应的用户key，作为API的参数进行传递secret_k...
2019-12-31 15:11:18
1004
原创 MYSQL索引失效的几种情况
MySQL索引失效的几种情况1.索引无法存储null值 a.单列索引无法储null值，复合索引无法储全为null的值。 b.查询时，采用is null条件时，不能利用到索引，只能全表扫描。 为什么索引列无法存储Null值？ a.索引是有序的。NULL值进入索引时，无法确定其应该放在哪里。（将索引列值进行建树，其中必然涉及到诸多的比较操作，null值是不确定值无法 ...
2019-12-11 11:37:13
164
原创 GIT常用命令整理
Git常用命令整理# git remote // 查看远程仓库名# git status -s // 查看当前仓库文件的状态# git checkout -b name# git checkout name# git add .* // 暂存文件# git add -i // 进入交互式缓存页面，可以执行需要的暂存操...
2019-12-11 11:28:12
138
原创 Sqlalchemy 使用总结
1、常用语句总结# 查询语句print(session.query(User).get({'id': 1})) # 根据id获取一条数据print(session.query(User).filter(User.id == 1).one()) # 查询符合条件的任何一条记录print(se...
2019-07-04 21:03:32
6867
原创 SQLAlchemy会话与事务控制
1、简介：SQLAlchemy 的session是用于管理数据库操作的一个像容器一样的东西. 模型实例对象本身独立存在, 而要让其修改(创建)生效, 则需要把它们加入某个 session 。同时你也可以把模型实例对象从 session 中去除。被 session 管理的实例对象：session.commit()直接将数据库内存中的数据提交到数据库，此操作会内部调用session....
2019-07-04 15:58:34
11531
2
原创 mac docker 安装percona-server:5.7
1、下载安装dockerdocker下载链接2、使用docker安装mysql@xxx版本，docker run命令就直接安装运行起来了，执行完毕就好了根据自己的选择，可以适当删除或者更滑参数的配置docker run \--name ps \-p 3306:3306 \-e MYSQL_ROOT_PASSWORD= \-e MYSQL_ALLOW_EMPTY_PA...
2019-07-04 14:32:41
673
原创 django 加载静态模板
1、在project目录下创建static文件夹，将静态文件分目录放入2、在setttings.py文件增加STATIC_URL = '/static/'STATICFILES_DIRS = ( os.path.join(BASE_DIR, "static"),)3、添加html模板到应用目录下4、在html中添加如下内容{% load static %...
2019-04-26 11:53:45
287
原创 ajax POST提交请求
经常使用ajax POST请求异步提交数据，但是很容易忘了书写格式，在此记录下来<script type="text/javascript"> $(document).ready(function() { $("#form").submit(function(e) { var address = $("#address").val(...
2019-04-26 11:46:36
1591
原创 python3 打包导入pandas库时失败
详细错误为：实质错误的原因是由于没有正确导入pandas库导致的，需要正确的方式来导入，以下为正确的打包导入方式pyinstaller -F -w --hidden-import pandas --hidden-import="pandas._libs.tslibs.timedeltas" --hidden-import="pandas._libs.tslibs.np_datetime" ...
2019-04-23 14:19:54
4559
转载 python 上下文管理器
上下文管理器在使用Python编程中，可以会经常碰到这种情况：有一个特殊的语句块，在执行这个语句块之前需要先执行一些准备动作；当语句块执行完成后，需要继续执行一些收尾动作。例如：当需要操作文件或数据库的时候，首先需要获取文件句柄或者数据库连接对象，当执行完相应的操作后，需要执行释放文件句柄或者关闭数据库连接的动作。又如，当多线程程序需要访问临界资源的时候，线程首先需要获取互斥锁，当执行...
2019-04-20 14:13:58
148
原创 Django 配置restframework与配置settings.py文件
#pip install djangorestframeworksetting.py中配置INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessions', 'djan...
2019-04-15 13:05:52
1351
原创 python 安装scikit-surprise报错
#python3 -m pip install scikit-surprise使用以上命令安装scikit-surprise报如下错误提示缺少安装这个库，然后点击后面的链接进去发现这个资源不存在了，在网上找到一个可以下载的链接，点击如下红色区域可以完成下载，下载安装成功之后重新安装scikit-surprise就会成功：下载链接...
2019-04-11 21:31:07
2850
1
原创 Tkinter 界面颜色
colors = '''#FFB6C1 LightPink 浅粉红 ,#FFC0CB Pink 粉红 ,#DC143C Crimson 深红/猩红 ,#FFF0F5 LavenderBlush 淡紫红 ,#DB7093 PaleVioletRed 弱紫罗兰红 ,#FF69B4 HotPink 热情的粉红 ,#FF1493 DeepP...
2019-04-11 10:42:22
1541
原创 ubuntu 配置开机自启动程序
流程：# cd /etc/init.d# vim my_server.sh为 my_server.sh中添加如下内容：#! /bin/sh### BEGIN INIT INFO# Provides: my_server.sh# Required-Start: $syslog $remote_fs# Required-Stop: ...
2019-04-08 13:40:59
571
原创 mongodb win中配置开机自启动
MongoDB配置步骤一配置：a.配置mongoDB，此目录配置conf文件b.配置文件内容：dbpath=G:\software\MongoDB\data\db #数据库路径logpath=G:\software\MongoDB\data\log\mongo.log #日志输出文件路径logappend=true #错误日志采用追加模式journal=true #...
2019-04-04 10:45:38
310
原创 django CACHES
缓存django中配置缓存可以加速数据处理，redis是基于内存的数据存储，配置其余的缓存中间件都是类似的在setttings.py中配置CACHES = { 'default': { 'BACKEND': 'redis_cache.cache.RedisCache', 'LOCATION': '%s:6379' % WEB_DOMAIN, ...
2019-04-03 15:49:41
1157
原创 机器学习 降维
降维1、简介当特征选择完成后，可以直接训练模型了，但是可能由于特征矩阵过大，导致计算量大，训练时间长的问题，因此降低特征矩阵维度也是必不可少的。常见的降维方法除了以上提到的基于L1惩罚项的模型以外。另外还有主成分分析法（PCA）和线性判别分析（LDA），线性判别分析本身也是一个分类模型。PCA和LDA有很多的相似点，其本质是要将原始的样本映射到维度更低的样本空间中，但是PCA和LDA的映...
2019-03-21 22:17:07
236
转载 机器学习 特征选择
特征选择1、简介数据预处理完成以后，特征比较多时，就需要对特征进行选择。 使有意义的特征输入模型进行训练。 特征选择通常来说从两个方面入手：特征是否发散：特征如果不发散， 方差很小接近于0， 就意味着这个特征在所有样本中的分布是没有差异的， 说明这个特征对于样品区分没有贡献。 特征与目标相关项： 对于分类问题， 特征与分类目标相关性越大说明特征对于分类问题作用也就越大。特征选择的方...
2019-03-21 22:14:02
232
原创 机器学习 数据预处理（特征值转化）
数据预处理（特征值转化）1、简介我们知道，MNIST数据集中的样本特征是从0-255的灰度值，0表示白，而255表示黑，中间的数值代表不同深度的灰色。通过除以255的操作，我们可以把所有的特征值限定到0-1之间，从而有利于模型计算，提高模型的准确率，这就是一种简单的数据预处理（data preprocessing）。数据预处理的方法有那些呢，请看下文。Preprocessing dat...
2019-03-21 21:52:21
3911
原创 机器学习 数据表达与特征工程
数据表达与特征工程1、简介在机器学习里面，特征的选取与特征数据预处理十分重要，特征的准确性直接决定最终模型的准确性，而选择更好的训练模型只能为了更好的逼近预期值。特征工程就是对于原始数据进行数据预处理， 尽可能把可以把后续模型建立需要的特征提取出来。并把原始数据规整化，为后续建模做准备。类型特征（categorical features）：有些特征值为字符串，比如：地理位置有的是 ...
2019-03-21 21:11:18
397
原创 python3 asyncio
1、背景 asyncio 库最早由PyPI 提供，在基于Python3.3的环境时就已经能够使用，而在2013年9月20日，正式加入Python3.4官方库大家族，使用coroutine装饰器与yield from配合实现函数的异步；一直到Python3.5才将许多临时API定格下来，虽然计划是这样的，其实到Python3.6才定格。Python3.6为其加入了async 和aw...
2019-03-12 22:08:05
2430
原创 tornado 异步高并发
Tornado简而言之，Tornado的异步包括两个方面，异步服务端和异步客户端。无论服务端和客户端，具体的异步模型又可以分为回调（callback）和协程（coroutine）。具体应用场景，也没有很明确的界限。往往一个请求服务里还包含对别的服务的客户端异步请求。服务端异步方式服务端异步，可以理解为一个tornado请求之内，需要做一个耗时的任务。直接写在业务逻辑里可能会block整...
2019-03-06 17:44:04
9046
3
转载 Web性能压力测试工具之ApacheBench（ab）详解
PS：网站性能压力测试是性能调优过程中必不可少的一环。只有让服务器处在高压情况下才能真正体现出各种设置所暴露的问题。Apache中有个自带的，名为ab的程序，可以对Apache或其它类型的服务器进行网站访问压力测试。ApacheBench命令原理：ab命令会创建很多的并发访问线程，模拟多个访问者同时对某一URL地址进行访问。它的测试目标是基于URL的，因此，既可以用来测试Apache的负载...
2019-03-06 13:54:46
364
1
原创 python 设计模式-适配器模式
适配器模式（Adapter pattern）：是一种结构型设计模式，帮助我们实现两个不兼容的接口之前的兼容；样例：电子商务系统支持不同国家的货币交易，需要一个适配器，将其余的货币转化成一种货币最终进行交易。设计模式一直遵从开放/封闭的原则（open/close principle），开放封闭原则是面向对象设计的的基本原则之一，声明一个软件实体应该对扩展是开放的，对修改则是封闭的。对于一些老...
2019-03-05 15:56:53
137
原创 python 设计模式-单例模式
单例模式使用场景详解单例模式的优势与劣势这里就不做讲解，主要总结了下python的经常使用场景python类封装-单例模式# 单一类封装，只能创建一个实例class Singleton(object): _instance = None def __new__(cls, *args, **kwargs): if not hasattr(cls, '...
2019-03-04 20:48:54
230
原创 Django封装下载大文件Restful API
对于小文件，可以直接通过read()函数全部读取，并返回；但是对于大文件，全部读取，加载到内存中，再返回，这个不仅会过多耗费资源，而且容易造成传输缓慢，下面是自己使用django封装的下载大文件代码from rest_framework.decorators import api_view, permission_classesfrom rest_framework.permissions...
2019-02-28 19:10:23
1050
原创 elasticsearch 5.x python2.7调用delete_by_query函数删除失败
问题：最近我在使用elasticsearch 5.1版本，用python调用delete_by_query根据已知条件过滤数据并删除的时候，出现如下问题调用代码：from elasticsearch import ElasticsearchES = Elasticsearch(ES_SEARCH_HOSTURL)ES.delete_by_query(dsl)查看官方网站说...
2019-02-28 18:20:11
1896
10
原创 mongoDB 对接python
1、mongo授权详细授权请参见如下文本授权完毕之后请修改mongodb.conf中auth = true，退出重新进入，则创建的用户必须使用密码才可以登录了其中mongodb.conf可以配置日志生成的路径，是否外部主机可以访问等，如果需要配置的话，将里面的127.0.0.1改成0.0.0.0即可2、开启服务ps -ef | grep mongo # 这个是如果已经开启了...
2019-02-28 17:58:07
204
原创 python 迭代器与生成器
一、迭代器简介：迭代是Python最强大的功能之一，是访问集合元素的一种方式。 迭代器是一个可以记住遍历的位置的对象。 迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。 迭代器有两个基本的方法：iter() 和 next()。 人工生成迭代器的方式，创建一个类实现内置方法__iter__()和__next__()，其中__iter__()方...
2019-02-15 18:16:43
160
原创 python 闭包
闭包定义：在一个外函数中定义了一个内函数，内函数里运用了外函数的临时变量，并且外函数的返回值是内函数的引用，这样就构成了一个闭包优势：内外函数共享变量，节省内存 外函数在调用结束时，会把被内函数调用的变量绑定到内函数上，不会直接释放，加速内函数数据处理速度 方便进行函数式编程，组织代码逻辑缺点：如果不合理的使用闭包，容易造成大量的变量遗留再内存中无法释放，导致内存不足等现象...
2019-02-15 14:59:05
137
原创 tornado+elasticsearch web API
1、简介 最近使用tornado实现了一个对接ES库的API接口，tornado的优势在此不做讲解下面分享一下核心代码，方便后面使用tornado讲解推荐博客2、codeimport timeimport tornadoimport tornado.ioloopimport tornado.webfrom tornado.escape import json_enco...
2019-01-28 19:09:48
1164
1
原创 requests proxy使用
最近在通过代理连接ES数据库时，一直报错requests.packages.urllib3.exceptions.ProxySchemeUnknown: Not supported proxy scheme socks5from elasticsearch import Elasticsearch, RequestsHttpConnectionclass MyConnection(Re...
2019-01-28 15:37:29
2926
1
深入浅出MFC.pdf
2014-12-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人