- 博客(99)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 git子模块仓库管理
rm .git/modules/submodule # 删除本地仓库模块配置中的子模块配置。描述：在比较复杂的仓库管理中，当项目被多个git仓库引用采用子模块仓库提交子模块复用性。git submodule deinit submodule # 卸载远程子模块仓库。注意：submodule指的是子模块名称或者说子模块主仓库相对路径。git rm submodule # 删除本地仓库中的子模块代码。git submodule init 初始化子模块仓库。
2023-08-18 18:45:55
205
原创 Too many open files服务器系统配置问题
ubuntu系统修改/etc/security/limits.conf，添加：root soft nofile 8192root hard nofile 8192注意：不要使用通配符*，即：* hard nofile 8192等。这样会导致配置失效，最好还是按照标准模式来配置，配置完需要重启。另外需要检查相应程序进程是否真正配置成功：cat /proc/pid(进程id)/limits，查看：如果显示的和配置一样代表配成功。...
2022-01-21 11:08:14
592
原创 python nginx uwsgi 解决upstream prematurely且设置keepalive_timeout不起作用
python nginx uwsgi 解决upstream prematurely且设置keepalive_timeout不起作用
2020-07-03 10:10:25
1125
原创 python针对JSONDecodeError
出现这种情况一般都是json.loads()，字符参数不规范造成的，处理方法：1.规范json字符串注意：json字符串是公用的不是单单对应python，其他语言也是，所以不能用python的dict格式来限定json字符串的规范写法，特别注意单引号。2.使用第三方包demjsonpip install demjsondemjson中的decode方法更加亲和python处理...
2020-04-21 11:49:55
1976
原创 MySQL的session和global
说明：MySQL的session和global一般使用在终端，用来对配置进行暂时设置，当数据库服务重启就会失效。session和global体现在新的设置生效的范围。session：当前会话，也就是当前连接。global：全局，不包含当前连接，之后新获取的连接都会生效。...
2019-06-23 10:29:11
2133
原创 MySQL频繁失去连接
情况：起初循环执行sql是正常的，随着循环次数或者执行时间增加，执行开始失去连接。不是忘记关闭连接，也没用连接池，但是却遇sql执行短时间失去连接。MySQL超时参数一眼基本都能看出什么意思，这里主要介绍wait_timeout、net_read_timeout和net_write_timeout。net_read_timeout：服务器读（查询）操作的超时时间。net_wri...
2019-06-16 10:14:20
2179
原创 查看MySQL数据库和表物理内存
1.选择information_schemause information_schema2.查看information_schema表信息desc tables;3.查看数据库所有库的schemaselect distinct table_schema from tables;4.查看指定数据库的物理内存select concat(round(sum(DATA_...
2019-04-19 17:06:30
2357
原创 linux查看进程中的线程以及线程个数
一、查看进程pid下的线程命令：ps hH p pid二、查看进程pid下的线程个数命令：ps hH p pid | wc -l
2019-04-12 15:47:05
1884
原创 Celery Received unregistered task of type
注意：最好在Linux下跑celery,总感觉Windows对python的进程支持的不太好(个人意见)说明：这种错误是任务未注册，或者说路径不对找不到tasks(任务)可以看到tasks中没有任何已注册的任务解决方法：1.celery对象所在文件main.pyfrom celery import Celeryapp = Celery('main')app.confi...
2019-03-16 23:32:25
6382
4
原创 简述mysql的join
说明：简单记录一下，否则老是忘，希望你也能看懂。。join(inner join)：内连接也叫等值连接。A、B两张表当A、B两张表都能通过字段查到数据就会显示这条数据，否则查不到(不显示)。比如：select a.name,b.name from A join B on a.id = b.id;当同时满足能从A表B表查name字段的数据，就会显示这条数据，不满足的都不会查到。l...
2019-02-15 21:56:39
180
原创 xpath提取标签文本以及子孙标签文本
说明：xpath中text()只能提取该标签的文本内容，提取子孙标签的文本内容需要用到string()使用："string(xpath的元素定位表达式)"例子：from lxml import htmlcontent = '<div>你<a>好</a></div>'tree = html.fromstring(content)...
2019-02-14 13:51:31
2640
原创 python新式类和旧式类(经典类)
这里要涉及一个名词：MRO(基类搜索顺序)新式类：python3默认，移除了旧式类，不需要显示继承object，MRO采用广度优先搜索。旧式类(经典类)：python2默认，显示继承object就是新式类，否则就是经典类，MRO采用深度优先搜索。至于优先级搜索可以参考本篇博客的例子进行理解：https://blog.csdn.net/mrlevo520/article/deta...
2019-02-08 14:41:38
200
原创 python单例
说明：python中一个模块就是单例，简单的通过模块就能实现单例。本篇博客介绍两种从根本上实现单例模式一、重写类方法__new__:class SingleOne(object): ''' 通过类的__new__实现单例 ''' def __new__(cls, *args, **kwargs): if not hasattr(cls,'_...
2019-02-07 20:49:05
129
原创 python元类(metaclass)简单理解
class Person(type): def __new__(cls,name,bases,attrs): ''' 元类：类的抽象模型，可以理解为类是元类的对象，元类是对类进行限定，类是根据元类 进行构建的，类似类和对象的关系。 :param name: 声明该元类的类名 :param bases: 声明该...
2019-02-07 16:31:09
128
原创 python协程
说明：python中的协程是通过生成器来实现的，yield不仅能返回值，同时也能接收参数，实现协程之间的通信。'''协程：也叫微线程或者子程序，协程是运行在线程中的，因为单线程不存在同时修改变量的冲突，因此协程无需加锁，也就是没有锁机制。协程相对于线程也不需要线程切换的资源浪费的情况，相对来说协程更加高效。在多核的模式下，由于python的GIL，规定了python程序实际还是单线程...
2019-02-07 14:00:54
142
原创 python可配置日志logging
一、配置文件logger.ini[loggers]#logger名称keys=root,rotatingFileLogger,timeFileLogger[handlers]#handler名称keys=consoleHandler,rotatingFileHandler,timeFileHandler[formatters]#格式名称keys=simpleFormatter,...
2019-02-02 16:36:43
499
原创 python定时任务
说明：使用python内置的模块来实现，本篇博客只是以循环定时来示范，其他的可以结合crontab的风格自己设定一、导包from apscheduler.schedulers.blocking import BlockingScheduler二、普通函数的使用（1）interval模式，功能比较单一sched = BlockingScheduler()@sched.sch...
2019-02-01 13:53:32
2451
原创 python的flask框架找不到模块flask.ext.cache
一、修改一下底层源码：vim /root/.pyenv/versions/3.6.5/envs/flask/lib/python3.6/site-packages/flask_cache/jinja2ext.py 将 flask.ext.cache 改成 flask_cache 否则cache模块不能用二、或者在配置redis时这样写cache = Cache...
2019-01-17 17:29:07
1507
原创 爬取某代理网站代理IP
import refrom urllib.parse import urlparseimport requestsfrom fake_useragent import UserAgentclass ProxySpider: def __init__(self,url_init='https://www.xicidaili.com/nn/'): ''' ...
2019-01-14 21:24:09
738
原创 jieba切割生成词云
import sqlite3import pandas as pdimport numpy as npimport jiebafrom collections import Counterfrom pyecharts import WordCloudclass MyWordCloud: ''' 自定义的词云分割 ''' def __init__(s...
2019-01-12 22:33:02
618
原创 scrapy-redis的官方文档和源码位置
官方文档：https://scrapy-redis.readthedocs.io/en/stable/源码位置：https://github.com/rmax/scrapy-redis
2019-01-05 13:50:43
1400
1
原创 selenium的无头模式--headless
无论是火狐还是谷歌浏览器只需要添加一个参数即可：from selenium.webdriver.firefox.options import OptionsOptions().add_argument('--headless')
2019-01-04 16:43:57
5125
原创 scrapy-redis中url队列类型的控制(zset、list)
说明：scrapy-redis在进行数据请求是能够实现url的自动保存到redis中，但是保存的数据结构类型是和setting配置文件中的优先级队列的选择挂钩的。注意：当url的保存类型和url的提取方式不匹配会报错比如：通过list数据结构的数据提取的方式提取zset中的数据redis中list的数据提取方式：lpush keyredis中zset的数据提取方式：zrange k...
2019-01-04 16:37:17
3089
原创 python with 的原理
首先使用with要求该对象支持上下文管理协议（context management protocol），简单说就是类内部实现了__enter__和__exit__方法。内建了这两个方法的对象：file decimal.Context thread.LockType threading.Lock threading.RLock threading.Condition thread...
2019-01-02 10:33:35
191
原创 python assert 断言
简单说：就是一个即简单方便又灵活的可抛异常。格式：assert 表达式[,msg]说明：当表达式为False，抛出AssertionError异常，msg是可以自定义的异常信息字符串,可不写例子：...
2018-12-19 20:35:23
154
原创 解决nginx收不到任何请求并且请求日志无记录
如果你遇到当你排除了你所认为的所有障碍甚至换一个项目做测试都没发现出了什么问题，但是出问题的项目就是无法请求到nginx上。提醒你不妨换个端口试试。 这几天遇到一个很奇怪的问题。无论如何都请求不到页面，发现nginx日志也没任何提醒，发现请求根本都到不了nginx，更别说其他的操作了。不是端口占用、不是防火墙、也不是配置问题，网上百度，千篇一律，最终发现一个比较符合的解释：请求被...
2018-12-19 19:05:51
13169
原创 解决flask无法打开或者加载application、manage.py
使用框架，无论flask还是django有些文件夹的名称是不能改的，否则会出现找不到或者打不开的情况。比如创建flask项目自动生成的的app文件夹名称是不能修改的，其对应application...
2018-12-16 20:04:58
1829
原创 flask复杂类型结合field.List格式化后为null
记录学习flask-restful遇到的一个问题：经过restful格式化的返回前端的数据中，字段或者说属性都没什么问题，但是属性值要么为0要么为null说明：restful格式化数据，无论数据是否存在都能够进行格式化，因为任何数据都能被当做对象，也就是说无论数据是否正确或者说数据格式是否和restful格式化的数据一一对应，restful都能进行格式化，也就是说即便是错误的或者说不是自己...
2018-12-11 14:07:13
620
原创 linux下一条命令查端口查进程pid
1、命令：netstat -ntulp注意每列的意思，可以看出该命令可以查出进程名、IP地址(端口)、PID，这样结合管道就能简单过滤出自己想要的，切记每列对应的意思。2、过滤：netstat -ntulp | grep 80...
2018-12-09 16:27:36
898
原创 Nginx的反向代理和负载均衡
应用型服务器：处理业务请求的服务器，比如Django和flask等，可并发能力较弱。代理服务器:分析业务请求，将不同的请求分发给不同的服务器来处理，自身不处理业务，效率较高，可并发能力较高。比如：nginx。一般情况下，由于应用型服务器需要处理各种业务需求，所以相应的效率会比较低，也造成应用型服务器处理高并发的能力很有限。所以就有了分布式开发，而分布式服务器可以同时用来处理各种业务请求，减...
2018-12-08 16:44:10
108
原创 Django变量在前端js中不起作用的解决方法
js是具备作用范围的，由一对{}来决定。而django的内置标签和变量也都是由大括号括起来的，这样就会起冲突。解决：将django的内置标签和变量用引号括起来比如：变量：var a = "{{name}}"静态资源：src = "{% static path %}"...
2018-12-01 14:48:01
2261
原创 Django中静态资源
一、配置settings.py#这个要保证为调试模式,生产模式Django不解析静态资源DEBUG = True#静态资源只能写成static,写成其他都不可以STATIC_URL = '/static/'STATICFILES_DIRS = [ os.path.join(BASE_DIR, 'static')]二、创建项目下的资源文件夹注意：文件名要为stat...
2018-11-19 22:40:03
149
1
原创 Linux远程传输文件的简单方式
介绍Linux下两个简单且安全的文件传输方式：一、scp,secure copy的缩写，可以用来远程传输拷贝的文件，并且比较安全(ssh:22)注意：远程主机ip的存放目录用分号:隔开1、拷贝文件scp /home/root/1.txt root@远程主机ip:/home/root/将本机/home/root/目录下的1.txt拷贝到远程root主机/home/root/...
2018-11-17 17:26:06
2387
基于xtrabackup2.4(innobackupex)的数据库可配置的备份脚本
2019-08-19
基于xtrabackup8.0的数据库压缩可配置的备份脚本
2019-08-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人