- 博客(22)
- 收藏
- 关注
RSS订阅
原创 gerapy+scrapyd部署（scrapy可视化web管理）【基于python3搭建scrapy可视化管理】
gerapy是基于scrapyd的可视化管理平台类似的可视化管理凭条还有很多，但是都需要先用scrapyd打包scrapy项目一，我们先对scrapy项目进行打包首先我们要有scrapy项目，项目目录如下图jie下来用scrapyd对项目进行打包， a,先安装scrapyd所需要的包pip install scrapyd # 服务端pip install scrapyd-client # 客户端 b,修改scrapy项目配置，找到项目根目录下的sc...
2020-09-24 00:59:42
889
原创 pyinstaller 打包程序
4，安装pyinstallerpipinstallpyinstaller。6，将整个虚拟环境压缩发给客户，用户可以直接双击打包好的后缀为".exe"文件。5，在启动脚本文件打包，pyinstalller-F-w+主文件名称。2，在虚拟环境中安装需要的模块和环境。3，将程序放到虚拟环境中的一级目录中。python打包程序。...
2022-07-29 18:48:33
230
原创 Charles安装配置(win10)[解决全是unknown的问题]
第一步：下载charles点击官网下载地址开始下载第二步：安装疯狂下一步就行了第三步：注册自行百度，网上非常多【关键字：charles注册/破解】第四步：安装证书1，点击安装证书2：点击安装3，选择本地计算机，点击下一页4，添加到受信任的根证书5，完成【提示 导入成功】第五步：勾选Proxy——Windows Proxy第六步：添加Location1：找到配置位置【选择 add】2，添加规则【点击ok】第七步：要抓浏览器的包，就配置一下浏览器证书【也是解决抓包全
2021-10-18 20:48:42
5231
1
原创 crontab 不执行 -=- 解决方案
**1. crond服务未启动crontab不是Linux内核的功能，而是依赖一个crond服务，这个服务可以启动当然也可以停止。我们可以先查看一下是否已经启动了服务：service crond status如下图所示表示crond是正常在运行的，反之说明没有启动如果没有启动解决的方法是:service crond start如果提示crond命令不存在，可能被误删除了，自行百度一下" linux 安装 crontab "2. 权限问题比如：脚本没有x执行权限，解决方法：增加执
2021-10-01 13:59:45
10461
原创 2021-09-18
scrapy自定义日志滚动第一种情况：第二种情况：废话不多说，直入主题。这是logging官方文档地址第一步：from scrapy.utils.log import _get_handler#按住ctrl键，鼠标点击一下就能找到该函数如果不能进入，就按照下面的方法。第一种情况：如果你使用的是虚拟环境，那么就修改虚拟环境目录下的~/lib/site-packages/scrapy/utils/log.py这个文件。第二种情况：如果你不是使用虚拟环境，直接修改python安装目录下的~
2021-09-18 18:01:47
71
原创 linux(centos7) 上安装chrome和chromedriver
爬虫工作中，难免会遇到时间紧迫而且网站有一定的反爬虫措施，这时候就需要用到selenium+chrome+chromedriver来进行数据抓取。假如项目需要放到linux服务器上，就需要在服务器搭建相应的环境。1，需要chrome浏览器；2，需要浏览器驱动chromedriver；（我python环境）一，安装chrome[参考]wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rp..
2020-10-30 20:35:57
2178
1
原创 python3 日志同时打印和写入文件【最简单的方式】
import timeimport loggingdef logger(): log_obj = logging.getLogger() # 创建对象 log_obj.setLevel("ERROR") # 设置日志等级 fileHandle = logging.FileHandler(file_path) # 创建日志文件流对象 streamHandle = logging.StreamHandler() # 创建控制台对象 # 将创建的两个对象添.
2020-09-29 19:09:31
1069
2
原创 pip导出当前项目的依赖包
导出pip已经安装的所有包pip freeze > requirements.txt上面这种方式只适合在虚拟环境中导出虚拟环境中的包，如果不是在虚拟环境下就会导出全局环境的python的环境包如下图：当我们只想导出我们创建的项目的依赖包，而我们的项目又不在虚拟环境中，这样就会导出多余的包，要想在全局环境中导出我们项目的依赖包，可以利用python包“pipreqs”$> pip install pipreqs# 进入到项目所在目录，在执行下面的命令$..
2020-09-18 11:37:37
6222
2
原创 更换pip下载源为国内源（pip加速下载，永久性）
pip install django像上面这种情况安装python包默认是从pypi.org官网下载包，官网是国外的，下载速度比较慢。怎么加速下载呢？更换下载地址，下载地址更换成国内源，我知道的国内源有以下几个中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 清华大学 https://pypi.tuna.tsinghua.edu.cn/sim..
2020-08-30 23:56:52
930
原创 5分钟教你搭建 windows 的 python环境
不哔哔，直入主题第一步，百度搜索“miniconda download”,找到miniconda官网【想要下载更快的朋友可以到清华源下载】下载miniconda第二步，选择自己想要的版本(一般选择python3)【左图是miniconda官网，右图清华源】miniconda官网清华源下载文件之后，双击下载文件进行安装第三步，如图第四步，如图第五步，如图第六步，选择安装路径，我这里选择默认的，如图第七步，这步记得勾选第一项！记得勾选第一项！记得勾
2020-08-29 21:58:32
629
原创 python+mysql实现数据覆盖式更新（数据采集中做去重处理）
业务场景：数据采集(爬虫)时需要对采集的数据多次采集【目的是更上网站数据变化的步伐】，比如采集人员，两次采集到同一个人的信息(第二次采集时人员的信息变化了)时，需要对数据进行覆盖一般的操作流程是：先根据PRIMARY_KEY或UNIQUE字段查询库里是否存在数据（select。。。）； 如果存在数据，则更改许要更改的字段（update。。。）； 如果不粗在数据，则进行添加新数据（insert。。。）； 代码示例 import pymysqlimport ipdbconn = py
2020-08-07 11:49:51
2888
原创 tornado+celery+rabbitine异步非阻塞
免费下载链接：https://pan.baidu.com/s/1rEDu5QSRhO4QpRSx7_gKBw提取码：4vah复制这段内容后打开百度网盘手机App，操作更方便哦
2019-04-28 19:49:07
227
原创 sublimeText3安装插件教程
安装好sublime text3之后，我们需要安装自己想要的插件，要命令可以快速安装插件，但是先要安装package Control 才能直接使用命令进行快速安装先到sublime官网进行复制下载package control 的命令，如下图：其实复制的文本（sublime text3）是这样的：import urllib.request,os,hashlibh = '6f...
2019-03-26 15:43:25
325
原创 fake_useragent Error: Maximum amount of retries reached
raise FakeUserAgentError('Maximum amount of retries reached')fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached在使用 fake_useragent 的时候出现如下错误 raise FakeUserAgentErr...
2019-03-17 15:24:19
1942
原创 jquery 优雅的创建新元素
直接上代码var p = $('<p>',{ html:'我是新创建的 P', class:'new_P', title:'I`m title!', }); p.appendTo($('body'))// {...}中可以给新创建的元素添加属性...
2019-03-16 19:39:45
468
原创 python3 + pymysql 创建数据库
# python + pymysql 创建数据库 import pymysql# 创建连接conn = pymysql.connect(host='localhost',user='root',password='123456',charset='utf8mb4')# 创建游标cursor = conn.cursor()# 创建数据库的sql(如果数据库存在就不创建，防止异常)s...
2019-03-13 19:53:16
16454
7
原创 解决sublime Text 无法安装插件问题
在sublime text3 安装插件时,出现了以下的界面？,别慌，解决方案已经准备好。1，依次点击preference(中文为“首选项”) > package setting > Package Control >settings—User ,点开之后界面是这样的先下载被防火墙隔在国外的 json 文件：下载地址 百度网盘：https://pan.b...
2019-01-25 19:53:17
346
转载 中文正则表达式匹配
中文正则表达式匹配-正则中文匹配打开支付宝首页搜“512152592”领红包，领到大红包的小伙伴赶紧使用哦！欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特...
2019-01-18 16:06:31
399
转载 jupyter notebook中美化pandas中DataFrame的输出:记录大神操作
jupyter notebook中美化pandas中DataFrame的输出转载自:https://blog.csdn.net/xiaodongxiexie/article/details/71202279原创博主：晓东邪在jupyter notebook中调用pandas时，DataFrame可以被很好的显示，是这个样子的：虽然比idle或者别的终端输出要好看很多，但是...
2019-01-18 15:07:55
2277
原创 pymongo模糊查询
pymongo模糊查询:简单来说 就像下面这样 : 1. import re {'字段名':re.compile('条件参数')} 2. {'字段名':{'$regex':'条件参数'}} 具体使用 =&gt;&gt; 正则进行匹配模型如下 : from pymongo import MongoClient client = MongoCl...
2019-01-11 17:58:44
5384
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人