杉杉锅锅-CSDN博客

原创 scrapy OpenSSL.SSL.Error

scrapy OpenSSL.SSL.Error

2022-08-19 13:51:55 1025 1

原创 python 类方法使用装饰器并使用self

python 装饰器类装饰器带参装饰器

2022-08-09 16:13:56 1840

Flask-Admin说明flask 轻量型web服务框架，官方给的特点是:微，意味着仅有基础的服务功能。在开发中，基本上还要依赖一些有扩展功能的扩展包。flask-admin 基于flask的扩展包，主要功能是支持默认的web管理界面，类似于django的admin。当然，在使用中，还涉及其他的扩展包。文档说明以github项目实例为引导，学习flask-admin的文档笔记Hello World 在项目文件夹下创建 app.py/wsgi.py (项目目录下命令行执行flas

2022-03-31 20:12:12 2880

原创 scrapy爬虫框架概览【基础使用】

Scrapy框架架构Engine - 引擎：处理数据流、触发事务。item - 项目：数据结构，类。Schedul - 调度器：处理请求队列。Download - 下载器：请求。Spiders - 蜘蛛：爬取逻辑和网页解析规则。item Pipeline - 项目管道：处理结果数据，清洗入库等。Downloader Midddlewares - 下载器中间件Spider Midddlewares - 蜘蛛中间件数据流命令行调用子项目Engine找到对应的Spider，并获取

2021-12-14 10:31:51 529

原创【无标题】

scrapy 使用技巧1、中间键等级相同的情况下,优先调用自定义中间件关于重定向：1、可以设置handle_httpstatus_list参数用以过滤需要重定向的响应码或直接设置不要重定向class RedirectMiddleware(BaseRedirectMiddleware): """ Handle redirection of requests based on response status and meta-refresh html tag. """

2021-12-10 16:54:49 1435

原创 scrapyd / gerapy 异常集合

先说版本Scrapy 1.5.0scrapyd 1.2.1gerapy 0.9.7不知道是啥原因部署起来遇到好几个问题，记录一下项目部署异常 str异常信息：然后尝试用scrapyd部署项目也抛了这个异常搜了一下还真有遇到相同问题的(https://www.pianshen.com/article/98501050648/)原因：在这个utils下 140行处 tmp = out.decode('utf-8').splitlines()改为 if isinst

2021-12-01 17:44:29 1036

原创 python-lxml-tostring解析html的时候遇到没有文本的a标签

有这么一个html根据需求，现需要先转换为etree,经过处理后再转回字符串即此时打印article，结果为可以发现，原本的apap四个标签中，第二个a标签，因为不含有text内容在经过tostring之后已经被折叠了，即变成了用谷歌浏览器打开效果为显然已经改变了原有的html效果，暂时未发现好的处理办法，只能先将没有text的a标签删除...

2021-01-26 11:58:27 242 3

原创 scrapy初练

创建项目scrapy startproject {name}创建一个子目录scrapyname 并包含一些基本文件item 定义爬取对象，字段middlewares 包含cookies 代理ip等的设置的中间件piplines 返回item类型对象后再piplines对item数据处理setting 日志级别，是否遵守robots协议等一些参数的设置生成了一个name目录再name目录下创建一个spiderscrapy genspider {name} {domain}...

2020-12-17 13:08:40 68

原创 shell中运行python 用python 和python3有什么区别

大概情况就是吧一个python项目放到docker上部署项目中用到了一个依赖PyExecJsdocker镜像安装PyExecJs又是成功的然后写一个sh运行入口文件一开始是：python xxx.py然后就抛出异常No module named ‘execjs’最后尝试用python3启动python3 xxx.py就正常了不知道是什么原因有大佬帮忙解惑吗...

2020-06-26 13:02:22 1202 4