- 博客(8)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 修改multiple select 的选中某个option时的效果
select[multiple] option:checked { width: 500px; }以上代码的作用为将复选栏的option选项被选中时的转变范围（比如变色）变宽
2020-06-02 09:28:41
476
原创 scrapy项目中的备忘
在使用genspider 命令时生成的名字就是name 属性，同时在运行cdm命令的时候也是使用这个名字作为参数。例如：scrapy runspider douban.pyMiddlewares 定义：介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。...
2020-03-17 11:35:24
137
原创 php踩坑日记
echo : 输出一个或多个字符串print : 输出简单变量的值，如int,string类型变量的值print_r : 输出比较复杂类型的值，如数组，对象（转自https://blog.csdn.net/qq_36431166/article/details/83317002）...
2020-03-12 17:28:23
185
原创 简历上的项目回顾（基于beautifulsoup的爬虫）
首先加上请求头,这里的请求头是firefox浏览器。爬取的信息主要通过beautifulsoup 的find 和findall函数获取。将网页以lxml的形式解析首先，由于菜谱的照片中包含了菜品名称，所以直接在照片标签中获取alt属性和src属性即可。其他信息基本上都可以通过具体的id或class区别开来其中步骤图片的爬取是通过具体width值筛选img标签，然后再提取出src...
2018-11-20 17:57:31
1361
原创 scrapy 中yield的作用
yield 和return 都有返回数据的作用，最主要的不同在于yield在返回值后还可以继续运行接下来的代码，而return在返回后就不在执行代码。在scrapy中，爬取的数据量往往十分巨大，如果使用return和list存储之后在一次性返回将带来巨大的内存消耗。而yield可以在返回一组数据后再处理下一组数据，大大减少了内存的浪费。...
2018-11-19 13:23:01
2221
原创 第一个scrapy程序遇到的问题
1 no module name items这里可以使用框架自带的命令操作，实验证明不会出这种错scrapy gensipder sipder baidu.com这里的spider 为爬虫名字，baidu.com为网站域名。错误可能源于（1）import xxx，应该为from xxx import xxx （2）重新命名模块，名...
2018-11-15 21:41:14
441
原创 查漏补缺 （网络）
www服务、email服务、ftp（File Transfer Protocol 文件传输协议)服务都属于internet标准的应用服务FTP属于应用层协议按照机构区分的域名原来有 7个 ：com（商业机构）、net（网络服务机构）、gov（政府机构）、mil（ 军事 机构）、org（非盈利性组织）、edu（教育部门）、int（国际机构）。双绞线的诞生是为了减少信号间的干扰。集线...
2018-10-22 14:59:25
231
原创 安装scrapy 遇到的问题
scrapy是由twisted做为基础编写的春python框架，所以在安装时需要先下载有关的twisted文件（实践时发现32位的安装包才能使用）。而不是像报错备注中那样下载visual C++。...
2018-10-13 20:31:52
150
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人