- 博客(15)
- 收藏
- 关注
RSS订阅原创 selenium模拟登陆豆瓣
使用selenium模拟登陆豆瓣，利用获得cookies传给selenium和requests进行免登录访问1、得到cookies2、传cookies给selenium3、传cookies给requests1、得到cookies通过selenium中的browser.get_cookies()方法获得的cookies格式为多个字典组成的列表形式：[{'domain': '.douban.co...
2019-08-07 22:38:37
239
原创 scrapy中添加user-agent的两种方法
方法一：在spider模块中改写start_requests方法# -*- coding: utf-8 -*-import scrapyimport randomclass YdspiderSpider(scrapy.Spider): name = 'ydspider' allowed_domains = ['fanyi.youdao.com'] # start_...
2019-07-24 20:57:55
1324
原创 requests+xpath解析时遇到的坑
import requestsfrom lxml import etreeurl = ‘www.baidu.com’response = requests.get(url)html = response.texthtml = etree.parse(html, HTMLParser())写到这里报错原因：etree.parse(xml文档, HTMLParser())respon...
2019-07-16 21:45:24
741
原创 使用location和size截取滑动验证码出现偏差
代码没有问题，但通过selenium打开Chrome时，验证码的图片位置不能直接显示在屏幕上，需要下拉才看到，而location的定位是相对于整个浏览器来说的，再来截取下拉后截屏的图片这样就导致了top和bottom的偏差（并不会导致left和right的偏差）解决方法：由于我的笔记本分辨率过低，选择更高分辨率的显示器运行程序，能达到效果...
2019-07-04 10:16:19
360
转载 mongodb4.0的安装和配置
https://blog.csdn.net/u013066244/article/details/53838721
2019-04-16 08:59:30
219
原创 python3网络爬虫开发实战 第二章 知识点总结
第二章 爬虫基础HTTP基本原理1、HTTP协议是用于从网络传输超文本数据到本地浏览器的传送协议，而HTTPS即在HTTP下加入SSL层，是HTTP的安全版2、浏览器向网站所在的服务器发送了一个请求，网站服务器接收到这个请求后进行处理和解析，然后返回对应的响应，接着传回给浏览器3、Request URL为请求的URL，Request Method为请求的方法，Status Code为响应状...
2019-04-10 17:06:27
339
原创 python编程从入门到实践 第十章 知识点总结
第十章 文件和异常1、使用with open（filename）的形式打开文件，在不需要访问文件后将其关闭，也可使用open（）和close（）来打开关闭文件，但这样做时，如果程序存在bug，导致close（）语句未执行，文件将不会关闭。未妥善关闭文件可能导致数据丢失或受损2、使用方法.read（）读取文件的全部内容，将其作为字符串存储在变量中3、要让python打开不与程序文件位于同一个目...
2019-04-10 10:40:18
197
原创 python编程从入门到实践 第九章 知识点总结
第九章 类1、方法定义中必须包含形参self2、使用句点表示法调用类中定义的任何方法3、类中的每个属性都必须有初始值，哪怕这个值是0或空字符4、修改属性的值：(1)直接修改属性的值。(2)通过方法修改属性的值。(3)通过方法对属性的值进行递增5、一个类继承另一个类时，它将自动获得另一个类的所有属性和方法6、super()是一个特殊函数，帮助Python将父类和子类关联起来7、在子类中...
2019-04-10 09:25:21
165
原创 python编程从入门到实践 第八章 知识点总结
第八章 函数1、函数定义以冒号结尾，紧跟函数名后面的所有缩进行构成了函数体2、函数传递实参可使用位置实参（位置实参的顺序很重要）和关键字实参（务必准确地指定函数定义中的形参名）3、编写函数时，可给每个形参指定默认值4、可通过对实参的默认值为空，让实参变成可选的5、形参名前加 * 可让python创建一个空元组，可以传递任意数量的实参6、形参名前加 ** 可让python创建一个空字典，...
2019-04-09 22:23:25
175
原创 python编程从入门到实践 第七章 知识点总结
第七章 用户输入和while循环1、%求模运算符，将两个数相除并返回余数2、在while循环中，通过使用判断标志，让程序更整洁3、使用break立即退出循环4、continue语句让python忽略余下的代码，并返回到循环的开头...
2019-04-09 21:47:54
168
原创 python编程从入门到实践 第六章 知识点总结
第六章 字典1、依次指定字典名、用方括号括起的键和相关联的值来添加键-值对2、使用del语句删除指定字典名和键3、声明两个变量来遍历字典中的键值对，eg：for key，value in dict：4、遍历字典中所有的键，eg：for k in dict.keys():5、遍历字典中所有的值，eg：for v in dict.values():6、可以在字典中存储列表，也可以在字典中存...
2019-04-09 21:38:46
190
原创 python编程从入门到实践 第五章 知识点总结
第五章 if 语句1、检查是否相等时考虑大小写2、== 检查相等，！= 检查不相等3、使用and，or检查多个条件4、使用关键词in 检查特定值是否包含在列表中，not in 检查特定值是否不包含在列表中5、if-elif-else结构...
2019-04-09 21:25:34
230
原创 python编程从入门到实践 第四章 知识点总结
第四章 操作列表1、使用for循环遍历整个列表2、对于位于for语句后面且属于循环组成部分的代码行，一定要缩进(不要遗忘for语句后的：)3、range(a,b) 打印a到b-1；还可使用range() 创建数字列表，numbers=list(range(1,6))4、列表解析，eg：squares = [value**2 for value in range(1,11)]5、列表切片，...
2019-04-09 21:16:25
269
原创 python编程从入门到实践 第三章 知识点总结
第三章 列表简介1、索引从0而不是从1开始2、要修改列表元素，可指定列表名和要修改的元素的索引，再指定该元素的新值3、append() 语句在列表末尾添加元素4、insert() 可在列表任何位置添加元素，eg：list.insert(0, ‘string’) 在索引0添加元素，这种操作将列表中既有的每个元素都右移一个位置5、使用del list[num] 可删除任何位置处的列表元素6...
2019-04-09 20:45:58
187
原创 python编程从入门到实践 第二章 知识点总结
第二章 变量和简单数据类型1、变量名只能包含字母、数字和下划线。不能以数字打头，不要将Python关键字和函数名用作变量名2、title()：以首字母大写的方式显示每个单词upper()：将所有字符串大写lower()：将所有字符串小写3、使用 + 来合并字符串4、\t 制表符，\n 换行符5、rstrip() 删除字符串后面的空白 lstrip() 删除字符串开头的空白 strip...
2019-04-09 20:31:06
249
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人