- 博客(6)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 xpath 多层地址中间部分模糊定位
在使用 XPATH 爬取京东商品信息的是否,发现部分京东自营商品的定位地址和其他商品在层数上回不一样比如说特别的//*[@id="J_goodsList"]/ul/li[14]/div/div/div[2]/div[1]/div[3]/a一般的//*[@id="J_goodsList"]/ul/li[8]/div/div[3]/a可以发现中间在li后面多了3层div开始的思路是 用通配符. *写成//*[@id="J_goodsList"]/ul/li[@xxx=""]/*/div[
2021-09-03 10:51:28
641
原创 Python + selenium 爬取淘宝商品列表及商品评论 2021-08-26
Python + selenium 爬取淘宝商品列表及商品评论[2021-08-26]主要内容登录淘宝获取商品列表获取评论信息存入数据库需要提醒主要内容通过python3.8+ selenium 模拟chrome操作进行淘宝商品列表及评论的爬取还存在以下问题:需要人扫二维码登录以便于绕过反爬机制(后面再优化)评论爬取耗时比较长,因为页面加载完整后才能进行评论的爬取,而各类商品详情页的图片数量不同,导致加载时间不同,有的甚至要加载1-2min(也可能是公司网限制了购物网站的网速)整体思路:通过扫
2021-08-26 16:17:48
2856
2
转载 面向对象以及面向过程编程的区别
最近在学习python 以及 c 和同事聊了下,这两种语言的优缺点…关于面向对象和面向过程半天说不清楚,所以网上搜索了下…发现这片文章说的很贴切,特此转发如下:用面向过程的方法写出来的程序是一份蛋炒饭，而用面向对象写出来的程序是一份盖浇饭。所谓盖浇饭，北京叫盖饭，东北叫烩饭，广东叫碟头饭，就是在一碗白米饭上面浇上一份盖菜，你喜欢什么菜，你就浇上什么菜。我觉得这个比喻还是比较贴切的。蛋炒饭制...
2018-11-07 12:02:14
245
转载 vmware 虚拟机下配置centos7.x 网络设置
http://blog.51cto.com/11934539/2050458vmware 虚拟机下配置centos7.x 网络设置
2018-10-15 17:20:08
175
原创 python 小说爬虫+ui+多线程
爬虫主要是bs4 beautifulsoup库 和 urllib 库 ui 是 pyqt5库如果是希望通过ui反馈实施爬取进度,必须用多线程,否则ui会假死先说爬虫 主要是通过biqukan这个网站爬取逻辑是: 1.先获得小说章节列表,形成一个只有key,没有value的字典.以及一个各章节网址的列表 2.通过每个章节循环获得章节内容,更新到字典中去 3.把字典输出到txt....
2018-08-23 17:16:52
1249
原创 关于Python NumPy 库中 arr.transpose 方法的心得记录
利用python进行数据分析中第二版第四章有关于 NumPy库的介绍, 有关于 arr.transpose 方法的心得记录如下: arr = np.arange(16).reshape(2,2,4)结果就是array([[[ 0, 1, 2, 3], [ 4, 5, 6, 7]], [[ 8, 9, 10, 11], ...
2018-08-15 11:29:41
2059
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人