- 博客(10)
- 收藏
- 关注
RSS订阅原创 scrapy-新浪关注用户内容爬取
第一个需求从新浪主页抓取当天的所有热门内容。有文字就爬取文字，图片就爬图片，其实直接爬取博文的连接就好。抓取内容以内容作者为主要的id爬取作者的昵称和发表日期，博文链接，博文标题。这里不用登录，因为，热门内容主要是在微博首页，主要的要求就是使用selenium渲染工具去采集动态内容。第一个问题：新浪微博的采用下拉式更新的方式，所以需要使用selenium去执行js代码完成下拉的操...
2020-04-26 19:48:22
243
原创 scrapy爬虫练习-3-27
今天，没有练习什么，重新熟悉了一下有关selenium定位的两个关键的方法。xpath和css selector。这两种方法不仅能在selenium中使用，也能够很多解析网页的库中使用，且很简单，容易学。所以就出现了一个问题，没有需求，没需求就没有供给，就没有目标，就没有动力。我想既然没有什么需求，不如自己创造的需求，或者说创造点问题，借此来锻炼自己的技术。在github上有很多爬虫项目，我看了...
2020-03-27 21:59:14
202
原创 scrapy爬虫练习-3-26
剧情回顾上一回，完成了使用scrapy框架重写了requests对豆瓣高分电影的爬取。由此对scrapy这个框架有了初步的了解。接下来要对scrapy框架加深了解，不过想要深入的了解这个scrapy框架还得看文档，或者看有关书籍。在了解scrapy框架之前，需要了解scrapy这个框架的运作流程。具体流程如下图：上回，使用了编写了spiders发出请求，并重写了start_request方法...
2020-03-26 22:32:16
320
原创 scrapy爬虫框架学习之路-3-25
上回我们说到，如何使用python的requests请求库爬取豆瓣高分电影榜，本次就说一说如何使用scrapy这个python爬虫框架去实现爬虫功能。首先，使用scrapy的框架需要经历一下步骤：创建一个scrapy工程。编写spider。编写item。编写pipelines上述的四个步骤就完成了一个网站从请求、下载、解析网页、保存的过程。接下也会按照这四个步骤去编写代码。创建工...
2020-03-25 19:52:26
175
原创 scrapy爬虫框架学习之路-3-24
scrapy爬虫框架从2020年3月24日开始，也就是今天，我要开始日更我在学习、练习scrapy爬虫框架时的收获，问题。目的就是为了能够熟练的操作scrapy，能为我找工作提供一些帮助就更好了。首先，什么是scrapy？scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动...
2020-03-25 00:01:18
182
原创 王者荣耀爬虫
绪论网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。所以用python进行网络爬虫是简单且快捷的。需求分析本...
2020-02-20 14:48:25
5480
原创 python学习笔记-数据结构与语句
基础元素学习一门编程语言的时候，我最先考虑的事情就是如何操作值，值（value）在程序组可以是一个数字1,2,3,4，字符'hello,word'.我们使用变量来保存这些值。又把变量保存的值成为对象，计算机会给变量的对象和变量分配内存空间。python使用的内存分配方式成为引用语义或者对象语义，而像c语言使用的时值语义。接下来具体说明一下这两种语义的区别。值语义：所谓值语义是指目标对象由源对象...
2019-08-03 15:37:26
356
原创 使用python编写十二进制与十进制转换程序
我在面试前，面试公司发来一道python题，我觉得还挺有意思的。题目如下。"""“”"我们知道 2 进制数字由 2 种字符（01）组成，10 进制数字由 10 种字符（0123456789）组成，16 进制由 16 种字符（0123456789ABCDEF）。不同进制的数字之间可以相互转换。我们定义一种 “十二地支进制” 数字，这种数字由中国古代地支的 12 种字符（子、丑、寅、卯、辰、巳、...
2019-06-13 00:41:47
2746
原创 利用opnecv里BRO特征算法的进行颜色跟踪
利用opnecv里BRO特征算法的进行颜色跟踪目录主要目标opencvORB算法与BF匹配camshift算法判定代码目录主要目标我们利用python与和opencv库中的算法，实现了一个红的物体的检测与跟踪。流程图如如下：摄像头采集视频流ORB算法计算特征值和BF匹配将窗口内的图像转换到色度空间计算窗口中的色度直方图计算反向投影区,再通过它计算目标的颜色概率分布图使用camshift进...
2019-04-09 01:13:50
416
1
原创 基于颜色阈值的图像跟踪
本次试验可以分成两个步骤完成。利用颜色阈值取出跟踪目标。使用均移（Meanshift and Camshift）算法进行目标跟踪。首先，什么是均移（Meanshift and Camshift）算法？均移首先是建立一个窗口（window），然后不断地将目标在窗口内移动搜索，并计算相关位置的最大值（也可以说是窗口内概率密度）。如图，实正方形是窗口的中心，实圆形是目标的质心。目标移动，其质...
2018-12-07 01:55:41
3764
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人