- 博客(36)
- 收藏
- 关注
RSS订阅原创 爬虫（八） - Scrapy的用法
明确目标创建项目编辑爬虫定义数据设置运行明确目标目标是：先只爬取豆瓣top250前三页书籍的信息，也就是爬取前75本书籍的信息（包含书名、出版信息和书籍评分）。创建项目安装 pip install scrapy创建Scrapy项目的命令：scrapy startproject doubandouban就是Scrapy项目的名字。整个scrapy项目的结构，如下图所示：...
2019-08-17 10:20:36
839
原创 爬虫（七）- 多协程的用法，gevent库，queue模块
1. 同步爬取时光网Top1002. 利用gevent库异步爬取时光网Top1003. 结合gevent库中的queue模块创建多个爬虫异步爬取时光网Top1001. 同步爬取时光网Top100利用requests和bs4模块就行了import requests from bs4 import BeautifulSoupimport timestart=time.tim...
2019-08-15 11:02:13
391
原创 爬虫（六）- selenium控制浏览器，自动打开运行点击评论
安装seleniumpip install seleniumselenium的脚本可以控制所有常见浏览器的操作，在使用之前，需要安装浏览器的驱动这里使用的是Chrome浏览器下载驱动及安装方法：https://localprod.pandateacher.com/python-manuscript/crawler-html/chromedriver/ChromeDriver.html设...
2019-08-13 20:41:03
488
原创 爬虫（五）- 爬取需要登录的网站，登录博客去评论
利用cookiesimport requests #引入requests。url = ' https://*****wp-login.php' #把请求登录的网址赋值给url。headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ...
2019-08-13 17:19:47
1370
原创 爬虫（四）-爬虫伪装模拟浏览器向浏览器要数据，requests.get()里的参数之params，headers
爬取周杰伦评论寻找XHR方法requests.get()里的参数之params，可以让我们用字典的形式，把参数传进去Query String Parametres，它的中文翻译是：查询字符串参数，将其封装成字典，注意复制过来后要加上引号和逗号。requests.get()里的参数之headers，可以伪装成浏览器。每一个请求，都会有一个Requests Headers，我们把它称作请求...
2019-08-13 13:44:41
2297
原创 爬虫（三）- 寻找周杰伦的歌单，json()
当你用requests.get()拿不到你想要的内容时，可能get到的只是网页的第0个请求。一般来说，都是这种第0个请求先启动了，其他的请求才会关联启动，一点点地将网页给填充起来。去QQ音乐爬取周杰伦的歌单什么是NetworkNetwork的功能是：记录在当前页面上发生的所有请求。第0行的左侧，红色的圆钮是启用Network监控（默认高亮打开），灰色圆圈是清空面板上的信息。右侧勾选框P...
2019-08-13 11:42:23
681
原创 爬虫（二）BeautifulSoup,解析数据，提取数据，find,find_all,select用法，爬取豆瓣250排行榜，下电影
BeautifulSoupBeautifulSoup使用BeautifulSoup 解析和提取网页中的数据安装库 pip install BeautifulSoup4解析数据解析数据的方法是用BeautifulSoup()import requests from bs4 import BeautifulSoup #引入BS库res=requests.get('h...
2019-08-12 16:23:22
2434
1
原创 爬虫（一）-requests库，Response对象的四大属性，下载源码，文字，图片，音乐。Robots协议。
requests库Response对象的四大属性response.status_coderesponse.contentresponse.textresponse.encodingRobots协议requests库学爬虫离不开requests库来获取数据。安装 pip install requestsrequests库可以帮我们下载网页源代码、文本、图片，甚至是音频。其实，“...
2019-08-12 10:58:52
2409
1
原创 python制作一款小工具使excel自动运行并分解数据的软件，再打包压缩传给其他人使用（全过程）
项目：开发一款将excel里的内容自动分解数据的软件。（店长每月要做分解表，每次分解需要花2天的时间，毕竟数量大且不会excel使用手算。不仅浪费时间，错误率也高）如图：需要分解为：如果用excel的话很容易。需要运用：复制，粘贴，筛选，分列，数据透视。但如果用python做的话怎么办呢?要求：用python将程序制作成可视化的软件成果：我的思路：1.先制作好分解的py文件2...
2019-08-09 18:19:02
1411
转载 openpyxl- 用于读取/写入Excel 2010 xlsx / xlsm文件的Python库。
创建Excel打开现有工作簿利用Python读取和修改Excel文件（包括xls文件和xlsx文件）创建Excel使用excel，先安装库 pip install openpyxl基本使用方法如下：from openpyxl import Workbookwb = Workbook() #创建新的工作簿Workbook()对象ws = wb....
2019-08-03 10:29:24
2545
原创 （二）Django模型类，配置项目INSTALLED_ADDS，模型定义，生成数据移植，移植数据库，表单视图...
Django模型类配置项目INSTALLED_ADDS模型定义生成数据移植移植数据库表单视图修改模型类开发模板文件开发视图使用管理界面————————————————————————————配置项目INSTALLED_ADDS要在项目的setting.py中告诉Django需要安装应用newapp中的模型，方法：打开setting.py，找到其中的INSTALLED_AP...
2019-07-30 14:39:37
210
原创 （一）Django的安装，建立项目，建立应用，基本视图，web服务器
Django的安装建立项目建立应用基本视图web服务器————————————————————————————Django的安装：在终端输入 pip install django注意这里的django 是小写的验证安装是否成功方法：import djangoprint (django.VERSION)>(2, 2, 3, 'final', 0)#这里显示的是djan...
2019-07-29 17:26:44
208
原创 核心编程(二) -socketserver模块的几种类，socketserver TCP服务器和客户端的创建
socketserver模块创建socketserver TCP服务器创建socketserver TCP客户端执行socketserver TCP——————————————————————————socketserver模块类描述BaseServer包括服务器的核心功能与混合类的一些功能。TCPServer基本的网络同步TCP服务器。UDPSer...
2019-07-25 18:14:02
170
原创 核心编程(一) -套接字，socket模块，创建TCP，UDP服务器和客户端，套接字方法属性查询表
套接字socket模块家族地址套接字类型创建TCP服务器创建TCP客户端执行TCP服务器和客户端——————————套接字：也叫通信端点在任何类型的通信之前，网络应用程序必须创建套接字。socket模块要创建套接字，必须使用socket.socket()函数语法：socket( family , type , protocol = 0 )family:家族地址type:...
2019-07-24 22:14:28
357
原创 python3学习课（十六）—发送邮件smtplib，email，邮件头header，定时器schedule，爬虫requests
发送邮件发一份简单的邮件发一份完整的带邮件头的群邮件自动定时发邮件自动定时爬取天气预报发送邮件——————————————————————发一份简单的邮件代码结构：也就是这样：以QQ邮箱为例发送一封简单的邮件如下： # 以qq邮箱为例import smtplib #我们要发送邮...
2019-07-21 16:35:48
6978
14
原创 python3学习课（十五）模块，from.. import..., if __name__='__main__',csv模块
什么是模块使用自己的模块import语句from … import … 语句if _ _ name _ _ == ’ _ _ main _ _’使用他人的模块借用模块自学模块学习csv模块什么是模块模块是最高级别的程序组织单元。这句话的意思是，模块什么都能封装，就像这样：每一份单独的Python代码文件（后缀名是.py的文件）就是一个单独的模块.使用自己的模块建立模块...
2019-07-19 18:06:59
421
原创 python3学习课（十四）-编码，文件读写，字符串合并分开split(),join()
编码二进制编码表encode()和decode()文件读写读取文件写入文件编码二进制：编码的本质就是让只认识0和1的计算机，能够理解我们人类使用的语言符号，并且将数据转换为二进制进行存储和传输对应关系：(逢二进一)【比特】（bit）：用来存放一位0或1，就是计算机里最小的存储单位，叫做【位】，也叫【比特】（bit）。【字节】（byte）：我们规定8个比特构成一个【字节】（...
2019-07-18 21:31:56
469
原创 python3学习课（十三）-类的继承和定制
类的继承和定制继承的基础语法类的继承之多层继承类的继承之多重继承类的定制——————————————————————————————继承的基础语法：在Python中，我们的习惯表述是：A类是B类的子类，而B类是A类的父类（或超类）。类的继承，让子类拥有了父类拥有的所有属性和方法。 class China(): eyes='黑色' def hand(self)...
2019-07-15 21:04:43
784
原创 python3学习课（十二）-类与对象，创建及调用，self,初始化
类与对象类（class）对象（object）类的创建和调用类的创建类的调用及实例化创建类的关键点特殊参数：self特殊方法：初始化方法——————————————————————————————类与对象类（class）类定义了事物的属性，和能实现的功能。就像人类（是一个类），有鼻子眼睛（是属性），能做饭能洗衣服（是能实现的功能）对象（object）也叫做类的实例，一个类...
2019-07-15 19:36:40
789
原创 python3学习课（十一）-debug（为程序排除错误）
如何看报错如何自检print()函数#号注释‘’’ ‘’'多行注释try…except…————————————————————（1）line 2代表这个bug出现在第2行，所以，我们在Debug的时候，可以优先从第2行开始检查。（2）^代表bug发生的位置，这里指出的位置是第二行末尾。（3）这一行写的是错误类型，SyntaxError指的是语法错误。如何自检print(...
2019-07-15 16:47:46
355
原创 python3学习课（十）-函数的定义和调用及重要概念
函数是什么定义和调用函数定义函数调用函数函数重要概念参数类型return语句变量作用域——————————————————————————————函数是什么定义和调用函数定义函数def greet(name):#def的意思是定义(英文define缩写)，greet是【函数名】（自己取的），再搭配一个括号和冒号，括号里面的name是参数（参数名也是自己取）。 ...
2019-07-14 13:17:51
307
原创 python3学习课笔记（九）-用法查询，深度查询，解题思路
学会做笔记用法查询笔记算数运算符↓列表 ↓字典↓格式化字符串↓print()不换行深度查询笔记循环↓字典和列表↓解题思路——————————————————————————————用法查询笔记1.算数运算符↓2.列表 ↓3.字典↓4.格式化字符串↓5. print()不换行 不换行用 end='' '引号'之间加入'空格'，可以改变间距的...
2019-07-13 19:59:03
691
原创 python3学习课（八）-time模块，random随机模块
pk小游戏time模块random模块制作PK小游戏——————————————————————————————做这个pk小游戏先用到两个模块：time模块:time.sleep(x) 延迟x秒random模块：random.randint(a,b) 取a,b之间的随机数用法：import time，randomimport time #导入ti...
2019-07-13 18:18:31
302
2
原创 python3学习课（七）-布尔值，循环内的4种语句，break,continue,pass,else
用数据做判断：布尔值两个数值做比较直接用数值做运算布尔值之间的运算四种新的语句break语句continue语句pass语句else语句用数据做判断：布尔值计算机的逻辑判断，只有两种结果，就是True（英文意思是“真”）和False（英文意思是“假”）。这个计算真假的过程，叫做【布尔运算】。而True和False，也就叫做【布尔值】。两个数值如何做比较用两个数值做比较的...
2019-07-13 12:42:41
363
原创 python3学习课（六）-for循环，while循环，range()
for…in…循环语句for循环range()函数while循环两种循环对比for…in…循环语句:for i in [1,2,3,4,5]: print(i)>1 >2>3>4>5 #for...in... 就是把in后面的元素排队一样一样地给for后面的变量，一次只给一个，in后面可以是列表，字典，或者字符串。________...
2019-07-12 21:59:38
627
原创 python3学习课（五）-列表，字典
列表什么是列表从列表提取单个元素从列表提取多个元素给列表增加/删除元素数据类型：字典什么是字典给字典增加/删除元素列表和字典的异同列表和字典的不同点——————————————————————————————列表什么是列表列表（list）的代码格式：图中的[‘小明’,‘小红’,‘小刚’]就是一个列表。一个列表需要用中括号[ ]把里面的各种数据框起来，里面的每一个数据...
2019-07-12 16:34:12
265
原创 python3学习课（四）-input()函数
input()函数input()函数的使用input()函数的赋值input()函数的数据类型input()函数结果的强制转换————————————————————————————input()函数input()函数的使用：print('今天我们去吃大餐吧')input('那你想吃什么呢？')>今天我们去吃大餐吧>那你想吃什么呢？ ︳#两个这样看起来同样是在...
2019-07-12 10:32:12
360
原创 python3学习课（三）-条件判断if..elif...else
1. 条件判断单向判断双向判断多向判断2. if嵌套————————————————————————1. 条件判断单向判断 ifif语法：（如果…就…）number=60 #给number赋值为60if number>=60: #如果number大于或等于60，就执行下面的要求 print('带你去吃麦当劳')>带你去吃麦当劳 #...
2019-07-11 20:55:53
482
原创 python3学习课（二）-数据类型str,int,float,数据运用，数据转换
1.数据类型字符串 str整数 int浮点数 float2.数据的应用四则运算字符串的拼接数据类型的查询—type()函数3.数据转换str()函数int()函数float()函数——————————————————————————————1.数据类型字符串 str字符串英文string，简写str。number=1+1 #这里没有带'引号'pr...
2019-07-11 18:35:41
2122
1
原创 python3学习课（一）-print()函数，变量和赋值
1.print()函数无引号单引号双引号三引号转义字符变量和赋值变量的命名和规范Print()函数的用法有以下几种：不带引号搭配单引号搭配双引号搭配三引号print(2) #向电脑发出指令‘打印2’>2 #打印结果2print(1+2) #‘打印1+2’>3 #打印结果3#号表示'注释'，不会影响你的结果。计...
2019-07-11 16:02:01
490
原创 python学习教程和步骤
python教程：从小白到小黑把下面全部学会Python 教程Python 简介Python 环境搭建Python 中文编码Python 基础语法Python 变量类型Python 运算符Python 条件语句Python 循环语句Python 数字Python 列表(List)Python 字符串Python 元组Python 字典(Dict...
2019-07-11 13:38:59
403
原创 安装scrapy出现警告Consider adding this directory to PATH
安装scrapy出现警告Consider adding this directory to PATH导致的问题今天安装pip install scrapy 成功了，但出现了如下警告：The script automat-visualize.exe is installed in ‘C:\Users\bnb88\AppData\Roaming\Python\Python37\Scripts’ ...
2019-07-06 10:48:50
23230
5
原创 安装pip install --user scrapy时出现Microsoft visual c++ 14.0 is required的解决方法
今天安装pip install --user scrapy时出现了问题终端显示：building ‘twisted.test.raiser’ extensionerror: Microsoft Visual C++ 14.0 is required. Get it with "我可是摸索了半天，先是按照终端提供的网址安装Microsoft Visual C++，安装完还是不行。接着我安装...
2019-07-05 21:04:04
258
原创 window10中的截图和草图里的标尺怎么旋转
如何旋转标尺把鼠标移动到标尺的位置滑动鼠标滚轮，尺子就能以中心点旋转（记得不要点击鼠标左右键，移动到标尺的位置滑动鼠标滚轮就好了）
2019-07-04 11:09:47
14231
原创 多线程导入monkey库添加猴子补丁运行出错的问题
**monkey模块的规范写法**今天使用monkey模块时出现了一个问题：开始我是这样写的：结果是这样我回头翻了翻课程，原来我们要在导入其他库和模块前，先把monkey模块导入进来，并运行monkey.patch_all()。对，一定要写在最前面。就像这样：好了，完美解决！...
2019-07-04 10:53:57
315
原创 安装模块时出现类似"EnvironmentError:[WinError 5] 拒绝访问"的问题
**[WinError 5] 拒绝访问的解决方法**今天装wxpy模块时，键入pip install wxpy 安装不了，结果是这样、我又试试安装pip install --user wechat_sender -i https://pypi.doubanio.com/simple/ 结果同样后来我在网上搜了一下，原来是权限问题，加上–user 就好了，原来第二张图片已经告诉了解决方...
2019-07-03 11:01:59
2996
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人