- 博客(10)
- 收藏
- 关注
RSS订阅原创 python爬虫(一) —— 豆瓣电影TOP前250信息爬取
爬取过程虽然简单，但以学习为目的，在中间使用了一些库以及python语法的高级用法。获取电影详情页打开https://movie.douban.com/top250? 网址，翻到最下面，打开开发者工具，随便点击翻页。会看到下图请求的URL，URL里只有start变化，每次翻页加25，到250截至。全篇提取信息全用正则表达式。获取详情页def get_detail_url(base_ur...
2019-12-25 23:40:16
1233
原创 python链表
如图所示，链表中的几个要素1.结点：每一个结点都有两个域，左边是值域，右边是指针域，每一个结点的指针域指向下一个结点的值域2.head结点：即第一个结点3.tail结点：即最后一个结点，tail结点指向None4.None：链表中最后一个结点指向None值，也称接地结点PS：链表头、尾结点程序员按照自己习惯定义结点类每个结点至少有两个基本部分，值域(数据域)和指针域，值域存放结点的...
2019-12-21 10:16:45
285
原创 Android 设备adb连接后unauthorized解决方法
Android 设备连接电脑后不弹出配对提示经查阅大量文章，最终解决1.获取设备VID先把手机与电脑连接windows右击电脑属性→设备管理器→便携设备→属性→详细信息→硬件id12D1就是我的VID2.配置adb_usb.ini这个文件在你个人用户文件夹下，如C:\Users\Administrator.android。打开这个文件夹，若没有adb_usb.ini，创建txt文件...
2019-11-29 20:46:36
978
原创 APP数据爬取
模拟器和Fiddler4安装及配置我们使用夜神模拟器，下载地址，下载安装。打开后点击设置，开启root。fiddler下载，地址，官网下载比较慢，不推荐。安装时记住安装位置，此应用不生成快捷桌面。fiddler配置：点击Tools，打开Options。在General中勾上这3个选项。在HTTPS中勾选允许抓取HTTPS，如果弹出窗口，一律允许就可以了。然后点击右侧的Actio...
2019-11-29 12:16:47
622
原创 python获取豆瓣电影
打开豆瓣，点击选电影到这里你会发现很简单，直接用xpath不久很容易获取到电影名及评分了吗。其实我们看到的页面是经js渲染过的，真正数据的网页在⬇当你点击加载更多时，会发现这个网址的前部分不变，0变成20。我们先来获取热门这一类。用requests获取到的是json格式的数据，也就是python中的字典。获取‘subjects’对应的值，是一个包含电影信息的列表。遍历列表，即可获取...
2019-11-27 23:07:32
833
原创 ubuntu装机记，ubuntu装机常用软件安装及常见问题处理
超级用户认证失败解决：在终端输入sudo passwd root设置密码google浏览器安装进入网址https://www.google.cn/chrome/下载deb包进入终端切换到下载，使用命令安装，和下图一样就安装成功了fxitx输入法安装及配置https://baijiahao.baidu.com/s?id=1619306801356144376&wfr=sp...
2019-10-13 01:20:19
520
原创 MySQL学习笔记
数据库基本操作sql语句最后需要有分号；结尾链接数据库-p后输入密码回车后就不用输入了mysql -uroot -pmysql -uroot -pmysql退出数据库exitquitctrl + D显示版本select version();显示时间select now();查看所有数据库show databases;创建数据库第一条语句默认编码第二条语...
2019-10-06 20:09:49
107
原创 requests模拟登陆江苏海洋大学教务处（带验证码登陆）
获取验证码的网址和post的网址进入登陆页面，打开开发者工具,刷新页面，找到checkcode.aspk，向网址http://zf.hhit.edu.cn/CheckCode.aspx发送请求，每次返回一个随机的验证码，并且在请求头中还带有cookie的值。我们先来获取验证及其request中的cookie，并由人工输入 def codecheck(self): chec...
2019-09-28 14:46:28
1524
原创 postman百度云下载
链接：https://pan.baidu.com/s/11oOz5_06PY5IjQyidQSE7A提取码：45da复制这段内容后打开百度网盘手机App，操作更方便哦
2019-09-28 10:58:25
14105
11
原创 起点小说网小说爬取
小说目录和网址的获取进入官网，点击输入书名，点击搜索，进入免费试读。打开开发者工具，刷新页面，找到小说目录json格式对应的网址先获取json格式的数据url = 'https://read.qidian.com/ajax/book/category?_csrfToken=pDSSk0OUANaaYIOXJfzVTB27IXwqdBF2qx0MEBqe&bookId=192407...
2019-09-27 15:00:09
2618
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人