- 博客(17)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Python中map、filter、zip、reduce用法
Python中map、filter、zip、reduce用法map它接收一个函数 f() 和一个 list，遍历 list 中的元素来调用函数 f ，得到一个新的 list 并返回。格式： map(function, sequence)Test1-求列表每个元素的平方def s(num): return num * numl = [1, 2, 3]result = map(s, l)print(list(result))Out: [1, 4, 9]Test2-两个列表对
2021-07-20 14:49:25
202
1
原创 拉钩免登录爬虫
最近在看拉钩招聘的游客访问发现cookie有三个字段user_trace_tokenX_HTTP_TOKENlg_stoken但是前面两个都是在错误请求的时候会返回的。只有第三个是生成的。放弃了？不。干他！浏览器进入拉钩城市列表页面 https://www.lagou.com/jobs/allCity.html。然后F12>Application>Storage>清理缓存然后刷新一下页面，发现第一个请求是302，然后多次请求别的URL，最后才请求成功点开请求成功
2021-06-24 16:34:24
758
2
原创 二分查找Python
二分查找Python实现class Solution(object): def search(self, nums, target): """ 从有序列表nums中查找target。如果找到则返回下标，找不到则返回-1 """ # 首先定义最左侧和最右侧的下标 left = 0 right = len(nums) - 1 while left <= right: # 求出中间的下标 center_index = (left + right) // 2
2021-06-17 15:38:48
102
原创 Python中np.dot 运算符详解
python array 中dot运算符解释import numpy as npa = np.array([[1, 1], [0, 1]])b = np.array([[2, 0], [3, 4]])c = a * bprint('c = {}'.format(c))c = np.dot(a, b)"""dot 运算逻辑a = [ [a, b], [c, d] ]b = [ [A, B], [C, D] ]假设现在需要计算 np.dot(a, b) ==&g
2021-06-11 10:22:09
1084
1
原创 Python赋值、浅拷贝、深拷贝
讲一下赋值、浅拷贝、深拷贝的个人理解依赖copy库import copya = [1, 2, 3, [4, 5]]b = a # 直接赋值。c = a.copy() # 浅拷贝。d = copy.copy(a) # 浅拷贝e = copy.deepcopy(a) # 深拷贝# 改变 a 的值a[3].append(6)a.append(7)print('a\t=\t{}'.format(a))print('b\t=\t{}'.format(b))
2021-06-10 17:33:19
169
3
原创 python爬虫-大众点评svg文字加密破解
大众点评爬虫很难。。。。然后我试了一下文字偏移的破解。首先进入一个店铺的评论页 http://www.dianping.com/shop/k9sS7qVwsRZbSSG0/review_all。然后进入调试页可以看到这里对应“品”字的是一个svgmtsi标签。在右侧，可以看到对应的渲染方式（svg文件和css文件）。复制这两个链接，用代码请求一下，发现是有对应关系的。svg文件部分截图如下：比如上面的“品”，对应的class属性是sw2bs，那么在css文件里面对应的位置就是**.sw2bs{
2021-05-13 16:51:00
699
原创 浅谈Python爬虫（十）【企查查爬虫无需登录】
想起来有次面试的时候，面试官让我爬企查查，当时一脸懵。。。今天正好有时间，索性看一下。进入企查查，不登录，可以搜索到结果，但是只能看到前5个。。。凑合着也行吧直接怼一下试试。。。import requestsheaders = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'}url = 'https:/
2021-05-11 17:15:55
8309
23
原创 浅谈Python爬虫（八）【有道词典翻译API】
浅谈Python爬虫（八）【有道词典翻译API】最近用到了有道的翻译接口。但是发现是有加密的。如下是他的请求参数。i: 你好 // 翻译的文本from: AUTO // 定值to: AUTO // 定值smartresult: dict // 定值client: fanyideskweb // 定值salt: 16194905157194 // time + numsign: e44b8c53a99e5d54f03e82da13c95aa5lts: 1619490515719
2021-04-27 11:10:41
305
3
原创 NLTK安装过程中遇到的坑
NLTK安装过程中遇到的坑无法下载按照网上的教程输入如下代码会报错 “Connection refused”import nltknltk.download()解决办法：手动下载数据文件，链接：https://github.com/nltk/nltk_data/tree/gh-pages（2021-1-5下载的大概620M左右）。下载之后解压，将packages文件夹更名为“nltk_data”后放入上图Download Directory路径。然后执行代码：import nltkf
2021-01-05 15:14:00
594
原创 浅谈Python爬虫（六）【表情包抓取实例】
抓取表情包网址：https://www.doutula.com语言：Python 3.7编译器： PyCharm 2020.1 专业版浏览器：Chrome 81.0.4044.122使用到的库：requests、lxml、Queue、ThreadPoolExecutor大概思路分析网页构成，发现有很多页，找到翻页规律，如下： https://www.doutula.com/a...
2020-04-24 11:43:11
572
原创 Python连接MondoDB教程
Python连接MondoDB教程必须工作连接MongoDB，这里使用pymongo库。client = pymongo.MongoClient(host='localhost', port=27017)连接一个数据库，如果没有则会自动创建。db = client.demodb连接一个数据表，如果没有则会自动创建。info = db.info增添加文本，使用 insert_on...
2020-04-17 16:04:01
202
原创 浅谈Python爬虫 （二）【PyCharm的安装】
浅谈Python爬虫（二）时隔好多天，我又回来了！几大主流编译器PyCharm简介PyCharm下载安装使用几个小技巧结束时隔好多天，我又回来了！工欲善其事，必先利其器。今天，我们一起讨论一下Pyhton的编译器的安装与基本使用。几大主流编译器现在Python的编译器主要有以下几种：①自带的ide。优点是方便，不需重新安装，缺点是不够灵活，也不是太方便。②PyCharm。优点是灵活、美...
2020-02-15 17:37:48
1053
原创 浅谈Python爬虫（五）【网易云热评爬取实例】
浅谈Python爬虫（五）目的：爬取网易云歌单所有歌曲的信息及热评Python环境：3.7编译器：PyCharm2019.1.3专业版存储格式：JSON1、分析网页进入网易云音乐首页，点击排行版，任选一个歌单（这里以云音乐飙升榜为例），按下F12，点击NetWork，按F5刷新。点击Doc，发现有一个名为toplist的数据，猜测是有用的数据（蹩脚英语翻译）。点开验证（搜索歌名，看...
2019-08-14 16:51:04
964
原创 浅谈Python爬虫（四）【英雄联盟人物背景故事爬取】
浅谈Python爬虫（四）英雄联盟是国内乃至全球首屈一指的MOBA游戏，深受广大玩家的喜爱。而他之所以火热的原因，主要是因为其高难度的操作性和竞技性，但是不可否认的是，有部分玩家是因为其震撼恢弘的世界观而入坑（笔者就是）。今天，我们一起看一下英雄背后的故事。1、定位数据首先，我们进入到英雄联盟的官网，鼠标移动到游戏资料的位置，然后依次点击联盟宇宙–>英雄，即可进入到这个页面。如图。...
2019-08-11 08:45:52
1110
6
原创 浅谈Python爬虫（三）
浅谈Python爬虫（三）拉勾网作为国内首屈一指的招聘网站，里面的职位数量与质量都是比较好的，今天，笔者就和大家一起去爬取拉勾网的招聘信息。第一步：确定需要的信息及对应的链接（url）我们打开谷歌浏览器（当然，其他的浏览器也可以），在搜索框输入拉勾网，然后进入拉勾网主页。选择python，进行搜索。如下图所示。然后我们按下F12进入开发者模式，点击NetWork，然后按下F5刷新页面，...
2019-08-02 16:36:52
397
原创 浅谈Python爬虫（一）
浅谈Python爬虫（一）Python的安装与使用下载及安装第一个Python程序Python的安装与使用第一次接触Python，而且没有安装的小伙伴，可以继续看。大佬请跳过。另外由于本人的技术问题，只能介绍windows环境下的Python使用。所以MAC和Linux大佬就不用在小弟这里浪费时间了。下载及安装Python的安装包可以去官网下载。进去之后依次点击Downloads–>...
2019-06-11 23:14:45
957
2
空空如也
MySql多表合并然后存为一张新的表
2019-05-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人