- 博客(25)
- 资源 (1)
- 问答 (2)
- 收藏
- 关注
RSS订阅
原创 一招解决python pip install 安装库失败
PIP是python强大的安装利器，但是我们经常遇到安装库失败的问题，以下本人觉得最有效的解决方法：1.打开 https://www.lfd.uci.edu/~gohlke/pythonlibs网站，2.搜索（CTRL+F）需要安装的库的名称，比如pandas3.找到对应自己系统的版本并下载，cp后面的数字时python的版本，如cp36代表python3.6版本，WIN后面的数...
2018-10-25 10:22:55
89116
20
原创 python爬虫爬取京东店铺商品价格数据(更新版)
主要使用的库：requests:爬虫请求并获取源码re：使用正则表达式提取数据json:使用JSON提取数据pandas：使用pandans存储数据##sqlalchemy ：备用方案，上传数据到mysql以下是源代码：# -*- coding:utf-8 -*-import requestsimport reimport randomimport t...
2018-10-17 09:41:42
15271
8
原创 EXCEL 利用随机数公式生成随机字母、随机密码
1.随机生成一个大写字母：=CHAR(RAND()*26+65)2.随机生成一个小写字母：=CHAR(RAND()*26+97)3.随机生成6位数字=ROUND(RAND()*10^6,0)4.随机生成2位字母+6位数字的密码=CHAR(RAND()*26+97)&CHAR(RAND()*26+97)&(ROUND(RAND()*10^6,0))...
2018-10-12 12:44:59
29343
2
原创 EXCEL VBA批量下载URL链接地址图片、URL链接地址图片转为图片
在EXCEL里，需要大量引用网上链接图片，例如python的爬虫把图片链接爬取之后，需要在EXCEL内展示图片，可以使用VBA批量将URL链接地址图片转为图片；1.复制以下代码到VBA内，（不知道VBA是什么的传送门：https://blog.csdn.net/weixin_39416561/article/details/82428684）Sub 链接转图片()For Each R...
2018-09-06 09:35:08
23823
24
原创 Excel VBA 入门基础
VBA是一种宏语言，能完成许多重复繁琐的操作，使工作处理就会变得很高效。在office内WORD、Excel、PPT等都内置了VBA。以下主要讲Excel上的运用： 一、打开VBA方法：方法1：在Excel界面使用快捷键Alt+F11方法2：office2010版本以上：点击文件--选项--自定义功能区--自定义功能区--勾选开发工具--确定开启开发工具后就可以在主菜单上看...
2018-09-05 19:02:14
52227
2
原创 今日头条ajax技术内as ,cp，_cp_signature参数分析、破解及python爬取频道数据
相信很多人在爬今日头条的时候就遇到了一个难题，就是找到了消息头后，有3个加密的参数（as ,cp，_cp_signature），如下图：找到的请求URL是：https://www.toutiao.com/api/pc/feed/?max_behot_time=1535349295&category=__all__&utm_source=toutiao&widen...
2018-08-27 15:20:51
11377
58
原创 python爬虫爬取天猫店铺商品数据
#!coding=utf-8import requestsimport reimport randomimport timeimport jsonfrom requests.packages.urllib3.exceptions import InsecureRequestWarningimport pandas as pdrequests.packages.urllib3.di...
2018-08-27 13:50:35
11447
2
原创 python利用爬虫制作简单翻译软件
思路：通过抓取百度翻译的返回翻译结果。目标url：https://fanyi.baidu.com/sugimport requestsurl='https://fanyi.baidu.com/sug' ##请求url##请求头headers={ 'Host':'fanyi.baidu.com', 'Origin':'https://fanyi.baidu.com'...
2019-01-25 12:13:29
619
原创 python 爬取时光网电影票房数据
# -*- coding:UTF-8 -*-from bs4 import BeautifulSoupimport sysimport pandas as pdimport reimport requestsdef sgw(): s=requests.session() headers={ 'Accept':'*/*', 'Acce...
2019-01-16 10:57:35
3108
原创 python 爬取百度图片搜索结果图片
#coding=utf-8import reimport requestsfrom urllib import errorfrom bs4 import BeautifulSoupimport osnum = 0numPicture = 0file = ''List = []def Find(url): global List print('...
2019-01-08 10:55:21
907
原创 python爬虫爬取前程无忧51job企业招聘信息
# -*- coding:utf-8 -*-import requestsimport reimport randomimport timeimport pandas as pdfrom bs4 import BeautifulSoupimport lxmlfrom requests.packages.urllib3.exceptions import InsecureRequ...
2019-01-07 14:40:36
2909
原创 python 爬虫 爬取 小米有品 全网 商品数据
#!coding=utf-8import requestsimport reimport randomimport timeimport jsonfrom requests.packages.urllib3.exceptions import InsecureRequestWarningimport pandas as pdrequests.packages.urllib3.d...
2018-12-22 12:05:58
3114
原创 python 通过腾讯地图API获取全国关键词（楼盘/商场）位置信息
到腾讯地图API官网https://lbs.qq.com/index.html 申请一张账号，申请开发者密钥（Key）：申请密钥。 以下为搜索全国万达的地理位置信息#!coding=utf-8import requestsimport reimport randomimport timeimport jsonfrom requests.packages.urllib3.e...
2018-12-18 10:19:47
3557
原创 EXCEL VBA 使用正则表达式清洗替换数据
在EXCEL表内遇到有规律性的数据需要提取或者替换时，比如在数据中提取时间，身份证号码等，EXCEL内自带的查找替换就难以实现，我们可以利用VBA适用正则表达式去对数据进行匹配。什么是正则表达式？正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规...
2018-12-08 10:10:51
15416
2
原创 python爬虫爬取今日头条APP数据（无需破解as ,cp，_cp_signature参数）
#!coding=utf-8import requestsimport reimport jsonimport mathimport randomimport timefrom requests.packages.urllib3.exceptions import InsecureRequestWarningimport pandas as pdrequests.package...
2018-12-01 11:38:51
8721
8
原创 python 爬虫 爬取网易严选全网商品价格评论数据
1.获取商品目录在Chrome浏览器开发者工具中，可以找到目录的JS地址：http://you.163.com/xhr/globalinfo//queryTop.json 得到商品数据 def get_categoryList(): url='http://you.163.com/xhr/globalinfo//queryTop.json' ...
2018-11-26 15:33:07
2597
2
原创 python 弹窗提示警告框MessageBox
需要安装pywin32模块，pip install pywin32 ##pip install pywin32import win32api,win32con##提醒OK消息框win32api.MessageBox(0, "这是一个测试提醒OK消息框", "提醒",win32con.MB_OK)##是否信息框win32api.MessageBox(0, "这是一个测试是否信息...
2018-11-17 17:01:48
27517
2
原创 python 实现批量修改文件名
#!coding=utf-8import sysimport osdef replace_filename(file_path, var1, var2): for root, dirs, files in os.walk(file_path): for file_name in files: if var1 in file_name: ...
2018-11-17 16:39:43
2219
原创 pyhton爬虫 爬取电商平台商品历史价格、最低价格（慢慢买网）
主要使用的库：requests:爬虫请求并获取源码re：使用正则表达式提取数据json:使用JSON提取数据pandas：使用pandans存储数据#!coding=utf-8import requestsimport osimport reimport jsonimport datetimeimport timeimport pandas as pd...
2018-11-10 10:23:11
13238
10
原创 python爬虫 爬取淘宝搜索页面商品信息数据
主要使用的库：requests:爬虫请求并获取源码re：使用正则表达式提取数据json:使用JSON提取数据pandas：使用pandans存储数据以下是源代码：#!coding=utf-8import requestsimport reimport timeimport jsonfrom requests.packages.urllib3.except...
2018-10-11 16:37:03
10021
10
原创 python爬虫 爬取 豆瓣网 搜索结果 同城活动 数据
主要使用的库：requests:爬虫请求并获取源码re：使用正则表达式提取数据json:使用JSON提取数据pandas：使用pandans存储数据bs4:网页代码解析以下是源代码：#!coding=utf-8import requestsimport reimport jsonfrom requests.packages.urllib3.excep...
2018-10-07 11:37:43
1273
原创 mysql增加序号删除字段重复记录保留重复数据中的第一条数据
数据库示例：表名：test.表名 根据学号字段删除重复的数据：1.给每一行设置行序号定义一个变量n，插入序号字段，每行n+1ALTER TABLE test.表名 ADD 序号 int NULL;set @n=0;update test.表名 set 序号=@n:=@n+1;2.汇总 学号 的第一个序号SELECT 序号 FROM test.表名 G...
2018-09-13 18:08:02
925
原创 python爬取京东店铺商品价格数据(已过期)
# -*- coding:utf-8 -*-import requestsimport reimport randomimport timeimport jsonfrom requests.packages.urllib3.exceptions import InsecureRequestWarningimport pandas as pdrequests.packages.ur...
2018-09-13 11:03:08
1632
原创 python建立IP代理池
#!coding=utf-8import requestsimport reimport pandas as pddef get_proxy(): """ 获取代理 """ # 获取xicidaili的高匿代理 ##proxy_info_list = [] # 抓取到的ip列表 ip_list=[] dk_list=[] ...
2018-08-27 15:54:23
2303
2
原创 python爬虫苏宁易购店铺商品数据爬取
苏宁易购店铺商品数据爬取#!coding=utf-8##苏宁易购店铺商品数据爬取import requestsimport reimport mathimport randomimport timefrom requests.packages.urllib3.exceptions import InsecureRequestWarningimport pandas as pd...
2018-08-24 15:04:41
6186
2
MYSQL 详细图文使用手册
2018-09-21
PYQT5 QWebEngineView浏览器下载文件处理方法
2019-01-23
python 3*3 一笔9点连线的所有可能
2018-10-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人