Denrusn-CSDN博客

转载 Pandas | 一文看懂透视表pivot_table

什么是透视表？详见百科透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表（如下图），也体会到它的强大功能，而在pandas中它被称作pivot_table。Excel中的数据透视表为什么要使用pivot_table？灵活性高，可以随意定制你的分析计算要求脉络清晰易于理解数据操作性强，报表神器如何使用pivot_table？首先读取数据，作为一个老火密，本文将火箭队当家吉祥物James_Harden本赛季比赛数据作为数据集进行讲解，就是下面这个

2020-10-30 11:05:39 239

原创 NumPy

NumPynumpy是python科学计算的基础包，是一个python库，提供多维数组对象，各自派生对象（如掩码数组和矩阵），及用于数组快速操作的各种API，有包括数字，逻辑，形状操作，排序，选择，输入输出，离散傅里叶变换，基本线性代数，基本统计运算和随机模拟等等。import numpy as np # 生成一个对角矩阵 np.eye(4) # array([[1., 0., 0., 0.], # [0., 1., 0., 0.], # [0., 0., 1., 0.

2020-08-14 11:43:21 226

原创 Beautiful Soup

Beautiful SoupBeautiful Soup有多个解析器如下：解析器使用方法优势劣势Python标准库BeautifulSoup(markup, “html.parser”)Python的内置标准库执行速度适中文档容错能力强Python 2.7.3 or 3.2.2)前的版本中文档容错能力差lxml HTML 解析器BeautifulSoup(markup, “lxml”)速度快文档容错能力强需要安装C语言库lxml XML 解析器B

2020-08-14 11:40:50 97

原创 XPath学习

XPath# 常用的方法 # 字符串格式的html文本的情况下 # 使用etree.HTML()方法把text转化成xpath对象 html = etree.HTML(text) # html文本以文件的形式存在时，使用etree.parse（）解析html文件，转化成xpath对象 html = etree.parse('./test.html', etree.HTMLParser()) # 把xpath对象转化为bytes类型 result = etree.tostring(html)

2020-08-14 11:38:45 188

原创正则表达式入门学习

正则表达式贪婪与非贪婪使用.*的时候，会尽可能的匹配更多的字符，导致有时候取到的字符并不是我们想要的。这就是贪婪模式。如以下代买，想要获取content内的数字1234567import re content = 'Hello 1234567 World_This is a Regex Demo' result = re.match('^He.*(\d+).*Demo$', content) print(result) print(result.group(1)) -----------

2020-08-14 11:36:28 134

原创 Requests爬虫学习(比较全面)

Requestsget请求# get请求 import requests data = { 'name': 'germey', 'age': 22 } r = requests.get('http://httpbin.org/get', params=data) print(r.text) # 返回JSON格式字符串转化的字典dict print(r.json()) print(type(r.json())) # dict 抓取网页import requ

2020-08-14 11:34:31 377

原创 urllib爬虫入门库

Urlliburllib有四大模块：request，error，parse，robotparser。request：http请求模块。error：异常处理模块。parse：工具模块，用来处理URL。robotparser：识别robots.txt判断哪些网站可以爬取。requesturlopen()方法，该方法返回的是一个HTTPResposne对象。参数：【url】要爬取的网页地址 string【data】请求要传递的参数 bytes【timeout】用于设置超时时间，以秒为

2020-08-14 11:30:57 124

原创 Session和Cookies的官方解释和个人理解

Session和CookiesHTTP是无状态的，指的是HTTP没有记忆的能力，在服务器接收到请求后，服务器只负责响应请求的内容，不管客户端是什么的状态。举例：进行访问登录后的信息，需要发送两个请求，一个是登录请求，另一个是信息的请求。当重新打开浏览器反问登录后的信息还是需要发送这两个请求，不然服务器不会记录你是否是登录的状态，而返回无法访问登录后的信息。通过Session和Cookies的技术解决这个问题。Session在服务器端，Cookies在客户端。Session在服务器端用于保存登录信息，Co

2020-08-14 10:02:57 117

原创爬虫入门

入门案例通过入门案例快速入门import requestsurl = 'http://www.cntour.cn/'strhtml = requests.get(url)print(strhtml.text)# --------------------------------------------------------------------import requestsimport jsondef get_translate_data(word=None): ur

2020-08-13 10:49:31 124

转载 Vue中webpack的Style的lang和Scoped属性

Vue中webpack的Style的lang和Scoped属性：Vue中webpack的Style的lang和Scoped

2019-07-14 22:01:45 304

weixin_43171448的博客