- 博客(20)
- 收藏
- 关注
RSS订阅原创 爬虫基础 || 2.1 Requrst 高级用法
request库之所以强大，是因为他除了基础访问外，就可以上传文件，设置cookies，设置代理等。1.上传文件上传文件非常简单，这里上传在上一个文章里下载的文件。一般上传文件都用的post请求。import requestsfile = {'file':open('bnaiduico.ico','rb')}r = requests.post('http://httpbin.or...
2020-02-29 13:13:49
453
原创 爬虫基础 || 2.1 request介绍（功能比urllib丰富，附上简单的知乎爬虫）
之前已经差不多将urllib的所有功能介绍完毕，但是对于urllib来说，有许多不方便的地方，比如处理复杂请求的时候，都需要Opener和Handler来处理。而requests库，他集合了诸多功能，能够使爬虫更加简易import requestsresponse = requests.get('https://www.baidu.com') # 这里的get就是get请求prin...
2020-02-17 16:10:22
728
原创 爬虫基础 || 1.4 异常处理与链接解析
1.异常处理在已经掌握了基本的爬虫技能，但是如果再发送请求中出现异常，如网络不好，请求被拒等情况，就可能出现报错而终止运行程序。urllib的error模块定义了由request模块产生的异常。如果出现了问题，request模块便会爆出error模块中定义的异常。现在就使用error模块来处理各种异常。1.1URLErrrorURLError类来自urllib的error模块，它继...
2020-02-13 14:37:13
521
原创 爬虫基础 || 1.3 Handler辅助（验证，代理，cookies）
我们虽然可以构造请求，但是对于一些更高级的操作（比如 Cookies 处理、 代 理设置等），我们该怎么办呢？接下来，就需要更强大的工具 Handler。简而言之，我们可以把它理解为各种处理器，有专门处理登录验证的，有处理 Cookies 的，有处理代理设置的。 利用它们，我们几乎可以做到 HTTP 请求中所有的事情。首先，介绍一下 urllib.request模块里的BaseHand...
2020-02-13 14:21:51
304
原创 爬虫基础 || 1.2 urllib.request
疫情爆发的第20天，更新了一点内容~~我们知道利用 urlopen（）方法可以实现最基本请求的发起，但这几个简单的参数并不足以构建一 个完整的请求。 如果请求中需要加入 Headers 等信息，就可以利用更强大的 Request 类来构建。我们依然是用 urlopen（）方法来发送这个请求，只不过这次该方法的参数不再是 URL, 而是一个 Request 类型的对象。 通过构造这个数据结构，...
2020-02-11 15:40:46
144
原创 爬虫基础 || 1.1 urllib 基础介绍
疫情爆发的第20天，在家办公，比较闲。曾经作为一名爬虫工程师，已经一年多没写过爬虫了，这几天翻了翻资料和崔老师的《网络爬虫开发》，对爬虫做一次复习，顺便写下这篇学习笔记，慢慢更新，欢迎大家交流学习~~这篇写的是爬虫基础库urllib的一下基础知识。他包含下面四个主类。============================================================...
2020-02-11 12:31:32
747
原创 金融行业相关指标整理（超全面，欢迎交流~）
应收账款 AR:当期应收账款account receivable。逾期天数 PDP：逾期天数(days past due, DPD)代表已逾合同书约定的还款日的延滞天数，放款类型产品自还款日后第一天起计算。逾期期数 bucket：逾期期数bucket(直译：桶子)，在风险管理的专有名词中代表逾期期数，也有人将bucket解释为逾期月数。逾期1期成称M1，2期称为M2...以此类...
2019-11-28 19:48:37
6810
2
原创 python操作excel --openpyxl里的关于merge的一些bug
开始新的工作不久，工作内容依然是数据相关新工作数据输出模式是用excel，大概是每天导出新数据并用excel体现，同时要保留之前的数据。我来之前，同时写好了许多sql，然后就从Navicat里面复制粘贴到excel中。我目前在做关于这个的自动化脚本，使用的库是openpyxl，下面说说关于这个的几个小bug。1- 在 2.5.x版本中，当你合并单元格的时候使用的是merg...
2019-03-28 10:06:18
12439
2
转载 概念区别：数据分析、数据挖掘、机器学习、神经网络、深度学习和人工智能
数据分析， 就是对数据进行分析， 得出一些结论性的内容， 用于决策。 分析什么哪？ 根据分析现状、 分析原因、 预测未来。 分析现状和分析原因， 需要结合业务才能解释清楚。 用到的技术比较简单， 最简单的数据分析工具就是 Excel。 预测未来指的是分析未来一段时间的销售额之类的。 在预测未来方面， 一般用到数据挖掘的技术了。 数据挖掘， 从字面意思上看， 是从数据中挖掘出有价值的信...
2018-11-26 17:32:15
688
原创 常用的数据挖掘建模工具
数据挖掘是一个反复探索的过程，只有将数据挖掘工具提供的技术和实施经验与企业的业务逻辑和需求紧密结合，并在实施过程中不断地磨合，才能取得好的效果。下面简单介绍 几种常用的数据挖掘建模工具。(1 ) SAS Enterprise MinerEnterprise Mincr(EM)是SAS推出的一个集成的数据挖掘系统，允许使用和比较不 同的技术 。同时还集成了复杂的数据库管理软件 。它的运行方式是通...
2018-11-19 00:30:21
3042
原创 urllib获取响应后的六种基本处理和常见状态码
import urllib.requesturl = 'http://www.baidu.com/'#我们先定制一个请求并得到相应response他是个HttpResponse类对象response = urllib.request.urlopen(url)#该相应会有如下6中基本处理方式# 1.直接将整个页面以二进制格式返回print(response.read())# 2....
2018-10-27 11:28:29
6509
原创 浅谈RESTful中的PUT，POST，PATCH
RESTful中更推荐使用HTTP的请求谓词（动词）来作为动作标识。包括GET，PORT，PUT，PATCH，DELETE。在RESTful中文文档中有这么一句胡，“patch方法用来更新局部资源”，我们该如何理解？先来解释一下古老的POST和PUT。在HTTP原本的定义中[RFC2616]，用于上传数据的方法只有POST和PUT。这俩个都是更新资源，但是有本质上的区别，那就是语义...
2018-10-15 09:46:27
6808
原创 Django强大的form表单之 is_valid
首先我们看看一般验证过程：1.方法函数is_valid()的作用检查seld.errors是否都正确，例如长度，空值，类型等2.分析errors.里面判断_errors是都为空，如果为空返回self.full_clean()，否则返回self._errors3.跳到full_clean()，该函数里面设置_errors和cleaned_data这两个字典，分别是存放存错误字段和正确字段的...
2018-10-07 16:54:44
5028
1
原创 关于Django下scv文件的基本操作
最近在整合Django的相关资料，讲在未来慢慢记录，今天先吧csv相关的写如。这里我们使用的开发工具是pycharm，建立一个app后我们在views.py文件下做如下操作from django.http import HttpResponseimport csvdef index(request): response = HttpResponse(content_type...
2018-10-06 14:41:10
393
原创 JavaScript_星空
<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <title></title> <style type="text/css"> body{ background-color: black;
2018-08-23 10:42:19
291
原创 Python_class，访问限制（私有属性和私有方法）
在面向对象中还有一个重点，就是"限制访问"我们讲一个属性定义为私有属性，这样就在属性名前面加两条下划线：__xxx私有属性是不可以随意访问的，通过访问限制来保护函数class Hero(object): def __init__(self,name,skill): #我们将超级英雄的名字和技能导入 self.name = name self.__s...
2018-08-11 14:44:43
813
原创 Python 备份文件，以及备份大文件
今天分享一个很有用的小代码~就是关于文件的备份import os #导入os模块ori_file_name = r'E:\PYTHON\mayday.mp3' #输入文件路径if os.path.isfile(ori_file_name): #判断该路径的是否是文件 #截取文件名，重组文件名 seek_num = ori_file_name.rfind('...
2018-08-03 01:06:01
1937
1
原创 Python_class，面向对象初步了解（魔方方法的使用）
面向对象。面向对象两个重要概念：类（class）和实例（Instance）。而‘对象’是面向对象的核心，在一个类class里可以找到多个对象我们要知道类（class）是一个抽象话的概念，例如学生，老师，男人，女人，超级英雄。而实例是根据类传教出来的具体对象，（比如说女人有很多，但是你的“对象”只要一个）每个在同一类的对象都有相同的方法，但是各自数据会有些许不同。（像每个学生高矮胖瘦，肤色年...
2018-08-02 01:26:00
646
原创 Python 打印杨辉三角形（包括金字塔的款式的~~）
今天是愉快的星期天，终于可以睡个懒觉了。今天是准备被这周的所以内容归纳一下的，然后看到的经典的杨辉三角形，所以就把代码整理了一下。给他取了个狂野的名字。==================================疯狂的杨辉三角形===================================1.普通的杨辉三角形 杨辉三角形的规则就是出意每行的第一个数字之外，...
2018-07-29 17:15:24
47311
14
原创 Python打印9x9乘法表（循环方式和递归方式)
今天是学习Python的第....啊 又忘记第几天了 ，所以我打算吧今天当作第一天来计算~~传说中是，元年。==========================================分割线==========================================9x9乘法表，在网上已经有好多好多了，我们先看看效果图。如下是用循环的方法写的。for ...
2018-07-28 14:30:42
1945
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人