- 博客(22)
- 收藏
- 关注
RSS订阅原创 装饰器
python装饰器就是用于拓展原来函数功能的一种函数，这个函数的特殊之处在于它的返回值也是一个函数，使用python装饰器的好处就是在不用更改原函数的代码前提下给函数增加新的功能。一般而言，我们要想拓展原来函数代码，最直接的办法就是侵入代码里面修改，例如：import timedef func(): print("hello") time.sleep(1) pri...
2019-03-08 14:32:08
152
原创 数据挖掘之数据预处理
一：描述性数据汇总 在获得所需的全部数据后，首先应该对数据有一个总体印象--即在进行数据预处理之前，应该进行描述性数据汇总。 首先就是中心趋势度量和离中趋势度量两个特征。 中心趋势度量包括：均值，中位数，众数，中列数。--应用场景：为了找出数据的中心数据。 离中趋势度量包括：四分位数，四分位数极差，方差，标准差。--应用场景：为了找出其他数据离中心数据的分散程度。 均值：即某个属性的N个...
2018-05-07 15:37:50
455
1
原创 数据分析之数据可视化
数据可视化是将数据变成图表等形式，容易进一步分析数据之间的各种潜在信息和模式。 python数据可视化的常用工具是matplotlib库（另外的工具：IPython QtConsole、IPython Notebook）。一：matplotlib库架构 matplotlib库分为三层架构，从最上层到最底层分别是：Scripting、Artist、Backend。 Scripting层：即...
2018-05-06 13:04:11
1236
原创 python数据分析之数据分析（步骤）流程
一：数据抽取 从外部源数据中获取数据 保存为各种格式的文件、数据库等 使用Scrapy爬虫等技术二：数据加载 从数据库、文件中提取数据，变成DataFrame对象 pandas库的文件读取方法 三：数据处理数据准备： 对DataFrame对象（多个）进行组装、合并等操作 pandas库的操作数据转化： 类型转化、分类（面元等）、异常值检测、过滤等 pandas库的操作数据聚合： ...
2018-05-04 12:34:19
9744
原创 python数据分析之数据处理（三步骤）
在数据加载完毕之后，就需要进行数据分析的下一步--即数据处理。而数据处理分为三个步骤：数据准备、数据分组、数据转换。一：数据准备 数据准备就是在加载的多个不同的数据结构（如Series、DataFrame）之上，把数据转换为统一的数据结构。--分为多个步骤：组装（合并、拼接、组合）、变型（轴向旋转）、删除。 合并：使用一个或多个键，将多行数据连接在一起。执行合并操作的函数为merge()。im...
2018-04-28 21:10:43
6159
原创 Python数据分析之数据加载
当从外部的数据源中抽取出相应的数据，并将数据存入文件或数据库中之后，接下来就是将数据转换为pandas库可以进行操作的数据结构对象（只有转换，才能使用pandas库提供的各种操作来对数据进行分析）。 ok，因为需要转换为pandas中可以操作的数据结构，所以需要先了解pandas的两个核心数据结构：Series和DataFrame。一：Serise Serise用来表示一维数据结构，由两个...
2018-04-26 22:15:36
586
原创 Scrapy框架的项目目录结构及常用命令
一：Scrapy的项目目录结构 创建Scrapy框架的项目需要使用命令：scrapy startproject 项目名。如下，创建了一个名为firstpypro的scrapy项目：F:\NEW>scrapy startproject firstpyproNew Scrapy project 'firstpypro', using template directory 'c:\\user...
2018-04-19 15:49:33
3965
原创 python多线程
python的多线程是使用threading模块的Thead类来实现的。可以定义一个类来继承threading.Thread类，将该类定义为一个线程。 线程的初始化：使用__init__(self) 线程中执行的程序：run(self)方法中的程序 线程的创建：即创建继承了threading.Thread的类的实例（线程对象） 线程的启动：使用线程对象的start()方法import ...
2018-04-16 22:01:54
219
原创 HTTPError错误
1、未使用模拟浏览器技术import reimport urllib.requestimport urllib.errorurl="http://www.79n.cn/bizhi/zhuomian_101/index_2.html"url1="http://www.79n.cn/bizhi/zhuomian_101/index_"url2=url1+str(2)+".html"pri...
2018-04-16 14:41:34
5966
原创 正则表达式（re模块）
一：re.search(patten，string，flags)import repat="abc"str="qweabcopdabckk"res=re.search(pat,str)print(res)print(type(res))<_sre.SRE_Match object; span=(3, 6), match='abc'><class '_sre.SRE...
2018-04-13 21:09:07
288
原创 python源码解析（二）
一：PyObject 首先，先来看PyObject在object.h中的定义。typedef struct _object { _PyObject_HEAD_EXTRA Py_ssize_t ob_refcnt; struct _typeobject *ob_type;} PyObject;#ifdef Py_TRACE_REFS/* Define pointers...
2018-04-09 22:23:55
829
原创 python的urllib.request模块
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) 该方法用来进行发起请求url，返回的结果是一个http.client.HTTPRequest对象。 参数： url：可以是一个url的字符串/Request对象 ...
2018-04-08 20:15:01
237
原创 python项目之爬虫实例（一）
1、使用urllib.request模块实现爬虫import urllib.requesturl="http://www.2345.com"#请求该url，并返回页面数据data=urllib.request.urlopen(url)#将data数据读取出来html=data.read()print(html)#将网页放入一个文件file=open("F:/1.html",...
2018-04-07 22:14:26
474
原创 python学习总结（一个月）
因为个人在学习python的一个月过程中，老实说是个很痛苦的过程。（原因可能是因为自己没掌握学习方法，自己将所有的时间全部投入到了python的学习中，但效果并没有预期的好！） 原因： 原因之一：最开始是按照书上说的一步步走的，也完全搞明白了书上的知识点。（问题在于很多知识点都是零散的，自己没法形成一个系统的python的知识体系框架）。 原因之二：自己只是在学习python的各个语法、...
2018-04-01 23:08:17
5532
1
原创 python模块和包
一：模块的定义 模块就是对相关的代码段组织（数据对象、类、函数等---称为模块的属性）之后进行封装之后的对象，该对象提供一些接口（导入之后，使用". "操作符引用）供其它对象使用。 模块是按照逻辑上组织代码段的方法，而文件是物理上组织代码段的方法。 二：导入模块 将其他模块的属性导入到另一个属性，称为导入。 模块导入会经历一个“路径搜索”的过程。搜索路径被保存在模块sys的sys.pat...
2018-04-01 22:38:19
154
原创 python的流程语句（if、while和for）
与其他编程语言一样，python也有流程语句，只有三种：if分支、while循环、for循环（注意：python没有switch-case分支）。下面，依次介绍每种流程语句，并在最后 区别while和for循环的区别。一：if分支 if语句分支的含义因为大家基本上都了解，就不再再次多说。 区别于其他语言的if的多重判断： 1、python需要使用if-elif-else结构（而不是if...
2018-03-31 20:37:46
500
原创 Python的面向对象
和其他的面向对象语言类似，Python也能使用面向对象机制，但Python的面向对象和其他语言的有所不同。首先，我们先来了解一下python的类和实例。一：类和实例 我们知道面向对象与面向过程是有很大区别的，面向对象是将计算机的程序作为一组对象，计算机的执行实际上就是对象在互相之间进行传递消息的过程，python的面向对象将所有的事物作为对象（即一切都是对象！！）。1.1封装和抽象： Py...
2018-03-30 21:26:06
341
1
原创 区别迭代器和生成器
一：迭代器定义： 迭代器就是实现了迭代器协议的对象。那么小伙伴们就要问了，什么是迭代器协议呢?设计的知识点： 迭代器协议：即对象实现了__iter__()和__next__()两个方法 __iter__()方法：返回迭代器对象本身 __next__()方法：返回容器的下一个元素，在结尾时引发一个StopIteration异常终止迭代器那么迭代器究竟该如何创建呢，创建如下：迭代器的创建：使用...
2018-03-22 22:01:12
1780
1
原创 对可迭代对象进行for循环
一：for循环的定义 for循环是对可迭代对象进行迭代的过程。 看到这个定义，很多萌新肯定会问了：到底什么是迭代，什么是可迭代对象呢？首先，迭代就是从可迭代对象逐个读取元素，直到可迭代对象中的元素都被读取出来。而可迭代对象可以看成一种内部有很多元素的容器。 好吧，大家应该对for循环的两个定义有了更清楚的认识了吧。但是，细心的小伙伴肯定会说，我还是不是很明白，当一个对象来了，我怎么知道这个对...
2018-03-16 20:30:59
2400
原创 python3的六种基本数据类型
python中有六种基本数据类型，分别是Number、String、列表、元组、集合、字典。python中分为变量和常量，变量是没有类型的，前面所指的六种基本类型实际上是指变量所指向的内存空间中对象的类型。注意（区别C语言）：1、变量不需要声明，且变量赋值后变量才会真正被创建； 2、变量 没有类型 ...
2018-03-11 18:29:36
1713
原创 个人在python中遇到的各种错误信息
个人大三，为找工作开始开始学习python。下面是个人在学习和做项目的过程中所遇到的各种错误信息，之所以要做这个笔记，是因为记得某人说：大神之所以为大神，他们可以一眼看到问题的本质，并不是因为他们聪明，而是他们在你之前已经遇到同一个问题上百遍。----对同一个问题，萌新是第一次看见，而大神已经看见了过百次（在此记下，作为参考）。Missing parentheses in call to 'pri...
2018-03-10 22:02:36
347
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人