- 博客(41)
- 收藏
- 关注
RSS订阅原创 Pandas 导入CSV文件 （8）Python 数据分析从零开始
写任何有关pandas的代码前，我们应该先导入pandas import pandas as pd我们下面出现全部的pd都代表对pandas的引用关于CSV文件格式 CSV即Comma Separate Values（逗号分隔值），默认使用逗号来进行分隔列的一类文本文件。此分隔符可以改变，因为逗号在很多地方都会出现，所以做分隔符有时不是太合理。 ...
2019-08-11 23:38:02
2082
原创 Pandas 删除行或者列 （7）Python 数据分析从零开始
写任何有关pandas的代码前，我们应该先导入pandas import pandas as pd我们下面出现全部的pd都代表对pandas的引用Series对象删除元素 我们工作中导入一些数据，往往会要删除一些行或者列来精简数据。使用drop方法可以轻松的做到。drop也可以直接修改数据而不需要生成新的对象。后面需要加参数inplace。 ...
2019-07-12 21:57:32
2656
原创 Pandas reindex 重建索引和自动填充（6）Python 数据分析从零开始
写任何有关pandas的代码前，我们应该先导入pandas import pandas as pd我们下面出现全部的pd都代表对pandas的引用重建索引 重建索引是Pandas的一个重要方法，主要用于创建一个符合我们需要索引内容的新对象。如果某个索引的值并之前不存在，则会被赋予一个缺失值。 新对象 = Series/Datafr...
2019-07-03 03:04:09
4463
原创 Pandas 数据结构介绍 索引对象 （5）Python 数据分析从零开始
写任何有关pandas的代码前，我们应该先导入pandas import pandas as pd我们下面出现全部的pd都代表对pandas的引用一、简单的索引对象 所谓索引对象，其实就是用于存储轴标签（行/列名）和其他元数据的。在构造Series和Dataframe时，你所使用的任意数组或标签都可以在内部转化为索引对象。简单的说法就是单独把索引提...
2019-06-30 10:16:54
387
原创 Pandas 数据结构介绍 DataFrame（4）Python 数据分析从零开始
写任何有关pandas的代码前，我们应该先导入pandasimport pandas as pd我们下面出现全部的pd都代表对pandas的引用一、简单的DataFrame对象 DataFrame是一种矩阵数据表，可以看成由多个拥有相同索引的Series。如果有过关系型数据库基础的朋友会很熟悉这种表结构，甚至我们可以想象下Execl表，也有异曲同工之妙。...
2019-06-27 18:04:16
455
原创 Pandas 数据结构介绍 Series（3）Python 数据分析从零开始
写任何有关pandas的代码前，我们应该先导入pandas import pandas as pd 我们下面出现全部的pd都代表对pandas的引用一、简单的Series对象 Series是一种一维数组对象，它包含了一个值序列和一个被称为索引的数据标签。下面给出了一个最简单的序列，由一个数组组成。...
2019-06-24 10:46:22
819
原创 Python 语言最基础介绍（2） Python 数据分析从零开始
一、Python代码书写规则 Python语言对比其他常用语言，更注重可读性，易用性和清晰性。Python使用缩进来组织代码，缩进可以是空格或者<tab>，而其他语言如C++ ，JAVA，R则使用大括号。举个简单的例子。如果数值大于5输出errorarray=[1,3,2,4,5,6,9,8]for x in array: if x < 5: ...
2019-06-22 19:27:42
241
原创 Pandas简介与相关环境安装（1） Python 数据分析从零开始
学习基于 Wes McKinney 所著的《利用Python进行数据分析》一书，此书因翻译的原因（或者我买的是盗版？119块钱的书67买的，确实有些慌）有一些错误。我尽量改正并加入自己理解，望能帮到各位数据分析师。 ...
2019-06-17 20:21:51
649
原创 Python Pyqt Matplotlib XML导入数据生成饼图（2）Eric6 图形界面编程 第4例
上一例，我们学习了基本的绘图及显示方法，下面来点稍微复杂的应用，导入一个xml文档，将其中的数据进行图表输出。前面的步骤请看之前的文章，这里不再赘述。只是在QT设计时我们用如下的界面。 widget控件用来显示饼图 lineEdit控件用来显示路径。 三个按钮控件分别是输入文件，显示图形，清除图形。 ...
2019-01-13 22:58:33
1118
原创 Python Pyqt Matplotlib工具画图（1）Eric6 图形界面编程 第3例
环境：Eric6+Qt5.7+PyQt5.7 Ubuntu18.04 安装方法请看我之前的博客，之所以在ubuntu下开发，因为大部分服务器都使用Linux系统，因此在windows下编写的各种程序适用范围较窄，而且最终还是要迁移到linux上去。文中尽量隐去大量的术语，用比较浅显易懂的语言来描述。照顾刚接触python编程的朋友。 我们开始前需要用PIP3安装...
2019-01-06 11:21:32
3496
4
原创 Python Pyqt 显示文件内容 Eric6 图形界面编程 第2例
环境：Eric6+Qt5.7+PyQt5.7 Ubuntu18.04 安装方法请看我之前的博客，之所以在ubuntu下开发，因为大部分服务器都使用Linux系统，因此在windows下编写的各种程序适用范围较窄，而且最终还是要迁移到linux上去。文中尽量隐去大量的术语，用比较浅显易懂的语言来描述。照顾刚接触python编程的朋友。 经过了第一例的洗礼，来到了第...
2018-12-22 15:18:30
1111
2
原创 Python Pyqt 你好世界 Eric6 图形界面编程 第1例
环境：Eric6+Qt5.7+PyQt5.7 Ubuntu18.04 安装方法请看我之前的博客，之所以在ubuntu下开发，因为大部分服务器都使用Linux系统，因此在windows下编写的各种程序适用范围较窄，而且最终还是要迁移到linux上去。之前总说从零开始，结果一堆术语说的云山雾绕，毕竟更多的是刚刚接触编程，文中尽量隐去大量的术语，用比较浅显易懂的语言来描述。照顾刚接触p...
2018-12-20 01:57:42
2537
原创 Eric6+Qt5.7+PyQt5.7 Ubuntu18.04下安装指南
Eric 是一个python Gui开发平台，使用方便结构合理，利用Qt部署界面，修改界面不用重新修改代码，非常人性化。对于希望进行python图形化快速开发的同行来说，可以说是很好的选择。eric在windows上部署还是很便捷的，基本上不会出现什么问题，而在linux上部署显得困难重重，天坑不断，我花了几天时间总结了ubuntu下的部署方法，基本排除了大部分常见问题。希望能帮到各位。...
2018-12-11 16:10:40
4460
原创 postgreSQL配置文件 postgresql.conf —— 千月的零基础学习PostgreSQL(2)
PostgreSQL 配置文件postgresql.conf 配置文件主要影响这服务器实例的基本行为，比如允许的连接数，操作允许占用的最大内存数，指定哪些用户可以用何种方式连接到数据库等等。当然这一切在数据库安装好时都有一个默认值，但是如果你需要对你的数据库进行定制的话，可以对这些数值进行符合需求的修改。 1、配置文件的位置 既然叫配置文件，那么他必须先是一...
2018-07-07 19:20:25
32568
1
原创 PostgreSQL 介绍与安装 —— 千月的零基础学习PostgreSQL（1）
PostgreSQL 介绍与安装1、PostgreSQL 介绍（官方） PostgreSQL是一个强大的开源对象关系数据库系统，它使用和扩展了SQL语言，结合了许多存储和处理最复杂的数据工作的特性。PostgreSQL的起源可追溯到1986，作为加利福尼亚大学伯克利的Postgres项目的一部分，并在核心平台上有30多年的积极发展。 PostgreSQL凭借其成熟的架构...
2018-06-12 21:33:54
1446
原创 Python SSH 的远程连接并执行命令和下载文件 - 千月的python linux 系统管理指南学习笔记（23）
在运维工作中，我们经常使用 ssh 工具远程登陆主机来执行命令，对系统进行维护。在python的自动化运维中，要执行系统命令，最方便的还是借助于 python 的 ssh 功能编写日常脚本，简化工作。下面我们说下这个工具。import paramiko开始看第一个例子，在远端机器上运行 ' iostat ' 命令获得远端机器的 I/O 信息。如果出现
2017-09-23 11:49:50
8770
原创 zabbix 的安装 - 千月的集中监控学习
Zabbix 的简介Zabbix由Alexei Vladishev创建，目前由Zabbix SIA开发和提供支持。Zabbix是企业级开源分布式监控解决方案。Zabbix是用来监控网络众多参数以及服务器的健康和完整性的软件。 Zabbix使用灵活的通知机制，允许用户为几乎任何事件配置基于电子邮件的警报。这样可以快速反应服务器问题。 Zabbix基于存储的数据
2017-07-17 20:52:12
477
原创 python XML_RPC 的使用 - 千月的python linux 系统管理指南学习笔记（22）
先说说什么是 XML 和 RPC 吧。XML (Extensible Markup Language可扩展标记语言)，如同前面的翻译，他是一种标记语言，用来标记和解释数据。比如我告诉你：“我34了”。你自然的能理解，我年龄是34岁。但是机器不了解。机器会想，你什么34了？鞋穿34的？头围34？。因此在写数据的时候为了表示这个数据是做什么的我们要为这个数据打上一个标识。因为年龄是我这个人的其
2017-07-09 20:36:20
393
原创 python httplib urllib的使用 - 千月的python linux 系统管理指南学习笔记（21）
我们前一章知道了如何用 socket 来创建一个http 请求。但是socket 是一个较低层的库，在和 Http 服务器的交流过程中，实现一些常见的功能，我们应更多的使用便捷的高级库，以节约编程时间。而低层库一般用在高层库无法满足其功能需求时再使用。import httplib1、简单的用httplib测试http服务器工作状态我们看一看范例，对端服务器要开启
2017-06-28 01:04:09
682
原创 python socket 的使用 - 千月的python linux 系统管理指南学习笔记（20）
Socket的使用我们进入到网络编程方面的学习。当然之后的几章会对网络编程做简要的说明与演示。因为涉及到网络，所以环境也有些要求，比如web服务。2台虚拟机的交互。虽然很多东西本机也可以实现，毕竟2台机器的交互看的更直观些。import socket1、简单的用socket与http服务器交互开始第一个函数 socket 的学习，我们连接服务器的
2017-06-23 00:28:28
831
原创 python 创建pdf文件并支持中文 reportlab - 千月的python linux 系统管理指南学习笔记（19）
reportlab 工具的安装pdf文件几乎成为我们日常工作中使用的最多的文档格式，我们当然希望能够使用Python来直接创建这种格式的各种报告。在各种 pdf 库中，最重量级的库应该是 ReportLab。这个库有自由版和商业版两种，一般来说自由版足够日常工作使用。我们需要安装 reportlab 库才能使用。如果本机没有 reportlab 库可以使用如下命令来安装。pip
2017-06-17 23:02:42
13264
2
原创 python 制作图表 matplotlib - 千月的python linux 系统管理指南学习笔记（18）
在 运维工作中，图表是必不可少的数据呈现方法，如何用 Python 画出一个好看的图表呢？这里我们引入一个现在比较流行的工具： matplotlib 。官网： matplotlib.org 里面有例子和源代码从最简单的柱状图开始我们先介绍几个用得到的库Numpy是Python的一个科学计算的库，提供了矩阵运算的功能。matplotlib的pyplot
2017-06-03 00:36:15
1710
原创 Python docutils 文本到html 的转换 docutils- 千月的python linux 系统管理指南学习笔记（17）
Python 文本到html 的转换在 B/S 的结构里我们用到了大量的 html 文本。那么我们如何将一个文件转换为 html 文本呢。首先我们要说一个格式 ReST( reStructuredText重构建文本），这个是Python文档优先使用的格式。我们在很多的有python的地方都能够看到这个格式。比如 Openstack 。这个格式大概的样子是:===
2017-05-28 18:27:16
1228
原创 Python 标准输入输出 StringIO urllib- 千月的python linux 系统管理指南学习笔记（16）
标准输入输出import sys这个概念不难理解，我们在 linux shell 环境下，从键盘输入字符，我们可以看成是标准输入。而系统反馈给你的信息输出在屏幕上，我们看成是标准输出。当然我们还多了一个标准错误，也是输出在屏幕上。除去直接执行脚本不讲，我们和 ipython命令环境 进行的每一次互动，都利用到了标准输入输出。sys.stdin 标准输入
2017-05-24 18:16:51
585
原创 python 对异常的处理（try...finally...和with 方法）- 千月的python linux 系统管理指南学习笔记（15）
try...finally... 结构我们在执行一长串关联命令时，会有一个问题，如果当中一个命令失败了，整个命令串事实上就没有必要执行下去了。在异常发生时，我们也需要执行一些收场工作。比如 close() 方法关闭文件。这时 try...finally... 结构就可以派上用场了。这种结构简单的说是在 try 下的全部操作如果某项失败的话就终止并执行 finally 下定义的语句。如果
2017-05-15 23:39:39
7115
原创 Python 创建、读取和写入文件以及yield关键字- 千月的python linux 系统管理指南学习笔记（14）
无论是日志文件还是配置文件都是我们日常运维中常见的类型，学习处理文件的关键是学会如何处理文本数据。Python 包含一个称为 file 的内建类型，可以用来处理文件。创建文件对象为了读取一个现有的文件，我们需要创建一个新的文件对象，以用来对文件进行交互。open( ) 创建一个文件对象open( "文件名","模式"，[缓冲区大小] ) #以指定模式对文件交互
2017-05-15 23:24:32
2998
原创 Grafana的安装（CentOS ）- 千月带你美化监控数据 grafana(1)
我们的公司在慢慢发展，业务在慢慢扩大（慢慢缩小的就别看了，你懂的），监控的设备也是越来越多。因此一个高效美观的监控解决方案显得尤为重要。高效的监控工具漫天都是，像 collectd zabbix nagios等，但是谈得上美观的就比较少了。zabbix 有图形监控界面，但是不是很好看，collectd 图表恨不得就是 rrd 格式，更说不上好看了，cacti倒是把 rrd 格式给发扬光大了，不过还
2017-05-10 19:29:52
10102
原创 Python 正则表达式的使用（re findall finditer match search)- 千月的python linux 系统管理指南学习笔记（13）
Python 使用正则表达式正则表达式（Regular Expression），正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。在对文本的复杂匹配中起到了非常重要的作用。Python 当然也支持正则表达式，使用的话我们需要引入 re 模块。至于正则表达式的写法，我们不做过多介绍，大家可以查看 O'Reilly出版设出版的：作者是
2017-05-10 17:10:36
1489
原创 Python 下字符串的连接、简单替换与unicode字符串- 千月的python linux 系统管理指南学习笔记（12）
Python 下字符串的连接、简单替换与unicode字符串继续上一章的内容，看一看字符串的连接和替换字符串的连接join() 将多个字符串连接起来的”胶水“字符对象.join(字符串或者列表) #连接字符串，或者与列表里的字符分别连接。光是将2个字符串相连。其实意义不大，一个加号就解决问题了。这里我们尝试一种新的分别连接手段。请看例子。字符已经
2017-04-29 00:29:24
3488
原创 Python 下字符串的提取、分割与删除- 千月的python linux 系统管理指南学习笔记（11）
Python 下字符串的提取、分割与删除对于文本来讲，提取、分割和删除是我们用的较多的操作。文本我们可以看成是字符串对象。首先说到的是 in 和 not in操作。字符串的提取in 和 not in 判定是否包含字符我们可以使用 in 或者 not in 来检查一个字符串是否是另一个字符串的一部分。使用方法： 关键字 [not] in 字符对象 #判定是否存
2017-04-28 21:53:44
15229
原创 Python下字符串的创建和转义字符的使用 - 千月的python linux 系统管理指南学习笔记（10）
从这章开始我们讨论python对文本的操作既然章节标题是：文本，那么创建字符串是最基础的。如何保证我创建的变量是一个字符型。使用不同的引号格式括起字符串我们看下面的例子无论是 单引号 双引号 三个单引号 三个双引号 ，我们得到的都是 str 类型。这里和 bash 与 perl 都有些区别。比如bash引号的嵌套对与 ba
2017-04-23 23:11:30
1578
原创 IPython 下的信息收集-魔力函数（page pinfo who等）- 千月的python linux 系统管理指南学习笔记（9）
其实这一章更多的是介绍一些魔力函数的使用方法。这些魔力函数可以帮助我们得到一些工作中需要了解的信息。有点琐碎，大家看看就好，平铺直叙，也没什么难的。page如果正在处理的对象表示起来非常复杂冗长，一屏甚至几屏都显示不完。可以使用魔力函数 page 解决。很像 shell 里的 less 命令空格可以翻一屏，滚轮可以上下看，出现 end 就结束了。没什
2017-04-23 19:36:16
386
原创 IPython下字符串的简单处理 - 千月的python linux 系统管理指南学习笔记（8）
这里仅仅对字符串进行简单处理，实现 shell 一样的功能。复杂的处理方法，会在后面章节细说。如果需要在 shell 下得到 Debian-+ 这个特殊用户拥有进程的 PID 方法如下。我们使用了系统命令 ps -ef 结合了 awk 的方法得到。有的朋友可能刚接触awk，简单解释下这句话的用法'{ if ($1=="Debin-+") print $2 }
2017-04-18 22:59:47
490
原创 IPython下目录的操作-魔力函数（cd pwd bookmark dhist )- 千月的python linux 系统管理指南学习笔记（7）
目录操作在系统运维时是最常用的。很多时候介绍函数会很枯燥，函数叫什么，做什么的。似乎给人一种“嗯，我知道了，但是毫无意义" 的感觉。因此我避免了一些官方介绍。就简单的说下用法。大家看的也快点。==================================================cd pwd如果讲目录操作这2个命令都不知道，就别折腾了。IPython下，
2017-04-18 18:45:55
2379
原创 IPython下执行shell命令-魔力函数（alias store rehash）- 千月的python linux 系统管理指南学习笔记（6）
我们在工作中经常使用 linux 下的命令行模式，也就是 shell 。但是 shell 有一个问题，就是必须一条一条执行命令。输入命令，等待执行结果，继续输入命令，等待结果。好像一个循环。而如果我们使用文本编辑器，编写脚本来执行，却又失去了交互的体验。我们现在提到的魔力编辑，就是 IPython 在命令行和文本之间的一种折中，汲取了两者的优点。我们使用 lsm
2017-04-18 18:30:43
5101
原创 IPython（jupyter）简单介绍和基本交互操作 - 千月的python linux 系统管理指南学习笔记（5）
写这章前有些小纠结，因为考虑IPython这个工具在生产环境中是否真的用的到。觉得大家更多的愿意以脚本形式编写运维程序，从而忽略了交互工具的使用。但是最终还是写下了这章（挺长的），因为希望大家能在工作中更多的去以Python来与系统交互，而不是更多的使用shell。安装IPython方法有很多，我们可以用 redhat 系列的 yum 或者 Debian 系
2017-04-16 08:14:25
1454
原创 Python中使用函数 - 千月的python linux 系统管理指南学习笔记（4）
在Python中使用函数函数我们可以看成是一段小的代码，实现某一些功能，甚至可以看成是一段小程序。打个比方，我们要盖楼，有个动作叫砌砖，就是把抹水泥，放砖，敲实，把多余的水泥抹掉。那么我们定义了砌砖这个动作，是由4个动作组成的。我们指挥工人的时候，就不要每次都说：你要抹水泥，放砖，敲实，把多余的水泥抹掉。直接说你“砌砖”就可以了。那么砌砖就是一个函数。=
2017-04-13 17:41:30
479
原创 一些关于Python的基础知识 - 千月的python linux 系统管理指南学习笔记（3）
一些关于Python的基础知识对于Python来说，我们可以轻易的获得我们所需要的包。我们使用 pip 命令来获得需要的包。比如我们要知道我们现在安装过什么包。当然我们也可以用 pip install 来安装我们需要的包。网上也可以下载到。下面将对 IPython 和 Bash 做一个对比。我们使用的是 IPython 没有的可以下载
2017-04-13 17:17:15
538
原创 Python与linux常用脚本的比较 - 千月的python linux 系统管理指南学习笔记（2）
UNIX LIKE 系统下常用脚本的比较Python Perl Bash 三种常用的脚本，虽然Perl 已经接近被取代的边缘了，代码过于晦涩，学习曲线过长。我们假设读此文章的作者都有一定linux下的运维基础下列是一些例子，可以建立脚本进行比较。记得chmod +x 脚本名 改为可执行。====================================
2017-04-08 20:37:02
901
原创 Python简介- 千月的Python linux系统管理指南学习笔记（1）
Python 的优点人们为何使用python 1、软件质量 python更加注重可读性，一致性和软件质量、 即使代码并非你写，python的可读性也保证了其代码易于理解。 而且python支持软件开发的高级重用机制，如 OOP 面向对象编程2、提高效率 python代码大小仅有 C 和 JAVA 的 1/3 到
2017-04-08 20:18:30
1488
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人