努力的小小小小白-CSDN博客

原创使用sqoop在mysql和hive中导数

hive的数据导入mysql通过Sqoop将Hive表数据导入到Mysql通常有两种情况。第一种是将hive上某张表的全部数据导入到mysql对应的表中。第二种是将hive上某张表中的部分数据导入到mysql对应的表中。两种方式的区别在于第二种情况需要指定要导入数据的列名称。两种情况的导入方式分别如下：1.全部导入Sqoop export --connect jdbc...

2018-12-10 21:38:09 522

转载关于linux定时的代码

linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。一、crond简介crond 是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与window...

2018-12-10 21:20:23 188

原创 give me some credit 信用预测

Pandas —— 唯一值unique( )，计数值value_counts( )及成员资格isin( )首先将数据变成DataFrame的形式a = pd.DataFrame(traindata) a['age'].value_counts() a['age'].unique()a['age'].isin([20,21,22]) #去重python...

2018-12-10 19:55:19 1260

来源网址：https://www.jianshu.com/p/42a33b0dda9c1、按步骤安装Navicat Premium，如果没有可以去官网下载：http://www.navicat.com.cn/download/navicat-premium2、安装好后下载激活文件：https://pan.baidu.com/s/1kVgTd6R 提取密码：t1yp3、下载好后解压文件，可以看到如...

2018-06-29 09:42:16 267

转载 python 使用K-Means算法对数据进行聚类

K-Means是聚类算法的一种，以距离来判断数据点间的相似度并对数据进行聚类。前面的文章中我们介绍过K-Means聚类算法的原理及实现。本篇文章使用scikit-learn库对数据进行聚类分析。准备工作开始之前先导入要使用的各种库文件，首先是scikit-learn库，然后是数值计算numpy和科学计算pandas库，以及用于绘制图表的matplotlib库文件。1234from sklearn....

2018-05-20 15:24:21 56198 7

转载 python 使用scikit-learn对数据进行预处理

数据对于算法和模型的表现至关重要。原始数据中会包含各种各样的问题，我们在使用这些数据前要预先对这些问题进行处理。数据预处理的内容包括数据的清洗，如缺失值和零值的填充，数据标准化，二值化和哑编码等等。本篇文章介绍如何使用sklearn中的数据预处理库(preprocessing)对数据进行标准化处理。准备工作开始前的准备工作包括三个部分，首先导入需要使用的库，这里包括常规的数值计算库numpy和pa...

2018-05-20 15:23:28 1754 1

转载使用R进行数据提取

数据提取是数据分析日常工作中遇到最多的需求，本篇文章介绍如何通过R按特定的维度或条件对数据进行提取，完成数据提取需求。读取并创建数据表首先第一步是读取数据，并创建名称为loandata的数据表。后面我们将从这个表中进行数据提取。12#读取并创建数据表loandata=data.frame(read.csv('loan_data.csv',header = 1))将数据表中的用户ID列设置为索引列，...

2018-05-20 15:22:11 23804 1

转载使用R进行数据匹配

R中的merge函数类似于Excel中的Vlookup，可以实现对两个数据表进行匹配和拼接的功能。与Excel不同之处在于merge函数有4种匹配拼接模式，分别为inner，left，right和outer模式。其中inner为默认的匹配模式。本篇文章我们将介绍merge函数的使用方法和4种拼接模式的区别。函数功能介绍merge函数的使用方法很简单，以下是官方的函数功能介绍和使用说明。merge...

2018-05-20 15:21:18 15785 2

转载使用R进行数据清洗

数据清洗是整个数据分析过程中一个非常重要的环节。数据清洗的目的有两个，第一是通过清洗让数据可用。第二是让数据变的更适合进行后续的分析工作。本篇文章将介绍几种简单的使用R进行数据清洗的方法。读取并创建数据表首先将数据读取到R中，并创建名为loan的数据表。后面我们将对这个数据表进行清洗。12#读取并创建数据表loan=data.frame(read.csv('loan.csv',header = 1...

2018-05-20 15:19:46 6470

转载使用R读取并查看数据

本篇文章介绍如何使用R读取并查看数据，包含一些最基础的函数使用方法和说明。后面还会陆续介绍数据清洗，匹配和提取等相关的操作。查看函数帮助对于新手来说，在使用R时最重要的是了解不同函数的使用方法。很多时候我们都是边用边学的状态，拿到一个函数如何快速的使用起来，最快捷的方法就是查看函数的帮助。在R中查看函数的帮助有两种方法，第一种是使用help，第二种是直接在函数前加问号(?)。R会直接显示出这个函数...

2018-05-20 15:06:52 35534

转载 RStudio快捷键

转自：http://www.cnblogs.com/muziyunxuan/p/4588460.html使用R语言-RStudio快捷键控制台功能Windows & LinuxMac移动鼠标到控制台Ctrl+2Ctrl+2控制台清屏Ctrl+LCommand+L移动鼠标至第一行HomeCommand+Left移动鼠标至最后一行EndCommand+Right历史记录翻滚Up/DownUp/...

2018-05-03 14:48:07 977

转载 pycharm 安装和使用

转自：http://www.cnblogs.com/muziyunxuan/p/7985265.htmlPyCharm 是我用过的python编辑器中，比较顺手的一个。而且可以跨平台，在macos和windows下面都可以用，这点比较好。首先预览一下 PyCharm 在实际应用中的界面：（更改了PyCharm的默认风格）安装首先去下载最新的pycharm 2.7.3，进行安装。可以直接在官网下...

2018-05-03 14:45:58 165

转载 pycharm的一些快捷键

编辑类：Ctrl + Space 基本的代码完成（类、方法、属性）Ctrl + Alt + Space 类名完成Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息（在方法中调用参数）Ctrl + Q 快速查看文档Shift + F1 外部文档Ctrl + 鼠标简介Ctrl + F1 显示错误描述或警告信息Alt + Insert 自动生成代码Ctrl + O 重新方法C...

2018-05-03 14:44:15 145

原创小象学院金融数据分析第二期

课程大纲：第一课：数据分析基本知识复习（2课时） 1. 数据分析的基本概念 a. 目的 b. 数据获取和清理 c. 数据的描述性统计与可视化 2. 数据分析的常用模型 a. 监督式模型：（广义）线性回归，决策树，随机森林，支持向量机，神经网络 b. 非监督式模型：聚类分析，因...

2018-05-03 10:06:01 840

原创 MySQL 第六天学习笔记

第十七章组合查询创建组合查询（UNION）需要价格小于等于5的所有物品的一个列表，而且还想包括供应商1001和1002生产的所有物品（不考虑价格）同样的，用WHERE也可实现union在实现的过程中，会自动取消重复的行，如果想要改变，可以用union all第十八章全文本搜索首先，并非所有的引擎都支持全文本搜索。MySQL最常用的两个引擎是MyISAM和InnDB其中，MyISAM支持全文本...

2018-05-01 17:00:08 169

原创 MySQL 第五天学习笔记

第十三章分组数据数据分组从products表中，返回供应商vend_id = 1003 对应的产品总数也可以创建分组 GROUP BY 过滤分组GROUP BY 只能完整分组用HAVING 可以过滤分组，用法类似于WHERE同时用WHERE 和 HAVING找出products 表中，具有2个及以上、价格为10及以上的产品的供应商分组(group by)和排序(order by)总计订单价...

2018-04-30 19:58:36 202

原创 MySQL 第四天学习笔记

第十一章使用数据处理函数函数第十章学过RTrim（）函数，目的是去除串尾空格文本处理函数 Upper( ) 将文本转换为大写soundex在customers表中，有一个顾客Coyote Inc. 他的联系名为Y Lie ,但是在输入时输入成了Y Lee想找Y Lie,找不到可以通过Soundex 它匹配所有发音类似于Y Lie 的联系名搜索Y Lie ，搜到了Y Lee日期和时间处理...

2018-04-27 20:01:42 243

原创 MySQL 第三天学习笔记

第十章创建计算字段拼接字段 Concat把 vendors表中的vend_name，vend_country 拼接成 vend_name(vend_country)拼接删除空格 RTrim 去掉右边的所有空格 LTrim 去掉左边的所有空格 Trim 去掉左右两边的空格同时可用AS取别名，重新命名执行算术计算orderit...

2018-04-26 21:57:11 111

原创 MySQL 第二天学习笔记

五一完整的时间把Python爬虫学完，这几天先学MySQL，争取入门第五章排序检索数据：（order by 默认升序，降序需要在后面加DESC）按多个列排序指定排序方向找最大值，最小值（按照大小排序后，限定只出一行，就是最大最小值）第七章过滤数据（用WHERE）等于小于列出价格小于10美元的产品不等于 (可用 <> 也可用！= )范围 BETWEEN AND思考：...

2018-04-24 20:50:47 180

转载【转载】Navicat Premium 常用功能讲解

Navicat Premium 常用功能讲解1.快捷键 1.1. F8 快速回到当前对象列表 1.2. Ctrl + q 打开查询界面 1.3. Ctrl + d 快速修改当前的表结构 1.4. Ctrl + r 运行当前查询界面里面的 sql 语句 1.5. Ctrl + shift + r 运行当前选中的 sql 语句2.快速查看表结构 2.1.右键表信息->选择对象信息 2.2.右键表...

2018-04-24 15:10:45 1213

原创 MySQL 第一天学习笔记

说明：MySQL不区分大小写，但是为了清晰可见，命令语句都用大写，表名，行名都用小写查看一下现在有几个数据库：SHOW DATABASES;选择数据库USE xiaowei;查看xiaowei这个数据库里有什么表SHOW TABLES;查看customers这个表的内容，即看customers这个表的表名，也就是表列SHOW COLUMNS FROM customers;检索数据：检索单个列：SE...

2018-04-23 22:17:53 110

原创 MySQL必知必会前言

首先是下载MySQL没有安装成功，需要完全卸载干净了再安装，卸载过程见上一篇博客，安装过程参考《MySQL5.7从入门到精通》，书中有详细介绍。在开始学习前，从官网下载两个文件后续要学习的数据库，操作的表，都是以这个作为例子怎么导入？我是参考了一位博主的方法，非常不错https://blog.csdn.net/zoroday/article/list/2需要安装Navicat Premium，连接...

2018-04-23 21:36:51 210

转载【转载】MySQL卸载干净

方法一：1.首先找到任务管理器(快捷键Ctrl+Alt+Delete)，点上边的服务，找到MySQL右键停止服务。2.删除你在电脑上的MySQL安装的文件夹。3. 检查C:\WINDOWS目录下是否有my.ini文件,将其删除;找到安装MySQL时的数据存储文件(注：不是安装文件)，我的是在C:\ProgramData目录下(也有人是在C:/Documents and Settings/AllUs...

2018-04-23 19:44:48 503

原创 Python 第十九天学习笔记

爬取网站 http://www.fishc.comimport urllib.requestresponse = urllib.request.urlopen("http://www.fishc.com")html = response.read() response是一个对象，要把对象读出来print(ht...

2018-04-22 16:21:47 418

原创 Python 第十八天学习笔记

迭代器提供迭代方法的容器称为迭代器，通常接触的迭代器有序列（列表，元组，字符串）和字典字典： {键：项}links = {"爸爸":"father",\ "妈妈":"mother",\ "妹妹":"sister"}for each in links: print("%s -> %s" % (each,links[e

2018-04-21 18:48:00 285 2

原创 Python 中的列表推导式

列表推导式是Python基础，好用，而又非常重要的功能，也是最受欢迎的Python特性之一，可以说掌握它是成为合格Python程序员的基本标准。本质上可以把列表推导式理解成一种集合了变换和筛选功能的函数，通过这个函数把一个列表转换成另一个列表。注意是另一个新列表，原列表保持不变。看示例：对a中每个元素求立方求a中偶数元素的立方求a中大于5的偶数的元素的立方多层for循环，将一个嵌套列表转化成...

2018-04-21 15:11:41 435

原创 Python % 汇总

python中用%代表格式符，表示格式化操作，常用的操作有%s,%d,%r等.1.%s,%r,%d分别表示字符串以str（），rper(),以及十进制整数表示，%f表示结果为浮点型，更多见下表：...

2018-04-21 10:52:31 24725 1

原创 Python 第十七天学习笔记

调缩进：ctrl + [ 左 ctrl + ] 右属性访问property() 可以用属性去访问属性？什么意思。。。>>> class C: def __getattribute__(self,name): print("getattribute") return super().__getattribute__(name) def ...

2018-04-18 21:42:23 267

原创 Python 第十六天学习笔记

鸭子类型：class Nstr(str): def __sub__(self,other): return self.replace(other,'') >>> a = Nstr("I love you aaaaaa")>>> b = Nstr("a")>>> a - b 'I love you '

2018-04-17 21:57:13 418

原创 Python 第十五天学习笔记

今天终于要开始学习魔法方法了，上周一的讨论班时就开始看，到今天才正式能看进去。。温故知新，稳扎稳打，不要急第十二章魔法方法__init__(self) 方法需要注意两点：class Rectangle: def __init__(self,x,y): 首先要对变量进行这样的一个调用说明 self.x = x self.y = ...

2018-04-16 19:46:12 304

原创 Python 第十四天学习笔记

今天去面试数据分析师，遇见的是本科北交大硕士中科院学工业工程的同学。真的是压力山大。面试被问到了SQL。最近都不要投简历关注实习了，先充电，学完Python再学SQL。今天做第十一章类和对象的习题0.对象中的属性和方法，在编程中实际是什么？变量属性，函数方法1.类和对象是什么关系？对象是类的实例化，类是抽象的，对象是具体的2.如果我们定义了一个猫类，那你能想象出“猫”类实例化的对象有哪些？叮当猫，...

2018-04-14 20:47:43 1480 1

原创 Python 第十三天学习笔记

0. 请写一个密码安全性检查的脚本代码：check.py1. # 密码安全性检查代码2. #3. # 低级密码要求：4. # 1. 密码由单纯的数字或字母组成5. # 2. 密码长度小于等于8位6. #7. # 中级密码要求：8. # 1. 密码必须由数字、字母或特殊字符（仅限：~!@#$%^&*()_=-/,.?<>;:[]{}|\）任意两种组合9. # 2....

2018-04-11 21:31:09 181

原创 Python 第十二天学习笔记

0. 设计一个验证用户密码程序，用户只有三次机会输入错误，不过如果用户输入的内容中包含"*"则不计算在内。count = 3password = input("您的密码是：")while count: passwd = input("请输入您的密码：") if passwd == password: print("密码输入正确") break elif...

2018-04-10 20:36:51 391

原创 Python 第十一天学习笔记

0. if not (money < 100): 这行代码相当于？ if money >=1001. assert 的作用是什么？断言，assert这个关键字我们称之为“断言”，当这个关键字后边的条件为假的时候，程序自动崩溃并抛出AssertionError的异常。什么情况下我们会需要这样的代码呢？当我们在测试程序的时候就很好用，因为与其让错误的条件导致程序今后莫名其妙地崩溃，不如...

2018-04-08 20:37:37 244

原创 python 第十天学习笔记

清明小长假，北京下雨下雪下冰雹，还有好多作业，做了一天作业，出去玩了一天，断更了两天从今天开始从第一章开始写课后习题第一课：5. 如果我需要在一个字符串中嵌入一个双引号，正确的做法是？你有两个选择：可以利用反斜杠（\）对双引号转义：\"，或者用单引号引起这个字符串。例如：' I l"o"ve fishc.com '。>>> print('I "love" you')I "love...

2018-04-07 16:43:59 226

原创 python 第九天学习笔记

昨天晚上做小组作业断了一天，还错过了度厂的在线笔试由于装不上easygui，先不学图形界面，今天学习类和对象#一个对象的特征成为“属性”，一个对象的行为称为“方法”class Turtle: color = "green" weight = 10 legs = 4 shell = True mouth = "大嘴" def climb(self): ...

2018-04-03 21:43:07 189

原创 python 第八天学习笔记

异常处理：AssertionError 断言assert语句失败>>> my_list = ["我爱小甲鱼"]>>> assert len(my_list) >0>>> my_list.pop() pop() 默认弹出最后一个元素，且删除'我爱小甲鱼'>>&am

2018-04-01 20:04:30 252

原创 python 第七天学习笔记

文件系统：返回当前工作目录 getcwd()>>> import os>>> os.getcwd()'C:\\Users\\lenovo\\AppData\\Local\\Programs\\Python\\Python36'创建单层目录>>> os.mkdir("C:\\A")>>> os.mkdir("C:\

2018-04-01 14:46:16 136

原创 python 第六天学习笔记

用{}括起来，但是没有体现映射关系，则为集合，集合即唯一，无序>>> set1 = {1,2,3,4}>>> set2 = set([1,2,3,4]) set() : 工厂函数（）里可以是列表list[] 也可以是元组 tuple()>>> set1 == set2利用集合的唯一性去除列表中重复的元素li...

2018-03-30 19:51:15 122