- 博客(63)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 数据分析的统计基础-大纲
1.数据分析步骤： 明确分析目的和内容 数据收集 数据预处理 数据分析步骤 数据展现 报告撰写 2.数据分析软件优点比较： Spass:界面友好，输出结果美观 R：高效的数据处理及存储，擅长矩阵操作 Matlab:人机交互，提供了众多的应用函数 sas:统计分功能强大3.数据分析方法： （1）单纯的数据加工方法 * 描述性统计分析： 集中趋势分析：平均数，中位数，众数 离...
2018-03-07 20:13:16
475
原创 Python-Numpy学习之一：简介及ndarray属性
--scripy简介 Scripy 是基于Python生态的一款开源数值计算，科学与工程应用的开源软件（集成包） 包括NumPy, pandas：数据清洗，数据处理 matplotlib：图表 IPython:Python的命令--官网：www.scipy.org 用于查看各种文档--NumPy: Numerical Python 数值Python包，是一个科
2018-01-04 21:26:42
770
转载 Python语言学习之三：sys.argv[]
sys.argv[]是用来获取命令行参数的，sys.argv[0]表示代码本身文件路径，所以参数从1开始.#!/usr/bin/env python#_*_ coding:utf-8 _*_import sysdef readfile(filename): #定义readfile函数，从文件中读出文件内容 '''''''''Print a file to the s
2017-10-26 22:48:46
269
转载 Python语言学习之二：字符串格式化
用法： 它通过{}和:来代替传统%方式 1、使用位置参数要点：从以下例子可以看出位置参数不受顺序约束，且可以为{},只要format里有相对应的参数值即可,参数索引从0开，传入位置参数列表可用*列表>>> li = ['hoho',18]>>> 'my name is {} ,age {}'.format('hoho',18)'my name is
2017-10-26 22:46:21
227
原创 hadoop初识之十三：shuffle过程及mapreduce 调优
--==============shuffle处理过程==============================>inputFormat=>map=>shuffle处理过程 * process * map，output * memory* spill,溢写到磁盘中，可能有很多文件 * 分区partition* 排序s
2017-09-18 22:02:15
390
原创 hadoop初识之十二：wordcount 处理过程和mapreduce的数据类型
--==============wordcount 处理过程=============================1.将文件拆分成splits,每个文件为一个split,然后将文件拆分成 key是行偏移量，value包括了回车所占的字符数。2.将 交给map进行处理，分割并形成新的3.map方法对其value按key进行排序后并输出4.reduce 对map的结果进行分组
2017-09-11 22:28:06
224
原创 hadoop初识之十一：mapreduce编写格式与示例, 并在yarn上运行
--==============mapreduce编写格式==============================》概述：map和reduce遵循的格式 map:(K1,V1)->list(K2,V2)reduce:(K2,list(V2))->list(K3,V3)Context是上下文=》Mapper基类 protect void map(KEY key,
2017-09-10 18:43:18
249
原创 hadoop小知识3-fatjar工具的使用
1.fatjar工具作用：可以把整个工程包括所依赖的包打成一个大的jar包（包含所有的jar包）2.下载地址：https://sourceforge.net/projects/fjep/files/latest/download,需要和eclipse版本对应3.解压后，把该插件（net.sf.fjep.fatjar_0.0.32.jar）放到eclipse的plungins下面，或者Mye
2017-09-10 18:16:05
298
原创 hadoop小知识2-虚拟机和主机间实现复制和粘贴
1.登录虚拟机系统；单击“虚拟机”；单击“安装VMware Tools"； 2.右键光盘形状的【VMware Tools】，【Browser Foldes】看到如下图所示的tar包。把tar包复制到该虚拟机桌面上3.打开终端4.该tar包路径为 /root/Desktop/VMwareTools-9.6.0-1
2017-09-10 12:21:27
1960
转载 hadoop小知识1-虚拟机与主机时间同步
要让虚拟机的linux和实际时间一致，最简单的步骤是：(1)将虚拟机linux和主机时间同步,可以先在虚拟机的设置里面-选项-VMware Tools开启客户机与主机时间同步(其实默认就开的)(2)开启了时间同步但是还是和实际时间不一样，那么可能是时区设置不对，这时最简单的方法是进入系统的图形界面，点击右上角的时间，进入时间、时区设置(和window设置时间差不多)，edit lo
2017-09-10 10:22:53
598
原创 hadoop初识之十：mapreduce编程模型与数据传输格式
--==========mapreduce编程模型：分而治之的思想============================================ => 是分布式计算模型，解决海量数据的计算问题map => mapreduce将整个并行计算过程抽象到两个函数 map映射： 对每一部分数据进行处理，核心部分，高度并行 输入数据格式解析输入数据处理
2017-08-16 22:51:05
394
原创 hadoop初识之九：Yarn组织架构，对资源的管理，以及以yarn为核心的生态系统
--==========Yarn组织架构============================================ =>ResourceManager * 全局的资源管理器，整个集群只有一个，负责集群资源的统一管理和调度分配 * 功能 处理客户端请求 启动、监控ApplicationMaster 监控NodeM
2017-08-16 22:27:44
318
原创 hadoop初识之八：NameNode 启动过程和secondaryNameNode 作用
--=========NameNode启动过程====================NameNode数据存放在 =》内存 =》本地磁盘 * fsimage:镜像文件（格式化HDFS时生成） * edits：编辑日志文件，存储元数据的变化信息过程1:第一次启动HDFS =>format HDFS =>生成fsimage =>st
2017-08-15 22:00:49
399
原创 hadoop初识之七：linux 中eclipse 读写HDFS文件
/opt/tools/workspace/npl_hdfs/src/main/java/com/npl/hadoop/senier/hdfs--==================添加hadoop jar 包======================== =》pom.xml配置以下两项，hadoop jar包会自动添加到工程中【Maven Dependencies】中
2017-08-15 21:36:07
738
原创 hadoop初识之六：HDFS架构及linux下eclipse环境的准备
--==================HDFS架构======================== =》Hadoop Distributed File SYSTEM * 易于扩展的分布式文件系统 * 运行在大量廉价机器上，提供容错机制 * 提供文件存取服务 =》namenode 负责管理文件系统的命名空间， 负责操作元数据
2017-08-08 22:03:40
259
原创 hadoop初识之五：hadoop启动方式、机器上必须的配置、本地native库配置、及hadoop编译
--===============hadoop启动方式====================== =》各个组件逐一启动 *HDFS hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode*yarn yarn-daemon.sh start|stop resourcemanager|no
2017-08-06 23:03:37
415
原创 hadoop初识之四：HDFS、Yarn及mapreduce 回顾，配置文件的补充及yarn日志聚集功能配置
--Hadoop2.x =>common =>HDFS 存储数据NameNode:存储文件系统的元数据，命名空间namesapceDataNode:存储数据SecondaryNameNode:输助NameNode工作，合并两个文件（定时周期性的合并） =>YARN:Hadoop的操作系统,Data操作系统 Container:隔离资源Resou
2017-08-05 16:47:00
297
原创 hadoop初识之三：搭建hadoop环境（配置HDFS，Yarn及mapreduce 运行在yarn）上及三种运行模式（本地模式，伪分布式和分布式介）
--===============安装jdk（解压版）==================--root 用户登录--建立文件层级目录 /opt下分别 建 modules/softwares/datas/tools 文件夹--查看是否安装jdk rpm -qa|grep java--缷载系统自带的jdk:nodeps是忽略依赖，强制缷载 rpm -e --no
2017-08-04 07:14:51
1271
原创 hadoop初识之二：三大组件（HDFS，MapReduce,Yarn）以及mapreduce运行在yarn上的过程
--===============hadoop发展及三大组件=========================--衍变谷歌(C++) Hadoop(JAVA)GFS -> HDFSMapReduce -> MapReduceBigTable -> HBase--Hadoop Common 工具，基础，输助性的东西,底
2017-07-20 21:52:27
652
原创 hadoop初识之一-sql on hadoop的框架
SQL on hadoop 1.Hive2.Prestore3.Impala 类似于Hive，但是是在内存中处理数据4.Phoneix（基于HBase）5.Spark SQL
2017-07-17 22:45:30
280
原创 Python语言学习之一：环境搭建,执行方式及主模块和非主模块
--配置python环境1.安装python并配置环境变量2.idea工具安装python插件3.新建python项目 注：sdk是python根目录下的python.exe文件--模块1.Python代码的组织形式：.py文件2.文件头 #!/usr/bin/python--表示用哪个文件解释该文件 # encoding:utf-8|#-*-codin
2017-07-17 22:39:57
358
原创 Oozie基础知识：调度器简介及Oozie功能架构
1.Oozie调度框架 * 工作流：将不同的业务进行编排 如：import->hive->export* 调度：对作业或任务和定时执行，或事件的触发执行 如：时间触发、数据集的触发。2.已有调度框架 (1)hadoop常用的调度框架： * linux crontab 调度 * Azkaban ：有界面，比较简单，功能有
2017-05-16 23:11:21
3798
原创 Oracle基本操作十四：触发器-重点是DML行级触发器
--触发器：以独立的对象存在，不能主动调用，由事件隐式触发--触发器类型： 1.DML触发器：如insert,delete,update语句对行级或语句级进行触发， 一般是使用行级 2.替代触发器：专门进行视图操作，解决的问题：不能直接对由两个以上的表建立的视图进行操作 3.系统触发器：如DDL或oracle系统的启动与关闭等系统事件。--DML触发器语法举例：当删
2017-05-15 23:24:42
295
原创 Oracle基本操作十三：函数和包
--函数和包：位于文件夹function中--函数：和存储过程类似，但是函数有返回值，且其参数只能是in,而不能是out或in out--举例一.1:创建无参的函数create or replace function firstFun return varchar2 isbegin return 'HelloWorld';end firstFun;--举例一.2
2017-05-15 22:54:36
240
原创 Oracle基本操作十二：存储过程及定时调用存储过程
--程序单元：数据库中命名的PL/SQL块，作为数据对象保存在数据库中--分类： 1.过程：执行特定操作，无返回值,相当于PL/SQL块起个名字 2.函数：进行复杂计算，有返回值,相当于PL/SQL块起个名字 3.包：逻辑上相关的过程和函数组织在一起 4.触发器：事件触发，执行相关操作--结构:2345称为匿名块 1.header--必须的，了程序的名称、类型
2017-05-15 22:25:18
678
原创 Oracle基本操作十一：游标
--游标：实际上是把sql执行的结果保存在内存中，提供了访问执行结果的途径--分类 --隐式游标:每个DML语句和PL/SQL语句都有 --显示游标：开发人员声明和控制--举例一：单行提取tb_clazz表中的所有数据declare --1.定义游标，提取tb_clazz中的所有数据 cursor c_tb_clazz is select * f
2017-05-13 22:44:09
247
原创 Oracle基本操作十：异常处理
--异常处理--规则： 1.exception关键字 2.PL/SQL异常没有任何父子关系 3.when others为最后一条子句，捕获所有未处理的异常 4.可设置多个异常代理代码 5.异常快一次运行，只有一个异常处理器处理异常--种类： 1.预定义异常--有异常名，错误代码，异常信息，24种，如ORA-0001 2.非预定义异常-
2017-05-13 22:17:26
224
原创 Oracle基本操作九：流程控制（分支控制与循环控制）
--流程控制--分支控制 if then PL/SQL语句和SQL语句 else then 其它语句--若什么都 不做 else then null;--若什么都不做,写空，保证语句完整性 else 其它语句 end if;--循环控制：loop/for/while--简单循环Lo
2017-05-13 21:53:39
338
原创 Oracle基本操作八：PL/SQL特殊数据类型%type %rowtype VARRAY TABLE RECORD
--%type %rowtype%type 前面必须有前缀定义某个变量的数据与已存在的变量数据类型、某个列的数据类型相同。好处：1.可能不知道数据表中字段的数据类型 2.数据库中字段的数据类型可能运行时已被改变，程序变量的类型会随着改变declare v_id tb_student.id%type; --v_id的类型与表tb_student中id的类型一样
2017-05-13 21:29:49
998
原创 Oracle基本操作七：PL、SQL 定义变量，操作数据
--PL/SQL:传统的sql+流程的控制使sql具有编程语言的特点，使数据操作和查询语句包含在PL/SQL过程单元中，可以进行逻辑判断，循环等操作完成复杂的功能或计算--PL/sql块：组成：声明部分，执行部分，异常处理部分declare变量，类型，游标，局部的存储过程和函数begin过程和sql语句exception异常处理end;--PL/sql语法规
2017-05-08 22:14:52
408
原创 Oracle基本操作七：序列，同义词，索引，视图
--序列介绍 自动生成的唯一序列号;是可共享的对象;通常用来创建主键值;对序列进行缓存，可以加速访问序列.--创建序列,成功后可在Oracle的Sequences下查看create sequence seq_tb_clazz;increment by nstart with nmaxvalue n|nomaxvalueminvalue n|nominvaluec
2017-05-08 21:39:49
209
原创 Oracle基本操作六：子查询,rownum,rowid
--子查询：子查询（内部查询）在主查询前执行一次，结果被用于主查询（外部查询）--子查询-例:查出比Allen工资高的人select ename from emp where sal>(select sal from emp where ename='allen')--子查询-单行子查询：只返回一行结果，关键词：> = --子查询-使用组函数:查工资比平均工资高select e
2017-04-24 23:46:30
1321
原创 Oracle基本操作五：简单查询与简单函数，组函数，分组
--简单查询--查询时可以用+-*/select empno,sal,sal*12 from emp;--连接操作||select dname||'_'||cname from dept;--Null值:不等于0或空格或空字符串。所有和null进行运算的结果仍为nullselect * from emp;--去重:若是两个字段，则会去掉两个字段组合后的重复记录se
2017-04-24 21:58:20
283
原创 Oracel基本操作四：数据建模三范式
--数据建模：三范式，从表中删除冗余信息的过程叫规范化--规范化：精简数据库，删除冗余值，建立关联关系。--第一范式：必须有主键，每个属性值都是不可再分的最小数据单位--第二范式：关系模式中的所有非主关键字完全依赖于主关键字。针对联合主键--第三范式：非主关键字不能依赖于其它非主关键字。create table tb_class01( --班级表id number,co
2017-04-20 22:04:17
482
原创 oracle 基本操作三：DML语句，数据完整性之约束，约束的维护
--DML语句：--对于oracle，所有的DML语句，会存在缓存中，需要手动提交或回滚。其它数据库会自动提交--事务：commit和commit之间的多条语句称为一个事务，多条sql语句可以一次性提交或回滚。--插入数据insert into tb_class(id,code) values (1,'npl01');commit;--建表：从它表中创建表create
2017-04-19 23:42:02
312
原创 Oracle基本概念
1.忘记管理员密码解决方案：（1）命令行下输入：sqlplus/nolog 进入sql*Plus（2）输入conn/as sysdba（3）修改密码：alter user system by pwd(密码第一个字符不能是数字)（4）然后就可以用system 和密码登录了2.关系型数据库RDBMS简介（1）Oracle:亿级的 跨平台，安全性高（2）DB2：千万级
2017-04-18 23:38:28
1590
原创 Oracle 基本操作二：内连接，左连接，右连接，自连接，集合查询（union）
--多表查询-笛卡儿 (dept表有4条数据，emp表有两条数据，行是4*2=8条数据，列是两张表的所有列)select * from dept d, emp e --内连接-等值连接，从两张表获取所需的数据，通过主外键连接select d.deptno,d.dname,e.ename,e.salary from dept d, emp e where d.deptno=e.deptn
2017-04-18 23:24:17
691
原创 Oracle 基本操作一：创建表空间、创建用户并赋予权限、创建表、维护表
--创建表空间create tablespace npl01 datafile 'D:\developPrograms\Oracle\oradata\orcl\npl01.dbf' size 20M autoextend off;--删除表空间，同时删除表空间所在的物理文件drop tablespace npl01 including contents and datafiles;
2017-04-18 22:49:20
461
原创 java 将要成长的五年
第一年：《java编程思想》第二年：《大话设计模式》，设计模式博客。《重构改善既有代码的设计》《effective java》第三年：《深入理解java虚拟机》《java并发编程实战》java源码必须要以设计模式为基础java底层，java类库。另一种学习方式，造轮子。第四年：大数据，分布式缓存，分丰式消息服务，分布式计算，软负载均衡等等。建立差异性。java基础：《深入理解计
2016-11-28 11:01:07
1015
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人