家蹲-CSDN博客

原创 hadoop的mapreduce运行在yarn上的原理

mapreduce运行在yarn上步骤1,client查看job输入输出参数，向resourcemanager发送ResourceRequest列表，每个ResourceRequest描述了一个资源单元的详细需求，请求一个Container 2，resourcemanager检查需求，通过的话返回一个jobid和一个用于提交资源的路径 3， a、 client收到响应后，扫描输入目录，根据bl

2017-10-20 22:39:50 920

原创 hdfs工作原理图解

hdfs文件系统分namenode和datanode两部分这里分析下客户端在上传和下载时它们的工作机制namenode和secondarynamenode的工作原理namenode的职责： 1、记录元数据元数据就是datanode上每个文件的块信息块信息包括文件的路径文件的副本数量文件的切块大小文件的块信息

2017-10-18 17:50:59 1879

原创 hdfs客户端的理解，多种方式操作hdfs

hdfs的客户端有多种形式： 1、网页形式 2、命令行形式 3、客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群通信即可文件的切块大小和存储的副本数量，都是由客户端决定！所谓的由客户端决定，是通过配置参数来定的 hdfs的客户端会读以下两个参数，来决定切块大小、副本数量：切块大小的参数： dfs.blocksize 副本数量的参数： dfs.replicati

2017-10-17 19:56:39 3880

原创自己总结的Hadoop集群配置相关，hdfs篇（持续总结最新最全hadoop资料）

所用hadoop版本，2.8.0什么是hadoop？（1）hadoop是用于处理（运算分析）海量数据的，且是采用分布式集群的方式；（2）通俗来说，可以把hadoop理解为一个编程框架（比如springmvc、spring、hibernate/mybatis），有着自己特定的API封装和用户编程规范，用户可借助这些API来实现数据处理逻辑；（3）从另一个角度，hadoop又可以理

2017-10-16 20:36:10 364

原创 java知识总结，不定时更新

1，类基本加载流程（ClassLoader）a,当一个程序启动时，jvm启动，运行 bootstrap classloader,加载java核心API（ExtClassLoader 和 AppClassLoader也在此时被加载）b,调用ExtClassLoader加载扩展APIc,最后AppClassLoader 加载CLASSPATH目录下定义i的Class分为三步装载，找

2017-10-11 19:37:34 218

原创简单模拟下ssm，复习动态代理

最近在学ssm，好奇底层是怎么实现的，就根据现在所学的模拟了个，顺便复习下动态代理，时间紧，写的略渣用来模拟ioc根据配置文件创建对象people.javapublic interface People { public void eat(User u); public void sleep(User u); }用来模拟动态代理根据配置文件实现mapper接

2017-09-12 21:38:02 397

原创复习数据结构，用java栈写了个计算器

为了提高运算效率，计算机采用更易识别的后缀表达式，基于栈进行运算代码前半部分计算后缀表达式，后半部分对后缀表达式进行运算，原理太多了，不解释import java.util.ArrayList;import java.util.List;import java.util.Scanner;import java.util.Stack;public class test { public

2017-09-07 12:41:03 1749

原创递归算法及应用

递归是方法体内部调用方法自身的一种现象1，递归的次数不能太多，否则就会内存溢出2，构造方法不能递归3，递归需要在合适的时候结束，否则就是一个死递归如何定义一个递归？找到出口找到规律两个经典算法：1，有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问第十个月的兔子对数为多少

2017-07-05 18:22:01 309

原创 java 的单例设计模式

/*单列设计模式：就让一个类永远只产生一个对象恶汉式：没有线程安全问题，开发中直接使用 1.私有化构造函数 2.创建声明一个私有的静态的最终的本类对象 3.提供一个公共的返回值为本类对象的一个方法懒汉式： 1.私有化构造函数 2.声明一个私有的静态本类对象 3.提供一个公共的返回值为本类对象的一个方法在返回

2017-06-22 17:28:09 157

原创一个java购物车模型

老师出的测试题三个对象类商品类用户类订单类商品包含以下属性：商品id商品名称商品单价订单Order，订单包含以下属性：订单id订单所属的用户名username商品数组items（数组中存放的是多个商品对象）订单总金额amount（不能让调用者直接赋值，应该在内部自动计算!!!订单总金额=商品数组中各商品价格的总和）订单实际

2017-06-20 17:08:04 692

原创 mongodb入门

学了一学期的内容整理一下我们用的教材是人民邮电出版社出版的mongodb入门经典复习是按照书上内容来的mongodb真的是个很强大的数据储存和分析工具，它集储存管理分析于一身，用起来简单，都是对象.方法，而且效率还很高可是国内似乎并没多少公司在用它，暂时应该不会再学习它了2章关闭数据库引擎use admindb.shutdownServer()显示数

2017-06-11 16:17:37 356

原创 linux入门

linux入门，一些基本用法1. 绝对路径/home/shizhe/workspace/m1.c（/home，~，/root）相对路径shizhe/workspace/m1.c2. ls 控制台或终端在某个时刻总是对应着一个工作目录，执行ls命令会将工作目录下的文件和子目录名称显示出来3. cd 或 cd ~ 进入登录时的主目录 cd

2017-06-11 16:00:55 353

原创对adult数据集建立朴素贝叶斯模型评估并可视化（awk+hive+java+mysql+echarts）

总结下这段时间的收获分为三部分linuxecharts数据挖掘最近做了个课设，要给adult数据集建立合适的分类器，并对分类器评估分享一下成果，有好多问题完成后才知道，仅供和我一样的初学者参考adult数据集，从uci官网给的信息Data Set Characteristics: MultivariateNum

2017-06-11 15:10:54 28280

原创泛型

复习到反射，奇怪为什么有时候是ArrayList al=new ArrayList();List l=new ArrayList();于是试了下他们的区别，顺便总结了下java容器package fanxing;import java.util.ArrayList;import java.util.Collection;import java.util.Hash

2017-05-02 12:58:53 177

原创 java类对象创建过程，装载与实例化分析

之前在用forName()时有过疑问，只加载了类却为调用类的构造方法，看资料了解到加载类和实例化是初始化的一部分。今天又查找了相关资料，有了新的认识。首先要知道类的初始化过程:虚拟机如果是首次加载Java类，会对静态代码块进行一次初始化，且只在第一次进行加载。然后进行实例化，调用构造方法。还是先贴代码，分析过程写在注释，总结在下面，代码可以直接复制运行，看起来更方便clas

2017-04-25 16:23:18 303

原创 java反射的总结与疑问

直接贴代码吧，都写在注释里了，供以后参考import java.lang.reflect.Field;import java.lang.reflect.Modifier;class CountAdd { public final int q=1; public int add(int a,int b){ return a+b;}}

2017-04-23 14:54:47 265

原创 new与newInstance()的区别

String st = (String)Class.forName("java.lang.String").newInstance();String st1=new String();boolean bl=st.getClass()==st1.getClass();System.out.println(bl);返回为ture这两种方法得到的结果是一样的分析下原因，不难看出，

2017-04-22 16:38:55 14696

转载 java中throw和throws的区别

throw：（针对对象的做法）抛出一个异常，可以是系统定义的，也可以是自己定义的。下面举两个例子：抛出Java中的一个系统异常：public class One {public void yichang(){NumberFormatException e = new NumberFormatException();throw e;}public

2017-04-20 10:58:41 386

原创 java向下转型引用和直接实例化引用的区别

复习java遇到个问题，发现书上向下转型的例子得到的引用和直接实例化子对象得到的引用拥有同样的方法和变量于是猜测这两种引用得到的内容是相同的举个例子证明一下A a=new B();B b=(B) a;与B b1=new B()按照java的储存方式A a=new B();//a引用地址应该放到栈里，B对象放入堆B b=

2017-04-20 09:55:24 1412

呵少侠的博客