天之渺-CSDN博客

原创 mapreduce完整流程的介绍

流程简略总述1：读取文件，解析成为key，value对2：自定义map逻辑接收key，value，转换成为新的key，value输出；写入环形缓冲区3：分区：写入环形缓冲区的过程，会给每个key，value加上分区Partition index。（同一分区的数据，将来会被发送到同一个reduce里面去）4：排序：当缓冲区使用80%，开始溢写文件先按partition进行排序，相同分区的数据汇聚到一起；然后，每个分区中的数据，再按key进行排序5：combiner调优过程，对数据进行ma

2020-08-16 15:47:44 208

原创 hadoop调优参数

压缩参数配置参数默认值阶段建议io.compression.codes(在core.site.xml中配置)无，这个需要在命令行输入hadoop checknative查看输入压缩Hadoop使用文件扩展名判断是否支持某种编解码器mapreduce.map.output.compress（在mapred-site.xml中配置）falsemapper输出这个参数设为true启用压缩mapreduce.map.output.compress.codec（在ma

2020-08-14 21:05:32 160

原创枚举、异常和String类的方法14

/** * 枚举 : 对象可数的类型, 不能再创建新对象. */enum Season { // public static final 修饰的量. 称为全局常量 // 给Week枚举加上属性, String feel. 添加构造器. 改造toString(). SPRING("绿色"), SUMMER("红色"), AUTUMN, WINTER; { color = "白色"; // 非静态语句块和显式赋值的顺序是按照写的顺序来执行的并且它们都是先于构

2020-07-14 17:58:52 231

原创抽象类、接口和内部类的运用13

知识点1：抽象类理解抽象的设计思想abstract关键字的使用/** * 举例1： * abstract class Account{ * double balance; * //存钱、取钱的方法 * } * * class SavingAccount extends Account{} * class CheckAccount extends Account{ } * * class Customer{ * Account acct; *

2020-07-10 17:56:26 157

原创 static和代码块、final的使用12

知识点1：static关键字static关键字的使用 * * 1. static：静态的 * 2. 可以用来修饰：属性、方法、内部类、代码块 * * 3. 使用static修饰属性： * * 3.1 回顾变量按照在类中声明的位置来分： * 成员变量（属性）： * 类变量（或静态变量） * 实例变量（或非静态变量） * 局部变量： * 方法内、构造器内、代码块内定义的 *

2020-07-08 18:14:43 325

原创多态理解、object类、包装类和单元测试的讲解11

知识点1：多态的理解开发中多态的常见场景public static void main(String[] args) { //开发中很少见的多态场景 Person p1 = new Man(); System.out.println(p1.id);//属性不存在多态性 p1.eat();// p1.earnMoney(); PersonTest test = new PersonTest();

2020-07-07 18:23:16 112

原创多态的含义与使用10

知识点1：子类对象实例化的过程* 1. 从结果上来说：体现为类的继承性* 子类继承父类以后，当创建子类对象时，堆空间中除了会加载子类自己特有的属性之外，还会加载其所有的父类* 中的属性。当权限允许的情况下，子类对象可以调用父类的属性。** 2. 从过程上来看：* 当我们子类构造器创建子类对象时，一定会直接或间接的调用其父类的构造器，乃至于父类的父类的构造器，。。。* 直到调用了java.lang.Object类的构造器。由于我们加载过子类的所有的父类的构造器，所有，我们在堆空间

2020-07-06 19:00:23 226

原创封装练习和继承知识初讲9

/** * 编写两个类，TriAngle和TriAngleTest，其中TriAngle类中声明私有的底边长base和高height， * 同时声明公共方法访问私有变量。此外，提供类必要的构造器。另一个类中使用这些公共方法， * 计算三角形的面积。 * * @author shkstart * @create 2020-07-04 9:03 */public class Exer1 { public static void main(String[] args) {

2020-07-04 23:19:16 376

原创递归、封装、构造器和this关键字8

知识点1：递归方法递归方法的使用** 1. 递归方法：一个方法体内调用它自身。* 2. 方法递归包含了一种隐式的循环，它会重复执行某段代码，但这种重复执行无须循环控制。* 3. 递归一定要向已知方向递归，否则这种递归就变成了无穷递归，类似于死循环。* 死循环是我们开发中要避免出现的。进而递归方法也必须满足执行的有限性。否则的话，会报StackOverflowError代码演示public class RecursionTest { public static void m

2020-07-03 18:21:28 153 1

原创方法的声明和重载问题7

知识点1：方法的声明* 类中方法的声明测试 * 1. 之前用过的一些方法： * Scanner类的nextInt() \ next() * Math类的random() \ sqrt(double d) * Arrays类的equals(int[] arr1,int[] arr2) \ toString(int[] arr) \ sort(int[] arr) * \ binarySearch(int[] arr,int value) * * 2. 类中方法声明的格

2020-07-01 17:47:37 555

原创数组的应用和面向对象的开始6

知识点1：数组中的常见算法1. 数组元素的赋值比如：杨辉三角、回形数、随机生成彩票2. 求数值型数组中元素的最大值、最小值、平均数、总和等package com.atguigu.homework;/** * 定义一个int型的一维数组，包含10个元素，分别赋一些随机整数，然后求出所有元素的最大值，最小值，和值， * 平均值，并输出出来。 * 要求：所有随机数都是两位数。 * <p> * 提示：如何获取指定范围的随机数[10,99] * (int)(Math.random(

2020-06-30 18:14:53 127

原创一维和二维数组5

知识点1：IDEA的使用请自行查找安装使用知识点2：数组的理解 * 1. 数组，可以看做是多个相同数据类型类型的变量按照一定顺序依次紧密排列起来的集合。 * * 2.数组的相关概念： * 数组名 * 数组元素 * 数组的长度 * 数组的角标、下标、下角标、索引、index * * 3. 回顾：变量按照数据类型来分：基本数据类型、引用数据类型（数组、类、接口） * * >数组，属于引用数据类型；数组的元素，既可以是基本数据类型，也可以是引用数据类型。 * >

2020-06-30 18:13:17 85

原创循环判断的使用和练习4

练习class Exer{ public static void main(String[] args){ int a = 10; int b = 35; int c = 45; int max; if(a >= b){ if(a >= c){ max = a; }else{ max = c; } }else{ if(b >= c){ max = b; }else{ max = c;

2020-06-30 18:08:47 130

原创运算符和if-else\switch-case 3

知识点1：运算符1. 逻辑运算符[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AzYAPscJ-1593511403451)(assets/1592970616871.png)]说明& && | || ! ^说明：1. 逻辑运算符操作的都是boolean类型的变量2. 逻辑运算符的运算结果也是boolean类型代码演示class LogicTest { public static void main(String[

2020-06-30 18:05:24 230

原创 Java数据类型与循环初识2

知识点1：变量说明1. java中的变量定义的规则：数据类型变量名 = 变量值2. 注意点：① 变量必须在初始化之后，才能使用② 每个变量都有其声明所在的作用域。在其作用域内都可以使用。出了作用域之后，就不能使用了。③ 在同一个作用域内不允许定义两个同名的变量代码演示class VariableTest { public static void main(String[] args) { //编译错误：变量必须在声明之后才可以使用 //System.out.p

2020-06-30 18:01:51 118

原创 Java基础认识1

Java初识知识点1：Java基础的目录结构说明：面向对象是重点！！[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ImLG7ukZ-1592826716433)(assets/1592811836607.png)]知识点2：Java语言介绍1. 人机交互方式[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6CoE1Col-1592826716437)(assets/1592811918936.png)]2. 常用的dos命令[外

2020-06-22 20:11:33 146

qq_45383734的博客