- 博客(40)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 MR作业提交全过程
client调用job.waitForCompletion方法，向整个集群提交MapReduce作业 (第1步) 。 新的作业ID(应用ID)由资源管理器分配(第2步). 作业的client核实作业的输出, 计算输入的split,将作业的资源(包括Jar包, 配置文件, split信息)拷贝给HDFS(第3步). 最后, 通过调用资源管理器的submitApplication()来提交作业(第4步). 当资源管理器收到submitApplication()的请求时, 就将该请求发给调度器(sch
2021-08-09 10:31:56
2089
原创 Hadoop端口详解
Hadoop 常用端口Hadoop默认访问端口号50070namenode节点active状态下的端口8020高可用的HDFS RPC端口8020SecondaryNameNode辅助名称节点端口号50090fileSystem默认的端口号9000yarn.resourcemanager.webapp.address(yarn的webui接口)8088历史服务器端口（historyserver）19888Zoo keeper 端口218
2021-08-09 09:58:35
2479
原创 Hdfs---Shuffle 执行过程
shuffle执行过程分为两个核心环节mapShufflereduceShufflejob提交数据任务，根据客户提交的切片决定maptask的次数，map读取job提交的数据,输出格式为key/value的形式，对键值对进行一个默认的分区，每一个map任务分配一个缓存，缓存默认大小是100m当缓存到达80%时会启动溢写操作，在写入我文件之前对键值对进行分区排序合并，，默认分区是hash函数对key进行哈希在对reduce的数量取模，也可以按照需求自定义分区，默认会对key的一个字典排序，排序结束
2021-08-09 09:49:26
1764
原创 网络编程
1InetAddress 类/**java封装了一个IP地址类。@author Administrator*/public class InetAddressDemo {public static void main(String[] args) throws Exception { InetAddress in = InetAddress.getLocalHost(); S...
2019-12-01 19:52:28
157
原创 Socket通讯模型
1.1. Socket通讯模型1.1.1. Server端多线程模型通过上一节我们已经知道了如何使用ServerSocket与Socket进行通讯了，但是这里存在着一个问题，就是只能“p2p”点对点。 一个服务端对一个客户端。若我们想让一个服务端可以同时支持多个客户端应该怎么做呢？这时我们需要分析之前的代码。我们可以看到，当服务端的 ServerSocket通过accept方法侦听到一个客户端...
2019-12-01 19:50:44
242
原创 线程同步TCP通信
1.1. 线程同步1.1.1. 线程安全API与非线程安全API之前学习的API中就有设计为线程安全与非线程安全的类:StringBuffer 是同步的 synchronized append();StringBuilder 不是同步的 append();相对而言StringBuffer在处理上稍逊于StringBuilder,但是其是线程安全的。当不存在并发时首选应当使用StringB...
2019-12-01 19:49:35
228
原创 方法所，对象锁，类锁 悲观&乐观锁&死锁
1方法锁，对象锁，类锁方法锁：每个类的对象对应一个锁，当对象中的某个方法被synchronized修饰后，调用该方法的时候必须获得该对象的“锁”。该方法一旦执行就会占有该锁，别的线程使用该对象调用这个方法的时候就会被阻塞直到这个方法执行完后释放锁，被阻塞的线程才能获得锁，从而进入执行状态。这种机制确保了在同一时刻，对于每一个对象的实例，其所有声明为synchronized方法中最多只有一个...
2019-12-01 19:48:32
215
原创 线程同步 synchronized 锁机制
1.4. 线程同步1.4.1. synchronized关键字多个线程并发读写同一个临界资源时候会发生"线程并发安全问题“常见的临界资源:多线程共享实例变量多线程共享静态公共变量若想解决线程安全问题，需要将异步的操作变为同步操作。 何为同步？那么我们来对比看一下什么是同步什么异步。所谓异步操作是指多线程并发的操作，相当于各干各的。所谓同步操作是指有先后顺序的操作，相当于你干完我...
2019-12-01 19:46:46
222
原创 多线程
进程和线程1.1.1. 什么是进程计算机中独立运行的应用程序。所谓进程（process）就是一块包含了某些资源的内存区域。操作系统利用进程把它的工作划分为一些功能单元。进程中所包含的一个或多个执 行单元称为线程（thread）。进程还拥有一个私有的虚拟地址空间，该空间仅能被它所包含的线程访问。线程只能归属于一个进程并且它只能访问该进程所拥 有的资源。当操作系统创建一个进程后，该进程会自动申请...
2019-11-25 19:52:59
140
原创 io流
字节输出流字节输入流 * FileInputStream *从文件系统中的某个文件中获得输入字节。public class FileInputStreamDemo { public static void main(String[] args) throws Exception { File file = new File("D://tt//a.java"); ...
2019-11-24 13:56:22
125
原创 快来学习io流之一 字节流
流 Stream网络中，不同计算机之间，软件之间，传输的字节码数据信息。方向来看：输入流：由文件源向本地系统传输数据信息，叫做输入流。输出流：由本地系统向目标系统传输数据信息，叫做输出流。读取数据： read写出数据：write数据方向看：字节流 FileinputStream FileoutputStream字符流 FileReader Fi...
2019-11-19 20:12:57
102
原创 冒泡排序
冒泡排序冒泡排序(Bubble Sort)，又被称为气泡排序或泡沫排序。它是一种较简单的排序算法。它会遍历若干次要排序的数列，每次遍历时，它都会从前往后依次的比较相邻两个数的大小；如果前者比后者大，则交换它们的位置。这样，一次遍历之后，最大的元素就在数列的末尾！采用相同的方法再次遍历时，第二大的元素就被排列在最大元素之前。重复此操作，直到整个数列都有序为止！public clas...
2019-11-18 14:52:32
291
原创 快速排序数组
快速排序/**快速排序(Quick Sort)使用分治法策略。它的基本思想是：选择一个基准数，通过一趟排序将要排序的数据分割成独立的两部分；其中一部分的所有数据都比另外一部分的所有数据都要小。然后，再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。快速排序流程：从数列中挑出一个基准值。将所有比基准值小的摆放在基准前面，所有比基准值...
2019-11-17 15:22:16
362
原创 File用法
Filepackage day26;import java.io.File;import java.io.FileFilter;import java.io.IOException;import java.text.SimpleDateFormat;import java.util.Date;/**@author AdministratorFile 演示*/publi...
2019-11-17 13:59:54
150
原创 泛型类型通配符
为什么需要类型通配符现在有个需求：方法接收一个集合参数，遍历集合并把集合元素打印出来，怎么办？按照我们没有学习泛型之前，我们可能会这样做：public void test(List list){for(int i=0;i<list.size();i++){ System.out.println(list.get(i));}}上面的代码是正确的，只不过在编...
2019-11-17 13:57:06
348
原创 泛型：
什么是泛型？Java泛型设计原则：只要在编译时期没有出现警告，那么运行时期就不会出现ClassCastException异常.泛型：把类型明确的工作推迟到创建对象或调用方法的时候才去明确的特殊的类型参数化类型:把类型当作是参数一样传递<数据类型> 只能是引用类型相关术语：ArrayList中的E称为类型参数变量ArrayList中的Integer称为实际类型参数...
2019-11-17 13:53:57
125
原创 HashMap 和 HashTable的区别：
HashMap和Hashtable的区别。1：hashMap 是非线程安全的。效率高。hashTable 是线程安全的。效率低。HashMap是Hashtable的轻量级实现（非线程安全的实现），:2：他们都完成了Map接口，主要区别在于HashMap允许空（null）键值（key）,由于非线程安全，效率上可能高于Hashtable。HashMap允许将null作为一个entry的key...
2019-11-17 13:50:14
537
原创 java23中设计模式之单例模式
单例模式java中的：设计模式 23种。 你要学会5中设计模式。懒汉模式懒汉模式线程不安全，延迟初始化，严格意义上不是不是单例模式public class Singleton { private static Singleton instance; private Singleton (){} public static Singleton g...
2019-11-12 20:45:04
150
原创 面向对象名词解释
面向对象：将现实生活中的事物封装成对象，通过对象的实例化和调用，完成需求。关注点是对象的属性和方法，忽略事物执行的顺序或过程。面向对象的特点有：抽象、封装、继承、多态。抽象：抽象就是将现实生活中的事物，忽略与当前目标无关的方面，抽取出当前有用的属性和方法，使用类来表示。封装：①封装就是使用private隐藏类的内部属性，使用set方法（设置赋值条件）赋值，使用get方法在外部访问。②将需要多次...
2019-11-10 19:57:17
3670
原创 List集合
List集合 存储的元素 有序的，可重复的Arraylist 的存储原理是数组。 默认构建的容量是10；ArrayList内部使用数组的形式实现了存储，在内存中，数组是一块连续的区域，在频繁读取集合中的元素时使用ArrayList效率较高，遍历速度快 ，允许直接按序号索引元素，但是插入元素要设计数组元素移动等内存操作，所以插入速度慢public class ArrayListDemo...
2019-11-10 19:52:53
132
原创 TreeSet集合
TreeSet/**Tree 树Tree 树形结构 有序的TreeSet 是可排序的集合。 默认安装字典或数字顺序排列 public static void main(String[] args) { Set<String> set = new TreeSet<>(); set.add("Jsdhf"); set.add("我是"); ...
2019-11-10 19:48:21
108
原创 try catch finally 用法 解释
处理异常try 用来定义可能出现异常的代码块。catch 用来捕捉异常，处理异常finally 无论是否出现异常，都必须执行的代码块，一般用来关闭链接，释放流。public class Test3 { public static void main(String[] args) { System.out.println("hello1"); System.out.println...
2019-11-10 19:43:38
1804
1
原创 Throwable异常
Throwable所有异常和错误的父类有两个子类Error 错误 Error表示系统级的错误和程序无法通过修改程序处理的异常，内存泄露。Exception 异常 Exception表示需要捕捉或者需要程序进行处理的异常，如果程序正常执行，将不会出现异常。Exception: 运行时异常，非运行时异常（检查异常）运行时异常： 程序运行时出现的异常，由虚拟机捕捉，并抛出到控制台...
2019-11-10 19:37:42
254
原创 Set集合的特征
Set集合的特征：存储的元素（引用数据类型）无序的，不可重复的HashSet 内部存储是一个散列表。 HashSet 内部实现是一个HashMap集合存在的意义就是存储对象Hashset 集合存储对象的原理Hsshset 存储对象，先判断对象的hashcode值是否存在与散列表中。如果没有，就存入Set集合。如果有 再判定，两个对象的equals是否相同。 如果equals相同 ...
2019-10-30 22:13:20
610
原创 自由伸缩速度长度，到达某一指定值扩容或者缩小数组
扩容，伸缩数组class Foo{ int [] arrs =new int[10]; int[] arrs1; public void foo(int num){ //方法内部使用数组存储数字。实现重复存储 for(int i=0;i<arrs.length;i++){ if(arrs[i]==0){ arrs[i] = ...
2019-10-29 20:09:01
143
原创 StringBuffer& StringBuilder
/***String 对象，以及方法。StringBuffer StringBuilderStringBuffer： 字符串缓冲类：程安全的可变字符序列。一个类似于 String 的字符串缓冲区StringBuilder: 一个可变的字符序列。此类提供一个与 StringBuffer 兼容的 API，但不保证同步.线程不安全。String 和 StringBuffer Str...
2019-10-28 22:18:38
79
原创 System.arraycopy的解释，以及用法
System.arraycopy()System.arraycopy(objiec src,int srcPos,Object dest,int destPos,int length);从指定源数组中复制一个数组，复制从指定的位置开始，到目标数组的指定位置结束。从 src 引用的源数组到 dest 引用的目标数组，数组组件的一个子序列被复制下来。被复制的组件的编号等于 length 参数。源...
2019-10-27 20:13:39
1341
原创 输入一段字符串如有指定敏感词则输出**
输出一段字符串出现指定敏感词则**1：String[] strs={"枪","毒品","情色","赌博","海洛因"};指定敏感词不能输出！！！2：发表你的评论System.out.println("请发表你的评论"); String pingLun=input.next();3:判断并替换// for(String i:strs){//得到敏感词// if(pingLun....
2019-10-25 16:14:35
1967
原创 将字符串中大写转换成小写，小写转换成大写。基础题目
大小写转换String url=“asdfaDFSFDSoiuonmlWERVuojln”将以上字符串大写转换成小写，小写转换成大写。首先转换成char 数组char[] sb=url.toCharArray();遍历数组for(int i=0;i<url.length();i++){ if(url.charAt(i)>='a'&&url.charAt...
2019-10-25 15:35:51
2186
原创 输入邮箱判断邮箱是否合法
传入邮箱判断是否合法1：首先邮箱要有@符号2： 里面只能又一个@符号3： 邮箱里面有’ .’4: @字符必须在’.‘之前5： @字符则必须在输入字符串的第一位；6：’.'不能出现在最后一位7：@**.**不能在一起连着`1public static boolean youxainghefa(String youxiang){ if(youxiang.indexOf("@")...
2019-10-25 15:21:24
8113
原创 java接口
接口中，可以有常量。使用static final 修饰的。默认被修饰。接口中，可以有方法。使用abstract 修饰的。默认被修饰。接口中，没有构造方法。接口，不能被实例化。一个类，如果实现两个接口，接口使用逗号分离，必须实现两个接口中所有的方法。问题？需要你用代码去论证一下。问：抽象类能实现接口吗？ 能问：接口能继承抽象类吗？ 不能问：抽象类能继承抽象类吗？能问：接口能继承接口...
2019-10-22 20:12:43
120
原创 小白学java笔记多态
多态一种类型，多种形态，对象在创建时时父类形态，在使用时是子类形态多态形成的必要因素：1：必须有继承关系2：子中须有方法的重写关键词 instanceof：是否包含子类对象，创建个父类public class Pet { private String name; private int age; private int health; private int love; p...
2019-10-21 23:07:56
163
原创 小白学java 继承笔记
继承上篇笔记讲了继承的简单理解这篇主要讲一下继承里的this this（） super super()父类： 人：public class People { private int id; public int getId(){ return id; } public void setId(int id){ this.id=id; } public People(...
2019-10-19 22:07:22
165
原创 小白笔记：方法的重载和 继承
方法的重载在一个类中，方法名称相同，参数列表不同，与返回值无关的方法叫做方法的重载// 方法的重载：在一个类中，方法名称相同，参数列表不同，与返回值无关的方法，叫做方法的重载。 public void show(){ System.out.println("123"); } // 方法的重载 public void show(int a){ System.out.println...
2019-10-18 22:31:51
260
原创 小白学java之封装笔记
封装首先要了解什么是封装，简单的理解为：隐藏类的内部细节，提供外部访问的接口，叫做封装封装使用 get set方法。这里有一个关键字 private ： 私有的 只能咋子本类中访问，其他类不能访问，类中拥有构造方法。 构造方法是用来构造对象构造方法是: 方法名称与类名相同，无返回值的方法‘默认一个类中，有一个无参构造方法。挡手动提供了一个有参构造方法。系统将不再停工无参构造方...
2019-10-17 18:26:54
197
原创 小白第4篇对象作业笔记
需求员工表：id,姓名，入职如期，薪资，年龄，奖金。 {部门类}部门表：部门id,部门名称，部门地址。[员工数组]员工等级： 不出现具体的员工信息和部门信息。1500–2000 D级。2000-2500 C级。2500-3500 B级。3500-5000 A级。员工： 基本信息，部门，等级。部门：开发部，人事部，数据部。级别：C 。 根据级...
2019-10-16 10:55:22
195
原创 小白初学面向对象中对象的对象以及对象数组的最简单理解笔记
对象中的对象在对象中拥有属性，其属性类型是其他类。"创建一个员工类"public class Staff { public String name；//员工属性 public int age； public String bonus； public Deproat deprat;//引用部门类 public String toString(){ return "员...
2019-10-15 20:47:40
208
原创 小白今天听课的笔记之变量细节
全局变量，局部变量。局部变量：局部变量，作用域从定义位置开始，到代码块结束。全局变量：全局变量，定义在类中，方法外的变量叫做全局变量。全局变量所有方法均能够访问。public class Demo { // 全局变量 int b = 10; public void test() { //局部变量 int a = 10; if(a...
2019-10-14 19:29:45
163
原创 小白学java之车辆管理系统，超基础！
用java写一个车辆管理系统要求如有优化之处请指教，非常感谢根据要求要先初始化数组//初始化数组 static Scanner input =new Scanner(System.in);//键盘输入 static String[] carNames=new String[10];//命名两个数组存放车辆数据 static String[] carPrices=new String[...
2019-10-13 19:38:45
2709
原创 小白入门级第一篇笔记
java简介:java是什么：java是一种开发语言也是一种开发工具。java可以做什么：用于一些java应用，或着网站，应用的开发等等java的由来：我们所见到的Java标志，总是一杯热咖啡，这杯热咖啡你很难与计算机编程联想到一起。这杯热咖啡、Java这个名字的由来，是Java创始人员团队中其中一名成员由于灵感想到的；想起自己在Java岛（爪哇岛）上曾喝过一种美味的咖啡，于是这...
2019-10-11 15:11:39
409
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人