- 博客(9)
- 收藏
- 关注
RSS订阅原创 hive中针对大数据量排序问题
hive中针对大数据量排序问题问题：在hive表中对十亿级数据进行全局row number（）over排序求行号的时候发现搞不定解决思路：将表映射到hbase中，然后用hbase org.apache.hadoop.mapreduce.RowCounter’表名’就可以解决了...
2019-12-10 01:23:13
1585
原创 JVM判断对象存活
JVM判断对象存活引用计数法所谓引用计数法就是给每一个对象设置一个引用计数器，每当有一个地方引用这个对象时，就将计数器加一，引用失效时，计数器就减一。当一个对象的引用计数器为零时，说明此对象没有被引用，也就是“死 对象”,将会被垃圾回收.。引用计数法有一个缺陷就是无法解决循环引用问题，也就是说当对象A引用对象B，对象B又引用者对象A，那么此时A,B对象的引用计数器都不为零，也就造成无法完成垃...
2019-08-09 14:48:05
107
原创 JVM思维导图
JVM思维导图jvm需要了解的知识点，其中详细地知识点等有时间了会具体的写一下，如果大佬对其中的知识点有比较深刻的见解，请评论区附上博客链接，...
2019-08-09 10:32:07
130
原创 Hadoop框架详解
文章目录Hadoop框架详解Apachehadoophadoop主要模块HDFSClientNamenodeDatanodesecondary namenodeMapReduce计算框架MapReduce 作业的生命周期YARNResourceManagerNodeManagerApplicationMasterYARN 运行流程Hadoop框架详解Apachehadoop大家想了解更多关于...
2019-08-09 10:02:12
488
翻译 MR的shuffer过程
1.概述 v mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle；通俗的讲， Shuffle描述着数据从map task输出到reduce task输入的这段过程 v shuffle: 洗牌、发牌——（核心机制：数据分区，排序，缓存）； v 具体来说：就是将maptask输出的处理结果数据，分发给re...
2019-05-27 10:14:49
207
原创 job的提交流程
hadoop jar jar包 类名 参数1、客户端向rm提交任务2、rm生成jobId和path，并返回客户端3、客户端上传资源，并返回上传成功的结果给rm4、rm将job任务放入调度队列5、rm分配一个资源，用来启动appMaster6、nodemanager从hdfs上拉取资源到本地7、nodemanager拉取完资源后，向客户端发送申请执行语句的命令8、客户端将启动命令返回...
2019-05-27 10:03:22
450
原创 java快速排序，插入排序
快速排序package test2;import java.util.Arrays;public class Server1 { public static void quickSort(int arr[],int low,int hight) { if(low<hight) { int mid=partition(arr,low,hight); quickSort(...
2019-04-17 21:56:35
260
原创 java实现的简单图书管理系统
设计一个图书管理系统，要求如下：1、添加一本图书（书名、作者、售价）2、删除所有指定作者的书3、查询所有指定作者的书，按照售价升序排序。4、将图书馆中存储的所有的图书缓存到磁盘上，路径不限。5、读取本地缓存的所有的图书信息class Book implements Serializable {public String bookName;public String bookAuth...
2019-04-17 21:41:17
2608
1
原创 mybatis 一级缓存和二级缓存区别 与理解
一级缓存基于sqlSession默认开启,在操作数据库时需要构造SqlSession对象，在对象中有一个HashMap用于存储缓存数据。不同的SqlSession之间的缓存数据区域是互相不影响的。一级缓存的作用域是SqlSession范围的，当在同一个sqlSession中执行两次相同的sql语句时，第一次执行完毕会将数据库中查询的数据写到缓存（内存），第二次查询时会从缓存中获取数据，不再去底...
2019-04-15 09:25:37
6927
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人