- 博客(20)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 mapreduce-shuffling
map->reducemap和reduce之间的过程,成为shuffling,官方图是这样介绍的.(这样描述不是很准确)MapTask 每个map任务都有一个环形内存缓冲区用于存储任务的输出.默认100MB(MRJobConfig.IO_SORT_MB修改) 一旦缓冲达到阈值(MRJobConfig.MAP_SORT_SPILL_PERCENT)0.8,后台
2015-10-09 15:42:39
960
原创 hive中注意事项
hive中不能直接访问非group by 的字段 注意： 如果出现 Expression not in GROUP BY key 可以使用 collect_set()返回array数组**。任何时候,考虑是不是要用distinct 注意 : 在检索数据时,尤其是在JOIN,count(*)时,要多考虑要不要去重,有时如果忽略掉distinct会造成引发大量MR。hive中NULL 和 “
2015-10-08 15:27:06
2134
原创 vim编辑器常用命令
插入命令 ： 命令 作用 a 在光标后附加文本 A 在本行行末附加文本 i 在光标前插入文本 I 在本行开始插入文本 o 在光标下插入新行 O 在光标上插入新行定位命令: 命令 作用 h、方向左键 左移动一个字符 j、方向下键 下移一行 k、方向
2015-08-12 18:57:46
745
原创 java在实际过程中遇到的一些小问题( 不断更新)
1. Arrays.asList()用在基本数据类型：int[] o1 = new int[2];int[][] o2 = new int[][]{{4,5},{3,6}}; List<int[]> xx = Arrays.asList(o1);List<int[]> xxx = Arrays.asList(o2); Arrays.asList(T… a),所以当asList方法
2015-08-06 01:16:30
391
原创 synchronized几种形式及其用途
java并发编程过程中，常用到同步关键字synchronized，现在分析下synchronized在编程过程中的几种用途。在方法体上public synchronized void method1() { } 一次同时只能有一个线程能调用方法，其他线程只能等待。在方法内部1Integer mutex = 10;public void method1() { synchron
2015-07-28 19:04:46
713
原创 hadoop-common源码分析之-WritableUtils
hadoop将java的基本类型进行封装，对整型进行编码时，分为固定长度格式、可变长度格式。可变长度格式使用一种比较灵活的编码方式，对与较小的数（尤其是负数）可以节省空间存储。我们看VIntWritablepublic class VIntWritable implements WritableComparableVIntWritable> { private int value;
2015-07-28 11:31:05
1077
原创 tcpdump抓包
tcpdump是一个抓包工具，学名 嗅探器（sniffer）通过网卡的混杂模式来实现获取网络中信息包。tcpdump可以直接在http://www.tcpdump.org/下载源码进行编译使用。解压源码后，./configure 然后make下就行了。本人不喜欢将软件装到系统下，so 直接在编译目录下 ./tcpdump就行了。tcpdump选项-i选项 指定监听网卡-nn选项 显示端
2015-05-31 19:41:39
563
原创 代理模式 & 动态代理
代理模式（proxy Pattern）有三个角色：抽象主题角色（Subject）：是真实主题和代理主题的公共接口，以便在任何可以使用真实主题的地方都可以使用代理主题。代理主题角色（proxy Subject）：负责控制对真实主题的引用，负责在需要的时候创建或删除真实主题对象，并且在真实主题角色处理完毕前后做预处理和善后处理工作。真实主题角色（Real Subject）：委托角色，是业务逻辑的具
2015-05-28 22:55:40
444
原创 ssh免密码登陆
要配置hadoop，需要ssh面密码登录，网上的方法何其多，看的自己乱七八糟，还是静下来耐心整理下，电脑是centos 7，开两台虚拟机。场景：A电脑需要面密码登录到B、C电脑（虚拟机）配置前保证A、B、C三台电脑互相ping通1 . 在A机下生成公钥/私钥。 [mx@bogon .ssh]$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa[mx@bogon
2015-05-13 22:36:11
1290
原创 redis 学习(常用命令及demo)
redisNOSQL 介绍： 是一项全新的数据库革命性运动，是一个非关系型数据库，在超大规模和高并发的SNS类型网站中应用广泛。 NoSql是以key-value形式存储，特点是：非关系型、分布式、开源的水平可扩展。 特点优势：处理超大量数据运行在便宜pc集群上击碎了性能瓶颈应用场景： 1. 对数据高并发读写 2. 对海量数据的高效率存储和访问 3.
2015-04-29 16:20:39
441
原创 java 垃圾回收机制
很多教科书中提到，判断一个对象是否应该存活，是使用程序计数器的，对象有一个引用计数器，每当一个地方引用，计数器就加1，引用失效，计数器减1，当计数为0，该对象可以被回收。引用计数器算法的实现简单，判定效率也很高，但是，java虚拟机里面没有选用计数器算法来管理内存，主要原因是它很难解决对象之间的循环引用问题。public class TestGC { public Object
2015-04-12 16:17:17
408
原创 java并发编程（六）取消与关闭
接《java并发编程（五）任务执行》前面几章我们一直是创建和开启线程，而有时候我们要结束任务或线程，这并不是很容易的，因为，java 并没有提供任何机制来安全终止线程（在未来的jdk版本中会不会加入呢？）它提供了中断。这是一种机制，能够在一个线程终止另一个线程的工作。任务取消一种协作方式是设置某个“已请求取消”标识，而任务将定时查看该标志。下面程序，将持续枚举素数，直到它将被取消。ca
2014-12-09 21:09:43
565
原创 java并发编程（五）任务执行
接《java并发编程（四）同步工具类》悲剧的一天，本来想好好整理下，准备开始干《HTTP权威指南》，结果宿舍太吵，现在开始整理关于并发的知识吧，还是要淡定。Executor框架Executor基于生产者－消费者模式，提交任务的操作相当于生产者，执行任务的线程相当于消费者。基于Executor的Web服务器public class TaskExecutorWebServe
2014-12-07 16:40:26
625
原创 java并发编程（四）同步工具类
接上一篇《java并发编程（三）客户端加锁与组合》最近事太多，耽误了两天时间没有写博客，感觉每天不记录下自己的学习东西就想没学一样，这两天的事实在太多，不管是学业上的 还是感情上的，闹心，程序员还是把踏入爱河的事放一放吧～对了 最近接了一本《HTTP权威指南》，想深入学习下，赶紧把Java 并发访问的相关知识 总结完成就开始，另外，在某米音乐的朋友 说 java web 已经很难找工作了，现在
2014-12-06 15:47:59
678
原创 java并发编程（三）客户端加锁与组合
客户端加锁：java为线程安全提供了一套安全的集合类操作 在java.util.Collections中，在多线程下能 安全的CRUD，但是应该注意，仅是对几何类进行同步，下面看一个实例。若没有则添加实例：public class ListHelper { public List list = Collections.synchronizedList(new ArrayLi
2014-12-02 12:53:59
2633
1
原创 java并发编程（二）对象的共享
接昨天 《java并发编程（一）线程安全性》 发布和逸出：“publish”，发布一个对象的意思是：使对象能够在当前作用域之外的代码中使用。（Publishingan object means making it available to code outside of its current scope ）。发布内部状态可能破坏封装性，并使得程序难以维系不变性条件。如果对象在构
2014-12-01 15:36:17
538
原创 java 内存模型
java模型规定：所有变量都要存储在主内存(Main Memory)中，每一个线程都有自己的工作内存（Working Memory），线程中的工作内存中保存了被该线程使用的变量的主内存副本拷贝，线程对变量的操作（读取，复制）都必须在工作内存进行，而不能直接读写内存中的变量。而不同线程之间也无法直接访问对方工作内存中的变量，线程间变量的传递均需要通过主内存完成。学过操作系统的都应该明白，高速
2014-11-30 14:07:48
509
原创 java并发编程（一）线程安全性
java 并发编程 不是什么高深技术，程序设计时，将并发问题考虑进去，可以增强程序的健壮性。If multiple threads access the same mutable state variable without appro-priate synchronization, your program is broken. There are three w
2014-11-30 10:29:38
716
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人