xutao_2008_2000-CSDN博客

原创 hive统计网站指标总结

关于数据倾斜我们分组统计，结果分组字段分布很不均匀，大的key造成所在机器内存不足，长时间处理不完，导致任务不能结束 1.MAPJION会把小表全部读入内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配，效率也会高很多 mapjion虽然省去小表的磁盘读写开销，join操作的匹配命中率还是很低。我们有个类似的例子：有一个小表由，起始ip地址，结束ip地址，地域code组

2014-05-20 16:42:18 1310

原创 hadoop&hive常用的命令-备忘

http://10.200.200.156:50070/dfshealth.jsp --dfs容量状态 http://10.200.200.156:50030/jobtracker.jsp --hadoop任务状态 http://10.200.200.156:50060/logLevel ---hadoop 日志级别 bin/hadoop fs -cat / hadoop fs

2014-02-12 11:27:15 588

原创 handler实现线程间通信的原理-looper

涉及到的几个概念： Message：消息的一个封装类，它的对象由消息队列MessageQueue统一列队，终由Handler处理。 Handler：消息处理类，负责Message的发送及处理。使用Handler时，需要实现handleMessage(Message msg)方法来对特定的Message进行处理，例如更新UI等。 MessageQueue：消息队列，用来存放Handler发送过

2012-11-07 16:13:14 734

ThreadLocal是什么呢？其实ThreadLocal并非是一个线程的本地实现版本，它并不是一个Thread，而是thread local variable（线程局部变量）。也许把它命名为ThreadLocalVar更加合适。线程局部变量（ThreadLocal）其实的功用非常简单，就是为每一个使用该变量的线程都提供一个变量值的副本，是每一个线程都可以独立地改变自己的副本，而不会和其它线程的副

2012-11-07 16:12:40 296

原创 android BroadcastReceiver广播接受器的使用

BroadcastReceiver的注册有两种方式，广播的接受是实现onReceive（）方法 1.manifest文件注册这样的注册方式，是全局的，该广播在注册的应用关闭以后，广播仍然能拦截到别的应用发出的广播，并被调用，当然必须是action匹配的上。 2。在activity中通过registerReceiver（）方法注册，通过unregisterReceiver（）方法销毁

2012-04-25 16:49:11 280

原创 android sdk常用命令

第一步，DOS系统进入sdk下的tools目录要使用adb命令，手机需要打开 USB debug（USB 调试） adb install apk文件名称.apk 就可以安装软件了 adb install -r apk文件名称.apk 这句的意思就是重新安装该软件卸载apk软件 adb uninstall apk包名.apk adb logcat 查看手机

2012-03-22 15:51:04 486