- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅Hadoop Pig源码分析(一) Pig加载配置的四种方式
由于要在开发机器上源码调试Pig,同时也要在单机上通过PIG_HOME/bin/下的pig脚本去执行Pig,以及在内网集群,生产环境上运行Pig...所以不同的配置环境会导致一些问题,比如Lzo压缩.有时明显你机器上安装了lzo,你CLASS_PATH中也加载hadoop这些配置,但还是不行.所以花了点时间,看了下Pig这方面的源码,终于搞明白.这里分享下. pi...
2012-03-06 14:49:30
93
Nagios监控/报警Java程序(一) 通过Shell监控/报警
Nagios监控/预警Java程序网上资料貌似不多,只能自己一步步尝试.经过今天一天的尝试,终于搞定.这里贴出来跟大家分享,希望抛砖引玉! 这里需要两个步骤,一个是安装好Naigos,我之前博客有说明:http://guoyunsky.iteye.com/blog/1399330 ,以及生成Java程序并且Shell可执行:http://guoyunsky.ite...
2012-02-10 18:20:04
76
Shell执行/调用Java/Jar程序例子
本人新浪微博:http://weibo.com/guoyunsky 最近要写一个独立的Java程序去监控Hadoop和Oozie,通过Shell去调用.写代码到现在也4年多了,貌似就从来没在生产环境中写过一个独立的Java程序,不是部署到Tomcat就是直接丢给Hadoop.于是参考Hadoop等开源环境,自己写了一个demo,并且可以通过Ant打包生成可运行的程序.所...
2012-02-10 11:57:30
170
Hadoop MapReduce 学习笔记(九) MapReduce实现类似SQL的order by/排序 正确写法
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1235949 请先阅读: 1.Hadoop MapReduce 学习笔记(一) 序言和准备 2.Hadoop MapReduce 学习笔记(二) 序言和准备 2 ...
2011-11-04 18:31:31
103
Hadoop MapReduce 学习笔记(八) MapReduce实现类似SQL的order by/排序
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1235945 请先阅读: 1.Hadoop MapReduce 学习笔记(一) 序言和准备 2.Hadoop MapReduce 学习笔记(二) 序言和准备 2 ...
2011-11-04 18:27:01
86
Hadoop MapReduce 学习笔记(六) MapReduce实现类似SQL的max和min 正确写法
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1235936 请先阅读: 1.Hadoop MapReduce 学习笔记(一) 序言和准备 2.Hadoop MapReduce 学习笔记(二) 序言和准备 2 3.Hado...
2011-11-04 18:17:03
138
Hadoop MapReduce 学习笔记(五) MapReduce实现类似SQL的max和min
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1233726 请先阅读: 1.Hadoop MapReduce 学习笔记(一) 序言和准备 2.Hadoop MapReduce 学习笔记(二) 序言和准备 2 3.Hadoo...
2011-11-03 18:31:33
70
Hadoop MapReduce 学习笔记(四) MapReduce实现类似SQL的SELECT MAX(ID) 2 一些改进
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1233723 请先阅读: 1.Hadoop MapReduce 学习笔记(一) 序言和准备 2.Hadoop MapReduce 学习笔记(二) 序言和准备 2 ...
2011-11-03 18:27:56
77
Hadoop MapReduce 学习笔记(三) MapReduce实现类似SQL的SELECT MAX(ID)
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1233718 请先阅读: 1.Hadoop MapReduce 学习笔记(一) 序言和准备 2.Hadoop MapReduce 学习笔记(二) 序言和准备 2 下...
2011-11-03 18:21:56
74
Ubuntu11.04下Java开发环境搭建和配置
类似的搭建,网上一搜一大把,但每次去搜索比较麻烦.我这里就整理下,方便下次使用. 1.Ubuntu下更换JDK 由于Ubuntu11.04默认安装的是open-JDK,但有的东西只支持sun-jdk.所以这里需要更换.大概如下命令: // 更换数据源sudo add-apt-repository "deb http:...
2011-09-20 14:21:22
118
Java多线程环境下如何高效安全处理数据(输入输出流、文件、网络等)(二)
本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.iteye.com/blog/868043 由于不想让博客太难看,所以写到二.这里也会循序渐进,一步步走入所谓的高效和安全. 上一篇,介绍了思路、设计。博客地址:http://guoyunsky.iteye.com/blog/867469 同时写了个MyO...
2011-01-11 11:21:18
67
Java多线程环境下如何高效安全处理数据(输入输出流、文件、网络等)(一)
本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.iteye.com/blog/867469 这个标题可能有些歧义,我也不知道该取什么标题,知道的同学帮忙取下.同时这只是我平时的一个总结,问题估计会有很多,大家帮忙指正,谢谢！这里先说下应用场景,比如: 1)需要一直处理一个文件目录,处理里面的文件.文件过多,单线程恐怕速度跟不上,...
2011-01-10 17:31:02
125
Lucene2.0+Nutch0.8 API帮助文档(CHM格式)
2008-12-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人