- 博客(19)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 android 环境配置 ubuntu 14.04 64位
1.下载adt-bundle-linux-x86_64-20131030.zip2.path环境变量设置3.创建项目r can't be resolved to a variable android 4.4下载32位相关包报错apt-get install ia32-libs阿里云源, 改更新源sudo gedit /etc/apt/sources.list,deb...
2015-08-14 08:26:00
92
原创 MapReduce类型与格式
MapReduce类型map:(k1,v1)->(k2,v2)reduce(k2,list(v2))->list(k3,v3)public interface Mapper extends JobConfigurable,Closeable{ void map(K1 key,V1 value,OutputCollector output,Reporter reporter)
2015-05-08 13:31:38
535
原创 MR小记
小文件问题CombineFileInputFormat子类CombineTextInputFormat，可以减少map数，但是不能本地化，因此内存资源充足的情况下，CombineFileInputFormat减少map数，不一定会增加MR性能。压缩问题采用压缩文件，需要考虑压缩后文件的大小与hdfs块大小的关系，因为有些压缩算法本身是不可分的，如果压缩后文件是多块的，会造成map不能本地化。 压缩
2015-05-08 12:28:09
336
原创 PIG 使用小记
pig手册三目运算符？ type1：type2 type1和2 类型一致，空用null，Unsupported input type for BinCond: left hand side: chararray; right hand side: long
2015-04-30 16:15:44
413
原创 sqoop 使用小计
HIVE导出空值\N ,sqoop 导入数据库中时，可能\N字符串无法转换对应类型–input-null-non-string \N –input-null-string \Nsqoop导入的时候会生成queryresult.jar–class-name jarName经常遇见的split数量不对问题，combineinputformat-D mapreduce.job.max.split.lo
2015-03-04 19:51:11
999
原创 eclipse 那些有用的快捷键
eclipse 那些有用的快捷键shift+alt+m 抽取方法，方便，参数自动生成 ctrl+k find的next 无须复制 ctrl+alt+向下方向 向下复制选中代码，不影响当前复制的内容 ctrl+e ctrl+o
2015-03-04 15:33:21
411
原创 java调试整理
常用参数显示查找java -?java -X 非标准参数java -XX:+PrintFlagsFinal 非稳定参数 jdk1.6 update 21之后jps -l主类全名 -v jvm参数jstat -class 类装载耗时 -gc java堆状况-gcutil 百分比显示-gccause 上次gc原因eg.:jstat -gcutil -h20
2013-09-08 18:42:55
490
原创 ubuntu10.10 eclipse编译hadoop1.0.X
参照http://wiki.apache.org/hadoop/EclipseEnvironmenteclipse、git、maven下载略$ mvn install -DskipTests$ mvn eclipse:eclipse -DdownloadSources=true -DdownloadJavadocs=true1、报错***********[INFO]
2012-07-01 10:55:25
1117
转载 jstack:JAVA堆栈跟踪工具
jstack命令格式jstack | option | vmid-F 当正常输出的请求不被响应时，强制输出线程堆栈-l 除堆栈外，显示关于锁的附加信息-m 如果调用到本地方法的话，可以显示c/c++的堆栈jps 显示java进程根据vmid jstack vmid显示堆栈
2012-06-20 22:18:27
825
原创 hadoop 问题 copyFromLocal: java.io.FileNotFoundException: Parent path is not a directory: /user/admini
----配置-----dfs.name.dir/home/administrator/hadoop/hdfs/name dfs.data.dir /home/administrator/hadoop/hdfs/data ---与这个配置估计有关系,貌似是目录问题--- -------------命令----------hadoop fs -co
2012-06-18 23:10:25
5344
原创 hadoop 问题
-----------配置-------------------hadoop -jar job.jar -conf hadoop-localhost.xml input/ tmpfs.default.namehdfs://localhost/ mapred.job.trackerlocalhost:8021-------------
2012-06-18 23:08:11
1000
原创 默默耕耘2 hadoop
namenode没有启动log报错Directory /tmp/hadoop-administrator/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible.ubuntu tmp目录问题在hdfs-site.xml中添加，新建hadoop目录dfs
2012-04-20 21:38:46
277
原创 默默耕耘1 hadoop
hadoop in action ubuntu 下ssh localhost connect to host localhost port 22:Connection refusedwhich sshd找不到 没有server安装sudo apt-get install openssh-serverssh localhost 成功
2012-04-19 21:43:24
252
参加IBM笔试了
今天到中科院参加了IBM实习生笔试，感触很多。 第一，与考试无关的。参加笔试的人每个人的心情不一样，面对笔试有些人只是想尝试一下，有些人则报以很高的期望。我吗，实事求是，差距太大，最重要的就是英语太差了，做题速度太慢，着急不能稳稳的答题。面对前面的能力测试准备不够充足导致刚刚开始就把题答错了，这两点都需要自省一下。实际上本科生本来是没有机会的，能过与汤等研究生一起参加已经是莫大的荣幸了，但...
2009-05-24 22:11:46
94
a different object with the same identifier value
两次遇到这个问题a different object with the same identifier value 第一次是要修改数据库里的记录，因为之前已经将该条记录取到了session缓存中，用update（游离态对象）方法时发生错误，一个游离态对象和一个持久态对象，具有相同OID，因此报错。解决办法用merge（游离态对象），该方法应该是根据游离态对象的OID，执行select语句...
2009-04-07 21:16:34
80
struts2.0首页路径问题
做开发没怎么做过页面，这几天试了试，出现了错误我将首页设置在一个文件夹下reader了，从该页提交登录action，返回的result结果地址中，包含该文件夹的地址，例如struts.xml中是result为success.jsp，实际是转到./reader/success.jsp。但是当在success.jsp中提交注销action时，虽然struts.xml中result为index.j...
2009-03-22 12:56:50
129
原创 刚刚开始学习struts
这两天在学习struts，发现这东西确实是很好，但是有点感觉越来越像。NET的自动化。可能是学的还不过深入。努力呀！！！！！！！嘎嘎
2008-09-30 10:26:00
334
w3school.CHM
2011-05-08
Ubuntu入门教程.chm
2010-01-22
lucene in action 2
2010-01-22
Linux命令全集 常用
2008-11-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人