- 博客(6)
- 收藏
- 关注
RSS订阅原创 sqoop2 java 批量入库程序
1、需求，sqoop2写命令太麻烦，于是写了一个通用型的java 的sqoop2导入程序，很简单，有什么不足，望各位看官指出。import org.apache.sqoop.client.SqoopClient;import org.apache.sqoop.model.MConnector;import org.apache.sqoop.model.MDriverConfig;impo
2016-01-07 09:43:45
2310
1
原创 java程序优化总结
1、面向对象的编程给我们很方便的编程思维，以类为原点，让我们去写程序。由于自己要写通讯解析程序，并且数据量大而不得不考虑效率的问题。2、我们对类的定义有，javabean：数据转储到内存时使用的，每次使用每次建立，不可避免。逻辑执行的类，是不是需要每次执行每次建立呢？个人认为是不需要要的。可以节约建立的时间跟，回收的时间，在高并发的情况下是客观的。3、考虑一在执行过程中，什么是可变的，什么
2015-12-25 17:17:18
291
原创 kafka清空topics
1、缘由（需求）：因为测试时不小心，写了一大堆topics，看监测时一顿揪心。2、解决方案：kafka是被zookeeper监管的，topics是在zookeeper上的（描述可能不是很准确），我发现kakfa原生api好像没有批量删除topics的方式，我登陆到zookeeper后，在zookeeper的目录下发现了topics。于是写了个递归程序将其删除。以下是代码：public cl
2015-12-16 08:20:55
2015
原创 sqoop2 去除单引号与自定义分隔符
1、缘由（需求） 正在做oracle到hive的数据导入，遇到数据分隔问题，sqoop2 默认分隔式逗号，我使用hive 也是逗号分隔，发现数据中含有逗号的字段，hive把它分成了好几个。于是去网上找自定义分隔的解决方法，但是无奈这方面的资料很少。不解决此问题，工作无法进行。胜了最后一个法宝，编译源码。2、去下载跟你使用的一个版本的sqoop2 源码（最好），使用maven构建，
2015-12-13 10:01:43
5043
原创 编程粗论
对于自己刚刚做c语言做的时候来说，编程是什么?一道数学题。解决的方式，输入是什么？结果是什么？问题是什么？然后画了个流程图，写程序。最令人兴奋的是改bug。那段日子，是快乐的。 不知所谓的写博文是什么？不过在网上看很流行的样子。最初的源泉在于，我每次查一些东西的时候，发现有人去写了，我问自己，他们为什么去写呢？我当时在想，我可能不会去写吧！不过，都不写怎么办。于是乎，我也去试着去写
2015-09-09 14:41:59
239
原创 CDH安装
安装CM1.下载Cloudera Manager.bin2.建立本地源， a、去 http://archive.cloudera.com/cm5/repo-as-tarball/5.4.6/ 下载与本机相应源（centos6 ： cm5.4.6-centos6.tar.gz）， b、解压cm放到apache服务器上，保证本地资源跟cm5/redhat/6/x86_64/cm
2015-09-08 11:48:30
619
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人