- 博客(3)
- 收藏
- 关注
原创 scala Hbase scan起止范围补充
Hbase对rowKey进行scan时需要设置scan的范围,即startRowKey与endRowKey。例如scan:xxxaaa ~ xxxzzz 这段范围内的数据可以这样设置:val startRowKey: Array[Byte] = Bytes.add(Bytes.toBytes("xxx"), Bytes.toBytes("aaa"))val stopRowKey: Ar...
2018-08-22 15:18:30 2491
原创 HDP2.5.0 + Spark1.6.2 通过IDEA(Win64)远程提交spark jobs On YARN
更新日:2018-08-17本文利用Apache Ambari搭建了一个HDP2.5.0的集群,安装了HDP下最新的Spark1.6.2,通过spark-submit提交任务模式local、standalone、yarn-client均可。但编程环境往往在Win下,standalone模式需要独立启动Spark集群(占用资源是不可避免的),yarn-client模式提交问题繁多,且修改代码...
2016-12-12 11:39:24 1873 4
原创 CentOS7.0离线安装RHadoop
近期,由于工作需要,在原有的Hadoop2.6.0环境上安装了RHadoop,主要借鉴了——RHadoop实践系列文章和RHadoop安装,区别之处在于离线安装较新版本的R-3.2.3、rhdfs_1.0.8和rmr2_3.3.1,并解决参考链接安装过程中的一些疑问。
2016-06-06 15:43:05 1046 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人