- 博客(4)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 编译spark源码使sparksql支持hive（cdh的）
一：首先设置maven的内存export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"二：在spark的目录下执行该命令（cd spark-1.3.0）mvn -Pyarn -Dhadoop.version=2.6.0-cdh5.4.1 -Phive -Phive-thriftserver
2016-08-31 14:37:22
1089
原创 Scala变量
Scala变量变量和常量的声明class ValTest {}object ValTest extends App{ val a = "Hello world" //常量的值一旦声明初始化，不能改变 a = "ldjalda" /** * scala可以进行类型的推断 * var 声明的变量可以改变值 * Scala声明的变量必须进行初始化这点和
2016-08-31 14:34:36
351
原创 phoenix hbase 安装 eclipse 测试
环境介绍： hadoop版本：hadoop-2.5.2-src.tar.gz hbase版本：hbase-0.98.8-hadoop2-bin.tar.gz phoenix版本：phoenix-4.3.1-bin.tar.gz**hadoop、hbase环境搭建（省略哦）** （在vm中装了三台centos,三个节点的hadoop集群，hbase也是三个节点，
2016-02-15 14:32:43
1271
原创 hive调用Linux的shell命令测试
今天在学hive的时候，发现hive在写查询的时候，可以调用Python，shell对结果进行进一步的处理，就写了几个测试的例子，对结果集用Linux命令进行处理，发现还不错建表：CREATE TABLE u_data_new (userid INT,movieid INT,rating INT,weekday INT)ROW FORMAT DELIMITEDF
2015-09-16 22:36:15
3403
统计思维：程序员数学之概率统计
2018-05-30
利用python进行数据分析中文带书签
2018-05-30
AES加密改造 c#return 改成java
2015-10-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人