- 博客(8)
- 资源 (2)
- 收藏
- 关注
RSS订阅
1原创 spark sql基础学习（一）
1、简单使用（结构化的json文件）object test1 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("test1").setMaster("local") val sc = new SparkContext(conf) val s...
2018-08-05 11:09:31
185
原创 idea搭建 spark mavne scala开发环境 wordcount例子
一、下载JDK并安装安装1.首先安装Java，必须1.7版本以上才支持Scala，http://www.oracle.com/下载对应版本2. 设置系统环境变量：JAVA_HOME C:\Program Files\Java\jdk1.8.0_65 Path中添加 %JAVA_HOME%\bin; CLASSPATH添加 .;%JAVA_HOME%\lib\dt.jar...
2018-08-04 14:14:35
277
原创 Java多线程方式写入Hbase
Java多线程方式写入Hbase，速度比单线程快很多。代码：package com.test.transform;import java.io.IOException;import java.text.ParseException;import java.util.ArrayList;import java.util.List;import java.util.Random;...
2018-07-19 11:26:16
2752
原创 MR方式HDFS数据导入Hbase表数据
MR方式HDFS数据导入Hbase表数据，通过ImmutableBytesWritable方式原始数据是基站码，不方便贴出来，大家见谅。eg：代码:package com.test.transform;import java.io.IOException;import java.text.ParseException;import java.util.Random;imp...
2018-07-19 11:21:57
1135
原创 mr生成HFile,导入Hbase表中（适用于空表，数据较大,只有一个列族的表）
mr生成HFile,导入Hbase表中（适用于空表，数据较大,只有一个列族的表）代码：package com.test.bulkload;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfigurat...
2018-07-19 11:10:50
901
原创 Hbase数据导入Hdfs
hbase数据导入到hdfs，主要是通过TableMapper实现读取hbase表数据，写入hdfs目录，话不多说，直接上的代码（亲测可用）package com.test.transform;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.f...
2018-07-19 11:04:43
2289
window 运行spark所需文件
2018-08-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人