Liu-Lv-CSDN博客

原创 Java程序使用Logback最新版本日志框架

版本信息框架版本号 logback 1.3.0-alpha4 slf4j 1.8.0-beta2 现在Logback框架最新版本为1.3.0-alpha4，而依赖的slf4j的版本也为最新的版本1.8.0-beta2. Maven依赖Java开发jar包依赖管理现在主流都是用Ma...

2018-11-26 05:11:02 3060 1

原创 Hive数据库连接-连接池实现

Hive数据库连接-连接池实现通过HiveJDBC获取Hive的连接Connection，下面我们简单介绍HiveJDBC数据库连接实现HiveJDBC配置文件连接池配置文件hive-jdbc.properties# 初始化连接池数db.jdbcPoolInitSize=5# HIVE的Driver，不需要修改db.driver=org.apache.hive.jdbc....

2018-11-15 16:36:36 9063 1

原创 MapReduce的Driver工具类

通常开发MapReduce都要开发自定义的Driver类，那么下面提供了基础的Driver工具类import com.sinobest.yn.incrupdate.prop.PropertiesUtil;import com.sinobest.yn.incrupdate.security.SecurityUtil;import org.apache.directory.shared.ke...

2018-11-15 16:17:18 678

原创 MapReduce自定义输出目录和输出文件名

MapReduce自定义输出目录和输出文件名添加临时的输出目录（非Reduce或Mapper输出文件目录） String outputPath = "/tmp/test/output/"; hdfsApi.loadFileSystem(); if (hdfsApi.exist(outputPath)) { hd...

2018-11-15 16:09:07 4202

原创 Quartz 2.2.1版本单独使用实战

Quartz 2.2.1版本单独使用实战 Maven依赖包在Maven工程中添加Quartz2.2.1版本的依赖，如下 <properties> <quartz.version>2.2.1</quartz.version> </properties> <dependencies> ...

2018-11-15 15:38:04 756

原创 quartz 进行Oracle和Mysql建表语句2.x和1.x

1. quartz 2.x版本建表语句 1.1 Oracle建表语句（quartz 2.x版本） DROP TABLE QRTZ_FIRED_TRIGGERS;DROP TABLE QRTZ_PAUSED_TRIGGER_GRPS;DROP TABLE QRTZ_SCHEDULER_STATE;DROP TABLE QRTZ_LOCKS;DROP TABLE QRTZ_...

2018-11-12 11:24:05 1982

原创 MapReduce在Map和Reduce过程添加依赖包办法

MapReduce在map和reduce阶段添加依赖包办法通常在MapReduce编程过程，大部分都是使用Hadoop jar的方式运行MapReduce程序，但是在开发map或reduce阶段中会需要引入外部的包，Hadoop集群环境并没有这些依赖包。前言比如Reduce数据写入Oracle需要添加Oracle的Driver依赖，还有写入Orc文件等需要orc-mapreduce、o...

2018-11-10 19:22:51 2291

原创 Spark连接HBase进行读写相关操作【CDH5.7.X】

参考文档：http://blog.csdn.net/u013468917/article/details/52822074文章内容：1. 通过Spark读取HBase的表并通过转换RDD2.Spark连接HBase进行表写入操作版本：CDH集群版本：CDH5.7.1Spark版本：spark-1.6.0+cdh5.7.1+193HBase版本

2017-10-29 21:42:25 1804 1

原创 Spark Streaming自定义数据源-实现自定义输入DStream和接收器

Spark Streaming输入DStream也可以用自定义的方式创建。你需要做的只是实现一个自定义的接收器（receiver），以便从自定义的数据源接收数据，然后将数据推入Spark中

2017-10-25 13:34:53 2963

转载 Spark Streaming 编程指南-Spark2.0（官方文档）

SparkStreaming编程指南官方文档-Spark2.0

2017-10-25 13:20:05 317

CDH5.7.1离线安装文章来源：http://blog.csdn.net/a921122/article/details/51939692CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务

2017-10-25 13:07:50 1220

转载 CDH(CLoudera5.7.X)安装Kafka问题

CDH版本5.7.X 安装Kafka流程如果CDH集群直接添加的服务的话会出现异常，因为Kafka作为一个分布式的parcel，单独出来作为parcel分发安装包

2017-10-25 10:22:42 672

原创 Spark Streaming结合Spark SQL开发案例：电商中不同类别中最热门的商品排名

Spark Streaming+Spark SQL在线读取nc输入数据动态计算写入Oralce表

2017-10-24 12:51:23 488

原创 Spark的WordCount详解

WordCount代码详解1、创建SparkConf/**创建SparkConf设置设置本地执行，不需要安装spark集群比如setMaster 设置集群Master ULR,如果设置local是Spark在本地运行 **/val conf = new SparkConf()conf.setAppName("Wow, My first Spark APP in IDEA

2017-10-23 16:22:34 713

原创 Spark连接HBase操作异常处理ERROR spark.SparkContext: Error initializing SparkContext. java.lang.SecurityExcep

异常报错信息： ERROR spark.SparkContext: Error initializing SparkContext.java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of ot

2017-10-23 09:54:37 1140