NIITYZU-CSDN博客

原创 Jersey Rest 异常统一处理机制

前言：异常分为运行时异常和非运行时异常，所谓的运行时异常是指那些不需要异常捕获的异常，总是交由虚拟机接管，如：ArrayIndexOutOfBoundsException，我们在写程序时，并没有使用try..catch来捕获它。以前，我们进行项目开发时，习惯性的喜欢使用大量的try...catch...finally方法来进行异常处理，并且，只是将异常信息保存到lo

2016-04-11 11:05:30 6060

原创 Spring+Jersey+JPA+Hibernate+MySQL实现CRUD操作案例

本文承接我的另一篇博文：Spring+Jersey+Hibernate+MySQL+HTML实现用户信息增删改查案例（附Jersey单元测试），主要更改内容如下：Spring配置文件applicationContext中原先使用的是Hibernate，现在改为Hibernate对JPA的支持；增加了C3P0连接池；修改了Dao操作实现，改为Spring接管的JPA实现。如果读者想详

2016-03-30 10:03:16 3242

JPA全称Java Persistence API，即Java持久化API，它为Java开发人员提供了一种对象/关系映射工具来管理Java应用中的关系数据，结合其他ORM的使用（如Hibernate），能达到简化开发流程的目的，使开发者能够专注于实现自己的业务逻辑上。目前比较成熟的 JPA 框架主要包括 Jboss 的 Hibernate EntityManager、Oracle 捐献给 Ecli

2016-03-30 09:29:11 4279

原创 Spring+Jersey+Hibernate+MySQL+HTML实现用户信息增删改查案例（附Jersey单元测试）

Spring与Jersey整合相对比较简单，但是如果与前端进行交互，实现前后端传值，那就会遇到各种问题。本文的目的，就是详细介绍Spring与Jersey整合如何与前端数据交互。一、Jersey简介Jersey是JAX-RS（JSR311）开源参考实现用于构建RESTful Web service，它包含三个部分：　　核心服务器（Core Server）通过提供JSR

2016-03-29 16:22:27 4109 2

原创 SpringMVC Resetful+Hibernate+MySQL实现增删改查操作

SpringMVC Resetful+Hibernate+MySQL实现增删改查操作

2016-03-29 10:39:24 4344 1

原创 Jersey与Spring整合异常：MIME media type, application/json, was not found

Jersey与Spring整合过程中，通过前端传值到后台，总是报以下异常：com.sun.jersey.api.client.ClientHandlerException: com.sun.jersey.api.client.ClientHandlerException: A message body writer for Java type, class com.spring.jersy

2016-03-29 10:08:21 5765

原创 MyEclipse中使用Maven构建Web开发项目

MyEclipse中使用Maven构建Web开发项目

2016-03-28 17:01:29 1987

原创 Maven安装过程及手动添加JAR包到本地仓库详解

Maven安装过程及手动添加JAR包到本地仓库详解

2016-03-28 17:00:31 7863

原创 Hive 创建表报"Specified key was too long; max key length is 767 bytes" 错误

Hive元数据库使用MySQL数据库，在使用Hive创建表的时候，报了以下错误：hive> create table base ( id int, name string, address string) row format delimited fields terminated by ',';FAILED: Execution Error, return code 1 from

2015-06-23 15:43:28 4516

原创 Jquery EasyUI Dialog close和destroy方法

在使用JQuery EasyUI做项目的时候，经常需要使用Dialog实现弹出框效果，但是在“查看日常活动链接”的时候，有两个模块调用的是同一个Dialog页面，这个时候就出现页面混乱情况，要么就是Dialog内容无法打开，其实这是Dialog的close和destroy用法的问题。解决办法：使用close的方法来关闭dialog时，此dialog并不是完全消失

2015-05-04 11:28:23 9622 3

原创将Hive统计分析结果导入到MySQL数据库表中（三）——使用Hive UDF或GenericUDF

前面我分别介绍了两种Hive将分析结果导入到MySQL表的两种方式：Sqoop导入方式和使用Hive、MySQL JDBC驱动，现在我介绍第三种，也是使用比较多的方式——使用Hive 自定义函数（UDF或GenericUDF）将每条记录插入到数据库表中。一、使用UDF方式使用UDF方式实现比较简单，只要继承UDF类，并重写evaluate方法即可 1、编

2015-04-23 21:24:28 2499

原创将Hive统计分析结果导入到MySQL数据库表中（二）——使用Hive和MySQL JDBC驱动

上一篇文章中，我介绍了一种将Hive分析结果，通过存放到另外一个Hive表中，使用Sqoop将该表内容直接导入到MySQL中的方法。本人认为这种方式在数据量特别大的时候，可能很有效果，但是一般情况下，Hive的分析、查询、统计结果数据量不会太大，所以在这种情况下，我尝试使用Hive JDBC驱动连接Hive将查询结果集，通过MySQL JDBC驱动，直接导入到数据库中，并取得成功，速度也比Sqoo

2015-04-22 18:02:38 6192 1

原创将Hive统计分析结果导入到MySQL数据库表中（一）——Sqoop导入方式

最近在做一个交通流的数据分析，需求是对于海量的城市交通数据，需要使用MapReduce清洗后导入到HBase中存储，然后使用Hive外部表关联HBase，对HBase中数据进行查询、统计分析，将分析结果保存在一张Hive表中，最后使用Sqoop将该表中数据导入到MySQL中。整个流程大概如下：下面我主要介绍Hive关联HBase表——Sqoop导出Hive表到MySQL这

2015-04-22 09:49:37 13641

原创 JQuery EasyUI 学习——Struts2与EasyUI DataGrid数据表格结合使用显示数据库数据

因为EasyUI DataGrid只要取出后台传过来的一定格式的JSON数据，就可以在前台页面数据表格中，以一定形式显示数据库中的数据。此处，我们使用Struts2框架整合DataGrid，实现数据的显示。一、页面内容为了在页面中显示数据库中字段内容，需要定义一个table，通过EasyUI内部设计，自动显示数据，如下：<%String path = request

2015-04-20 20:26:10 2645

原创 JQuery EasyUI 学习——使用EasyUI 页面布局

最近做项目，使用到了JQuery EasyUI来页面布局以及一系列效果的实现，总体来说，慢慢使用起来越来越觉得得心应手，而且很好用。我使用的JQuery EasyUI版本是1.4.1，目前的最新版本是1.4.2，其实使用方法差不多。一、官网下载JQuery EasyUI 点击JQuery EasyUI 1.4.2，下载最新版EasyUI，此处我使用的是1.4.1二、导

2015-04-10 10:37:37 2195

原创 Sqoop1.4.4实现关系型数据库多表同时导入HDFS或Hive中

问题导读： 1、使用Sqoop哪个工具实现多表导入？ 2、满足多表导入的三个条件是？ 3、如何指定导入HDFS某个目录？如何指定导入Hive某个数据库？一、介绍有时候我们需要将关系型数据库中多个表一起导入到HDFS或者Hive中，这个时候可以使用Sqoop的另一个工具sqoop-import-all-tables。

2015-01-20 14:11:43 4522

原创 Sqoop1.4.4将MySQL数据库表中数据导入到HBase表中

一、简介及部分重要参数介绍 Sqoop除了能够将数据从关系型数据库导入到HDFS和Hive中，还能够导入到HBase表中。 --hbase-table：通过指定--hbase-table参数值，指明将数据导入到HBase表中，而不是HDFS上的一个目录。输入表中的每一行将会被转换成一个HBase Put操作的输出表的一行。 --hbase-row-

2015-01-20 10:17:26 2155

原创 Sqoop1.4.4将MySQL中数据导入到Hive表中

问题导读： 1、--hive-import、--hive-overwrite的作用？ 2、如何处理关系型数据库字段中字符串含有分隔符问题？ 3、使用--hive-import默认字段分隔符是？一行记录分隔符是？ 4、NULL值是怎么处理的？--null-string和--null-string的作用？

2015-01-19 10:58:49 8300

原创 Sqoop1.4.4将文件数据集从HDFS中导出到MySQL数据库表中

一、Sqoop export简介 Sqoop export工具被用来将文件集合从HDFS中导入到关系型数据库中。目标表必须事先已经在数据库中创建好。输入文件根据用户指定的分隔符被读取解析成记录集。Sqoop默认的是将这些操作转换成“INSERT模式”，向目标数据库中注入数据记录。在“更新模式”中，Sqoop将会产生更新语句替换数据库中已经存在的记录。在“调用模式”中Sqoop会

2015-01-19 09:27:28 4089

原创 Sqoop1.4.4使用增量导入模式将MySQL数据库中数据导入到HDFS中

问题导读： 1、什么是增量导入？ 2、--check-column、--incremental和--last-value三个参数的作用？ 3、使用增量导入，需要注意什么？一、增量导入模式简介 Sqoop提供将新数据导入，而已经导入的数据不再执行导入操作，即增量导入操作。使用以下参数：--check-column (col)

2015-01-18 15:26:54 2427

原创 Sqoop1.4.4使用SQL语句形式将MySQL数据库表中数据导入到HDFS中

问题导读：一、自由查询形式导入 Sqoop还支持将任意的查询结果集导入，不使用--table、--columns和--where，使用SQL语句--query参数执行自由查询导入，但是必须指定--target-dir目录。如果使用where子句，后面还必须加个$CONDITIONS，使Sqoop进程替代为一个唯一的条件表达式达到条件查询效果。如下：[hadoopUse

2015-01-18 14:02:42 9117

原创使用Sqoop1.4.4将MySQL数据库表中数据导入到HDFS中

一、部分关键参数介绍参数介绍--connect 指定关系型数据库JDBC连接字符串--connection-manager 指定数据库使用的管理类--driver 手动指定要使用JDBC驱动程序类--hadoop-mapred-home 重写覆盖$HADOOP_MAPRED_HOME--help

2015-01-18 13:19:12 2763

原创 Sqoop1.4.4在Hadoop2.2.0集群上的安装

问题导读： 1、Sqoop在Hadoop与关系型数据库之间传输数据，需要修改哪个配置文件？ 2、需要将对应的关系型数据库JDBC驱动包拷贝到哪个目录下？一、Sqoop1.4.4简介 Sqoop是一个在Hadoop与关系型数据库之间传输数据的工具。我们可以使用Sqoop将关系型数据库（如MySQL、Oracle等）中的数据导入到Hadoop的

2015-01-18 12:36:37 1912

原创 Sqoop2学习（二）—将MySQL数据库中数据导入到HDFS中

问题导读： 1、Sqoop客户端如何创建服务端连接？ Sqoop的安装此处不再介绍，此处接我上一篇博文：Sqoop2学习（一）—Sqoop1.99.3介绍与安装。一、配置服务端地址及端口要想和服务端连接，需要在客户端配置服务端的信息，如下：set server --host secondmgt --port 12000

2015-01-17 18:46:55 4612

原创 Sqoop2学习（一）—Sqoop1.99.3介绍与安装

问题导读： 1、Sqoop2 server安装需要依赖什么条件？ 2、common.loader值怎么配置？一、Sqoop2简介 Sqoop2是用来在Hadoop与结构化数据存储如关系型数据库之间进行批量数据传输的一个有效工具。它可以进将关系型数据库中的数据存储到Hadoop HDFS、HBase、Hive等中，

2015-01-16 11:02:31 3645 1

原创 Hive用户接口（二）—使用Hive JDBC驱动连接Hive操作实例

问题导读： 1、Hive提供了哪三种用户访问方式？ 2、使用HiveServer时候，需要首先启动哪个服务？ 3、HiveServer的启动命令是？ 4、HiveServer是通过哪个服务来提供远程JDBC访问的？ 5、如何修改HiveServer的默认启动端口？ 6、Hive JDBC驱动

2015-01-12 10:34:11 21958

原创 Hive 实战练习（一）—按照日期将每天的数据导入Hive表中

每天会产生很多的日志文件数据，有这么一种需求：需要将每天产生的日志数据在晚上12点钟过后定时执行操作，导入到Hive表中供第二天数据分析使用。要求创建分区表，并按照日期分区。

2015-01-10 20:35:38 6481 2

原创 Hive用户接口（一）—Hive Web接口HWI的操作及使用

Hive用户接口（一）—Hive Web接口HWI的操作及使用

2015-01-10 13:42:07 8898

原创 Linux 下文件Non-ISO extended-ASCII编码问题

Linux 下文件Non-ISO extended-ASCII编码问题

2015-01-07 16:01:25 24640 4

原创 HiveQL 数据定义语言使用（一）—Hive中数据库的创建、显示、删除和修改操作介绍

HiveQL 数据定义语言使用（一）—Hive中数据库的创建、显示、删除和修改操作介绍

2015-01-06 16:05:38 6529

原创 Hive表中四种不同数据导出方式以及如何自定义导出列分隔符

Hive四种数据导出方式介绍

2014-12-29 15:00:18 16060 2

原创 Hive 支持多表数据插入

Hive多表数据导入

2014-12-29 13:35:58 6558

原创 Hive 五种数据导入方式介绍

介绍五种Hive表数据导入方法

2014-12-29 09:56:15 7777 9

原创 Hive 处理CSV格式文件数据

Hive 处理CSV格式文件数据

2014-12-28 15:57:18 4909

原创 Hive 使用RegexSerDe来处理标准格式Apache Web日志

使用RegexSerDe来处理标准格式的Apache Web日志，并报Caused by: java.lang.ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe not found错误。

2014-12-23 15:25:47 3082

原创 Linux环境下使MYSQL数据库支持InnoDB引擎

在Linux服务器上创建数据库表的时候，明明

2014-08-19 13:23:36 1041

原创异常解决：Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureLast packet sent to the server was 0 ms ago.at sun.reflect.GeneratedConstructorAccessor36.newInstan

2014-08-06 14:52:00 30362 3