holo_hai-CSDN博客

原创 tomcat 启动报错org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Catalin

版本：tomcat 7报错信息如下：org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Catalina].StandardHost[localhost].StandardContext[/pp-loan-manager]]at org.apache.catalina.uti

2016-01-21 15:30:50 71396 8

原创 ZeroMQ之模式二发布者订阅者（publish-subscribe)

一、前言zeromq pub-sub模型，发布者将一系列数据发送到订阅者。例如Rss 和微博关注二、code #-------------# | Publisher | +-------------+ | PUB |

2015-11-22 21:30:35 5018

转载 JAVA字符串格式化-String.format()的使用

常规类型的格式化String类的format()方法用于创建格式化的字符串以及连接多个字符串对象。熟悉C语言的同学应该记得C语言的sprintf()方法，两者有类似之处。format()方法有两种重载形式。format(String format, Object... args) 新字符串使用本地语言环境，制定字符串格式和参数生成格式化的新字符串。format(Lo

2015-11-12 14:41:04 428

转载 Spring在非web应用中关闭IoC容器 (registerShutdownHook)

在基于web的ApplicationContext实现中，已有相应的实现来处理关闭web应用时恰当地关闭Spring IoC容器。但，如果你正在一个非web应用的环境下使用Spring的IoC容器，如dubbo服务，你想让容器优雅的关闭，并调用singleton的bean相应destory回调方法，你需要在JVM里注册一个“关闭钩子”（shutdown hook）。这一点非常容易做到，并且将会确保

2015-11-11 16:02:30 1970

转载深入理解Java：注解（Annotation）自定义注解入门

要深入学习注解，我们就必须能定义自己的注解，并使用注解，在定义自己的注解之前，我们就必须要了解Java为我们提供的元注解和相关定义注解的语法。元注解：　　元注解的作用就是负责注解其他注解。Java5.0定义了4个标准的meta-annotation类型，它们被用来提供对其它 annotation类型作说明。Java5.0定义的元注解：　　　　1.@Target,　　　　

2015-11-11 15:22:05 362

原创 ZeroMQ之模式请求回应模型（Request-Reply)

一、前言ZeroMQ将消息通信分成4种模型，分别是一对一结对模型（Exclusive-Pair）、请求回应模型（Request-Reply）、发布订阅模型（Publish-Subscribe）、推拉模型（Push-Pull）。这4种模型总结出了通用的网络通信模型，在实际中可以根据应用需要，组合其中的2种或多种模型来形成自己的解决方案。二、ZeroMQ之Hello World一个简单的请

2015-11-11 11:51:12 3301

转载 ZeroMQ之一ZeroMQ的简介研究与应用分析

一、什么是ZeroMQ1、ZMQ是一个简单好用的传输层，像框架一样的socket library.2、ZMQ是一个消息处理队列。3、与RabbitMQ相比，ZMQ并不像一个传统意义上的消息服务器，更像是一个底层的网络通讯库，在socket API之上做了一层封装，将网络通讯，进程通讯和线程通讯抽象成统一的API接口以下是ZMQ的官方简介ZeroMQ (also known

2015-11-09 22:32:32 1436

转载 JSR 303 - Bean Validation 介绍及最佳实践

关于 Bean Validation在任何时候，当你要处理一个应用程序的业务逻辑，数据校验是你必须要考虑和面对的事情。应用程序必须通过某种手段来确保输入进来的数据从语义上来讲是正确的。在通常的情况下，应用程序是分层的，不同的层由不同的开发人员来完成。很多时候同样的数据验证逻辑会出现在不同的层，这样就会导致代码冗余和一些管理的问题，比如说语义的一致性等。为了避免这样的情况发生，最好是将验证逻

2015-11-03 13:28:45 447

原创 Select

一、SQL语句执行顺序在一个SQL语句中，Where语句是最先执行的，然后执行group by,最后order by经典的Selectselect deptno,to_char(hiredate,'yyyy') hireyear, count(*) from emp group by deptno, to_char(hiredate',yyyy') order by deptno

2015-11-02 18:08:40 510

原创 spring 与设计模式（行为型）之Adapter模式

一、前言将两个不兼容的类整合在一起使用，属于结构模式，需要有Adaptee和Adapter两个身份。生活中我有许多场景是使用到Adapter模式，例如：苹果充电器，android充电器，现在需要一个可以万能充，下面以这个需求有例子。

2015-11-02 00:04:16 2820

原创 spring 与设计模式（创建型）之Builder模式

一、前言将一个复杂的对象构建与它的表示分离，使得同样的构建过程可以创建不同的表示，实现构建对象的过程与部件解耦。生活中许多这样的例子，例如大学4年的学习，每一年的学习成绩会最终影响4后的绩点。电脑汽车的装配等二、UML对象的构建：package com.bitch.design.create.builder;/** * 下面说明如何创建一个集成usb

2015-11-01 16:01:35 2562

原创 spring 与设计模式（创建型）之工厂模式Factory

1、为了提高内聚和松耦合，我们经常会抽象出一些类的公共接口以形成抽象基类或者接口。这样我们就可以通过基类的子类的实现来达到多态的目的。这里容易出现一个问题n个子类继承自抽象基类，我们不得不在每次用到子类的地方编写new xxx;代码2、程序的扩展性和维护性变得越来越困难3、有时候父类并不知道具体要实例化哪一个具体子类。假设我们在类A中要使用类B,类B 是一个抽象父类或者接口，在A中并不知道要实例化那一个B的子类，但是在类A的子类D是知道的。在A中我们没有办法直接使用类似new xxx的语句。sprin

2015-10-30 22:48:29 449

原创 spring 与设计模式（创建型）之单例Singleton

一、前言Singleton 模式主要作用是保证Java程序中，一个类Class只有一个实例存在，例如在数据中连接，全局计数器。另外Singleton也有能够无状态化，提供工具的性质功能。二、两种形式1、 public class Singleton {　　private Singleton(){}　　//在自己内部定义自己一个实例，是不是很奇怪？　　//注意这是private

2015-10-29 01:14:33 452

原创 hadoop 自学指南十二之mahout

一、前言mahout 是基于一个Hadoop的机器学习和数据挖掘的分布式计算框架。目前Apache Mahout项目主要包括下面5个部分频繁模式挖掘：挖掘数据中频繁出现的项集聚类：将诸如文本、文档之类的数据分局相关的组分类：利用已经存在的分类训练器，对未分类的文档进行分类推荐引擎（协同过滤）：获得用户的行为并从中发现用户可能喜欢的事物频繁子项挖掘：利用一个项集（查询记录

2015-10-18 17:13:24 574

原创 hadoop 自学指南十一之Zookeeper

一、前言Zookeeper是一个为分布式应用所设计的开源协议服务。它可以为用户提供同步、配置、管理、分组和命名等服务。用户可以使用Zookeeper提供的实现一致性、组管理、Leader选举及某些协议。二、zooKeeper特点简单的、丰富的组件（分布式队列、分布式锁和同级选举）、高可用、松耦合、资源库Zookeeper可以看成一个具有高可用的文件系统，但这个文件系统没有文

2015-10-08 11:45:44 357

原创 hadoop 自学指南十之Pig

一、前言Pig 提供一个支持大规模数据分析的平台。Pig的基础结构包括一个产生一个MapReduce的程序的编辑器，语言层包括一个Pig Latin的文本语言Pig可以看做hadoop 的客户端软件，可以连接到hadoop集群进行数据分析工作Pig方便不熟悉java的用户，使用一种较为简便的类似SQL的面向数据流语言pig latin 进行数据处理Pig latin 可以进行排序、

2015-10-04 21:05:55 351

原创 hadoop 自学指南九之HBase

一、前言Hbase 是Apache hadoop 的数据库，能够提供随机、实时的读写访问，具有开源，分布式，可扩展性及面向列存储特点。特性如下：及模块的可扩展性，一致性读写，可配置的表自动分割策略，RegionServer 自动故障恢复，便利地备份MapReduce 作业的基类，便于客户端访问的javaAPI为实时查询提供块缓存和Bloom Filter，可通过服务器端进行查询下推预测

2015-09-28 23:50:39 360

原创 Hbase 问题汇总

1、ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet解决：将hadoop1.2.1下的hadoop-core-1.2.1.jar拷贝到hbase-0.98.7-hadoop1/lib下，两文件大小不一致，以hadoop1.2.1为准；2、启动hbase she

2015-09-26 23:38:53 481

原创 Hadoop 问题汇总

1、关于Hadoop数据块Miss在页面提示的问题这个文档转至台湾的已了论坛，地址是：http://hadoop.nchc.org.tw/phpbb/viewtopic.php?f=4&t=1938 請教一個hadoop運行維護中的問題：背景：調整hadoop配置：1. hadoop的dfs.replication之前設置為1，現在改為3；2

2015-09-26 23:11:28 286

原创 hadoop 自学指南八之Hive(2)

一、前言hive UDF二、Hive 常用的函数2.1、关系操作符Operator Operand types Description A = B All primitive types TRUE if expression A is equal to expression B otherwis

2015-09-23 23:58:21 606

原创 hadoop 自学指南八之Hive(1)

一、前言什么是hive？Hive 数据仓库工具，可以把hadoop下原始结构化数据变成hive中表看成sql->Map-Reduce的映射器，提供shell，jdbc/odbc接口他为数据仓库的管理提供了多功能：数据ETL工具，数据存储管理和大型数据集查询和分析能力二、Hive 数据存储hive 的数据存储建立在hadoop 的hdfs 基础上,hive 的每个对应的分区对应

2015-09-22 17:25:53 668

原创 hadoop 自学指南七之hadoop2.x 特性

一、hadoop 2.x 产生背景： --hadoop 1.x hdfs 和 MapReduce 在高可用，扩展性 --hdfs 存在问题 nameNode 单点故障 nameNode 压力过大 --MapReduce JobTracker 访问过大，影响系统扩展性难以支持MapReduce之外的计算框架，s

2015-09-20 23:58:24 601

原创 hadoop 自学指南六之IO /HDFS 操作API

FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class);一、前言I/O相关的包如下：.apache.hadoop.io.* ,以下介绍一些常用的hdfs的API操作二、HDFS APIpackage hadoop.utils;import java.io.IOException;import

2015-09-20 21:29:35 551

原创 hadoop 自学指南五之MapReduce工作机制

一、前言从源码的角度剖析MapReduce 作业的工作机制二、MapReduce 执行流程分析如下：整个过程包含4个独立的实体客户端: 提交MapReduce 作业JobTracker: 初始化作业、分配作业。与TaskTracker通信TaskTracker:保持与JobTracker的通信，在分配的数据片段上执行MapReduce任务HDFS:保存数据

2015-09-20 16:05:59 383

原创 NoSQL 自学指南一之not only sql

一、前言大数据的兴起造就了nosql运动，以下省略1w字。。。。。。。。二、分类2.1、面向列的有序存储google bigablehbasehypertable2.2、键值存储ehcachemembasecassandraredis2.3、文档数据库MongoDB2.4、图型数据库Neo4j三、特性Memcached ：

2015-09-18 10:24:10 664

原创 hadoop 自学指南四之常见MapReduce案例

一、前言介绍MapReduce 一些常见的经典案例二、去重思想：利用MapReduce 的shuffle过程，合并相同的key 特性，可实现。核心：Map ->context.write(new Text(line),new Text("")) ; Reduce->context.write(key,new Text(""))package hadoop.v5;

2015-09-14 17:20:55 577

原创 hadoop 自学指南三之WordCount解析(3)

一、前言在某是情况下，Map函数会产生许多中间数据，而且都是重复的，为了减少reducer的输入提交reducer性能，我们往往需要一个中间程序来合并Map的输入，这时候可以利用combinerclass来有效减少网络传输的数据量。二、WordCount 的CombinerClass原理很简单：例如有一个map中（”hello",1)有10000个，传输到reducer端的确没什么

2015-09-06 18:29:46 455

原创 hadoop 自学指南三之WordCount解析(2)

一、前言自从0.20.2版本开始，hadoop 提供了一个新的API，新的API在org.apache.hadoop.mapreduce中，旧的api在org.apache.hadoop.mapred中二、新版的wordCountpackage hadoop.v3;import java.io.IOException;import java.util.StringTokenize

2015-09-06 02:47:50 390

原创 hadoop 自学指南三之wordcount 解析(1)

一、前言针对前面的wordcout的程序作一些解读二、wordcount 运行过程package hadoop.v3;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.fs.Path;import or

2015-09-06 01:22:47 536

原创 hadoop 自学指南二之开发环境搭建

一、前言从一个简单的程序观察hadoop 的运行过程二、window 下hadoop 的开发环境搭建环境准备：hadoop 1.2.1eclipse Version: Mars Release (4.5.0)hadoop-eclipse-plugin-1.2.1(网上有许多，不再重复提供）hadoop-eclipse-plugin-1.2.1放到dropins 启动ec

2015-09-05 21:42:41 598

原创 hadoop 自学指南一之安装hadoop

一、前言a) 本人是菜鸟，不生产代码，大自然的搬运工。二、环境准备a) Linux版本：Ubuntu14.04b) Vmwarec) secureCRTd) 有志于大数据程序员（important)三、源码准备下载http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/Bin和源码包都下载下来

2015-09-05 20:11:35 480

原创 hive 安装报错“java.lang.NoClassDefFoundError: org/apache/thrift/TException”

在集群安装hadoop 的情况下，hive 安装在master节点上，安装hive 报错：如下：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/thrift/TException at java.lang.Class.forName0(Native Method)

2015-07-28 02:02:36 14657

转载这是我看过最好的对hibernate的二级缓存解析

很多人对二级缓存都不太了解，或者是有错误的认识，我一直想写一篇文章介绍一下hibernate的二级缓存的，今天终于忍不住了。我的经验主要来自hibernate2.1版本，基本原理和3.0、3.1是一样的，请原谅我的顽固不化。hibernate的session提供了一级缓存，每个session，对同一个id进行两次load，不会发送两条sql给数据库，但是session关闭的时候，一级

2015-07-14 12:35:07 1845

转载 JSP中的TAG

JSP标签有两种实现方法，一种是使用tag 文件，一种是使用tld文件。1、使用tag文件标签名和tag文件名一致， tag文件为JSP文件，可以有属性，把JSP页面当JavaBean文件一样使用。例子：1）WEB-INF/lib下放置TAG文件：MyTag.tag，那么就有了一个名为MyTag的标签：[html] view pl

2015-07-02 10:40:03 369

转载引用css和js链接地址中带的问号是什么意思?

这个问号后的东西代表什么意思??是查询字符串信息。对于服务器脚本来说就是get方式传送参数。css这样写，一是：标注版本号。好处：方便查看最近修改情况，可以是版本号，后者日期时间等信息。二是：用随机数防止缓存。好处：及时的显示最新资源，不需要浏览器的缓存文件，每次都从网站服务器上下载。三是：在服务器端会把CSS和JS文件名映射成对应的

2015-07-02 10:04:46 3037

转载条件注释判断浏览器<!--[if !IE]><!--[if IE]><!--[if lt IE 6]><!--[if gte IE 6]>

除IE外都可识别所有的IE可识别仅IE6可识别 IE6以及IE6以下版本可识别 IE6以及IE6以上版本可识别仅IE7可识别 IE7以及IE7以下版本可识别 IE7以及IE7以上版本可识别仅IE8可识别仅IE9可识别项目范例说明![if !IE]The NOT operator. This

2015-07-02 09:41:44 679

转载 Hibernate缓存何时使用和如何使用

1. 关于hibernate缓存的问题：1.1. 基本的缓存原理Hibernate缓存分为二级，第一级存放于session中称为一级缓存，默认带有且不能卸载。第二级是由sessionFactory控制的进程级缓存。是全局共享的缓存，凡是会调用二级缓存的查询方法都会从中受益。只有经正确的配置后二级缓存才会发挥作用。同时在进行条件查询时必须使用相应的方法才能从缓存中获

2015-06-08 11:51:22 350

转载缓存简介--Cache In Hibernate: @Cache(usage = CacheConcurrencyStrategy.NONSTRICT_READ_WRITE)

缓存可以简单的看成一个 Map ，通过 key 在缓存里面找 value 。一、缓存简介 Cache In HibernateHIBERNATE 中的 CACHE 有两级 .一级是在 Session 范围内的 CACHE . 即每个 Session 有自己的一个 CACHE, 当前操作的对象都会被保留在 CACHE 中 . 但是 Session 关闭后这个CACH

2015-06-08 10:38:13 7472

转载 Spring定时任务的几种实现

近日项目开发中需要执行一些定时任务，比如需要在每天凌晨时候，分析一次前一天的日志信息，借此机会整理了一下定时任务的几种实现方式，由于项目采用spring框架，所以我都将结合spring框架来介绍。一．分类从实现的技术上来分类，目前主要有三种技术（或者说有三种产品）：Java自带的java.util.Timer类，这个类允许你调度一个java.util.T

2015-06-05 16:07:37 338

转载在Spring3中使用注解(@Scheduled)创建计划任务

Spring3中加强了注解的使用，其中计划任务也得到了增强，现在创建一个计划任务只需要两步就完成了：创建一个Java类，添加一个无参无返回值的方法，在方法上用@Scheduled注解修饰一下；在Spring配置文件中添加三个节点；最后说明一下，第一步创建的Java类要成为Spring可管理的Bean，可以直接写在XML里，也可以@Component一下示例如下

2015-06-05 14:00:55 356