kyrin_云中鹤-CSDN博客

原创 koala 多数据源动态切换

koala项目源码以及demo：https://github.com/zeq9069/koala最近，在开发项目的时候后，要用到多个数据源的动态切换，于是就开发了koala这个小小得框架，koala支持多数据源的切换，数据源的分组和负载均衡（轮询）！只需要将jar引入到你自己的项目中之后，然后进行简单配置就可以使用了！！使用起来非常方便，该项目提供了三个核心的注解@ChangeTo,@DataSo

2015-05-07 15:21:43 1689 1

原创 31天代码重构

最近，很长时间没有在csdn上发表blog了，不是没有写，而是以随笔的形式写到了有道云笔记上，还没来得及时间整理发布！这段时间还是学到了不少的东西，稍后一段时间我会陆续的整理出来，供大家学习~~~ 在这里今天看了一篇博文《31天代码重构》感觉收货很大，这也是我们在项目开发中所必须的规范！所以在这里给大家推荐一下！是一个外国朋友写的，叫 Sean Chambers是2009年写的，很

2015-03-27 13:17:46 884

原创 hadoop 2.5.2 安装时遇到的异常

在安装hadoop 2.5.2的时候,与到了

2014-11-23 13:17:19 1422 2

原创 Quartz2.2.1+spring4.0.6出现的异常

WARNING: Unable to load class [org.springframework.scheduling.quartz.JobDetailBean] to check against the @HandlesTypes annotation of one or more ServletContentInitializers. java.lang.IncompatibleClas

2014-11-21 16:09:13 2115

原创 RabbitMQ 之误删 vhost '/'

今天在使用rabbitMQ的时候，出现了点错误，本来想

2014-11-19 14:09:11 2177

转载 eclipse快捷键大全

Ctrl+1 快速修复(最经典的快捷键,就不用多说了)Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加)Ctrl+Alt+↑ 复制当前行到上一行(复制增加)Alt+↓ 当前行和下面一行交互位置(特别实用,可以省去先剪切,再粘贴了)Alt+↑ 当前行和上面一行交互位置(同上)Alt+← 前一个编辑的页面Alt+→ 下一个编辑的页面(当然是针对

2014-10-19 10:13:54 585

转载海量数据处理之分而治之/hash映射 + hash统计 + 堆/快速/归并排序

本章和后面的几章我将对海量数据和其处理的方法进行一些总结，很多内容转自博文http://blog.csdn.net/v_july_v/article/details/7382693何谓海量数据处理？所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。处理海量数据问题，

2014-10-12 22:08:27 1363

转载 PostgreSQL之分区表（partitioning）

PostgreSQL有一项非常有用的功能，分区表，或者partitioning。当某个TABLE的记录非常的多，千万甚至更多的时候，我们其实需要将他分割成子表。一个庞大的TABLE，就像水果仓库杂乱无章地堆放着无数的苹果桃子和桔子，查找不方便，性能降低，比较合理的做法是将仓库分成三个子区域，分表放苹果桃子和桔子。一张大表就变成了三个小表的集合。通过合理的设计，可以将选择一定的规则，将大表

2014-09-25 10:19:47 1869

转载服务器宕机监控、检测、报警程序（139绑定手机短信报警）monitor_down.sh

宕机监控报警程序一. 需求来源宕机对运维人员来说，最痛苦了。如何检测一台服务器是否还在正常运行，如果该服务器宕机，如何在第一时间监测到并通知一线运维人员进行维护，最大化减少损失。二. 程序功能对指定服务器进行宕机监测，如果确实宕机，则发送email到139邮箱(绑定手机，实现短信报警) 三.源程序#!/bin/bash#author

2014-09-16 22:12:32 2963

转载 139邮箱短信报警实现

一.问题的提出如何在最短的时间，让非在线运维人员得到服务器运行情况？如何在服务器宕机后，在第一时间能通知非在线运维人员？二.问题的初步解决移动办公(移动终端运维支持)很重要，通过手机短信报警，可以在更短时间得到服务器的运行情况，从而更快排除故障，解决问题，使企业损失降到最低。三.如何实现 1.可以通过购买移动、联通、电信的短信网关服务器或者相应接口来实现

2014-09-16 22:07:50 1928

翻译 kafka分布式消息队列----安装篇

本文主要翻译自官网安装部分，并配上

2014-09-14 15:38:08 1554

原创 mapreduce全局变量的问题

最近在写mapreduce时，遇到一个问题，在从

2014-09-02 15:05:13 1806

转载 hadoop运行第三方jar

在eclipse中写mapreduce程序, 引用第三方jar文件, 可以利用eclipse hadoop插件直接run on hadoop提交, 很方便. 不过插件版本要和eclipse匹配, 不然总是local执行, 在50070是没有job产生的.如果希望将程序发布成jar文件, 在namenode上通过命令行方式执行, 缺少了eclipse帮忙自动配置jar文件, 会遇到java

2014-09-01 13:34:28 939

转载 hadoop运行报错： java.lang.ClassNotFoundException解决方法

在创建自定义的Mapper时候，编译正确，但上传到集群执行时出现错误：11/12/11 22:53:16 INFO mapred.JobClient: Task Id : attempt_201111301626_0015_m_000000_0, Status : FAILEDjava.lang.RuntimeException: java.lang.ClassNotFoundExcept

2014-09-01 13:30:48 8550

转载精华索引：大数据实际应用案例50篇

数据化农产品，大数据世界是商机，还是生活? http://www.36dsj.com/archives/11856数据是全国各地农产品批发市场的价格数据。数据采集自全国各大农产品批发市场，每日更新。包括全国各个省直辖市自治区(澳门、香港、西藏、台湾、海南暂无数据)的180多个批发市场、300多种农产品类别。生物医学大数据：现状与展望 http://www.36dsj.com/archive

2014-08-31 23:57:24 3306

转载 MapReduce，组合式，迭代式，链式

前面介绍一些怎样用户类制定自己的类，来达到减少中间数据：http://www.cnblogs.com/liqizhou/archive/2012/05/14/2499498.html1.迭代式mapreduce 一些复杂的任务难以用一次mapreduce处理完成，需要多次mapreduce才能完成任务，例如Pagrank，Kmeans算法都需要多次的迭代，关于mapreduce迭代在

2014-08-27 09:40:11 595

原创 navicat for linux

安装：解压后即可用。目录下的start_navicat文件为可执行文件。破解：(找过好几个注册码都不能用，注册码生成器都是Windows平台的，Linux下不行) ----第一次执行start_navicat时，会在用户主目录下生成一个名为.navicat的隐藏文件夹。 ----此文件夹下有一个system.reg文件 ----把此文件删除后，下次启动navicat 会重新生成此文件，30天试用

2014-08-26 20:50:25 854

转载 hadoop中的ssh无密码登录配置

目标：在配置hadoop分布式安装过程中，需要配置ssh的无密码登录。在组建hadoop集群的时候，需要多台实体机进行通信（发送或者读取数据，namenode和datanode之间）就是借助ssh，在通信过程中如果需要操作人员频繁输入密码是不切实际的，所以需要ssh的无密码登录。环境：主机qiuchenl0，namenode，ubuntu12.04 操作系统，用户名qiuc

2014-08-25 22:02:26 859

转载 Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)

Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)中文版下载地址http://pan.baidu.com/s/1sjtZBSL原文地址链接： http://labs.google.com/papers/gfs.html http://labs.google.com/papers/

2014-08-24 09:41:22 3662

原创 hdfs java.io.IOException: Mkdirs failed to create

今天写MapReduce的时候， FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/center_db"));

2014-08-24 01:10:21 2721

转载 HMaster自动退出源于regionServer宕机

一大早起来关注我的小集群，发现HBase不好使了，弄得毫无头绪——只好重新查看守护进程jps 后返现传说中的HMaster居然。。。不见了！————查看日志！果然：2012-12-17 22:51:13,317 INFO org.apache.zookeeper.ClientCnxn: Unable to reconnect to ZooKeeper service, session 0

2014-08-23 19:10:40 1609

转载 ssh localhost “Permission denied (publickey)

再次遇到 SSH Server And “Permission denied (publickey)首先，我们要确定ssh 已经设置过了，并且成功了遇到上述问题，是在我启动在伪分布式hadoop集群下执行的所有命令时，每次都要求输入密码，之前还是好好的，每次登录不需要密码所以，我就回忆，哪里出错了，后来，想了想，可能是我一次把/home/下的文件权限全都递归修改

2014-08-21 21:09:21 2805

翻译 RabbitMQ消息队列之“Hello World”(一)

本系列文章翻译字www.rabbitmq.com/tutorials/tutorial-one-java.html

2014-08-10 14:19:50 1188

原创外网和内网远程登录mysql和postgresql

最近，在路由里面进行了一下配置，将自己的web项目发不到

2014-07-19 22:43:03 4057

转载高并发解决方案

时常看到高并发的问题，但高并发其实是最不需要考虑的东西。为何，他虚无缥缈，很少有网站真的需要这些东西，而且其中很多技术，其实你已经在用了。有这个意识就够了，不需要时刻盯着这个问题。只有很少的网站真的能达到高并发。简单做一个归纳，从低成本、高性能和高扩张性的角度来说有如下处理方案： 1、HTML静态化 2、图片服务器分离 3、数据库集群和库表散列 4、缓存 5

2014-06-24 01:36:04 782

原创 java源码解读之String，StringBuilder,StringBuffer

由于最近正好毕业了，正在找工作～～～

2014-06-14 10:44:31 1714

原创 java源码解读之stack

stack被称为“栈”,其特点是“先进后出”

2014-06-13 18:57:48 968

原创 java源码解读之Vector

Java.util.Vector提供了向量（Vector）类以实现类似动态数组的功能。

2014-06-13 01:09:47 771

转载 awk用法介绍做为了一个系统管理员我若不会awk会不会out了

1. 介绍Awk是由Aho、Weinberger和Kernighan三位科学家开发的，特别擅长文本处理的linux 工具，该工具是 linux 下最常用的工具之一。Awk不是普通的工具，其实，也是一种编程语言，在编程语言排行榜上也能排上号的。google 的一位工程师（他的博客最近访问不了）写了一篇文章，介绍Awk，标题为《Why you should learn just a l

2014-05-27 09:57:03 1421

转载 E:无法修正错误,因为您要求某些软件包保持现状,就是它们破坏了软件包间的依赖关系

安装terminator等一些软件等时候，遇到了这样等问题leo@leo:~$ sudo apt-get install terminator[sudo] password for leo: 正在读取软件包列表... 完成正在分析软件包的依赖关系树正在读取状态信息... 完成有一些软件包无法被安装。如果您用的是 unstable 发行版，这也许是因为系统无法达到您要

2014-05-24 09:33:05 2737

原创毕业在即

5月21号上午答辩完毕，

2014-05-22 22:42:36 750

转载 Cobar使用文档（可用作MySQL大型集群解决方案）

最近好不容易抽空研究了下Cobar，感觉这个产品确实很不错（在文档方面比Amoeba强多了），特此推荐给大家。Cobar是阿里巴巴研发的关系型数据的分布式处理系统，该产品成功替代了原先基于Oracle的数据存储方案，目前已经接管了3000+个MySQL数据库的schema，平均每天处理近50亿次的SQL执行请求。首先，使用Cobar的核心功能如下：分布式：Cobar的分布式主要

2014-04-30 19:03:51 655

转载 Hibernate事务与并发问题处理（乐观锁与悲观锁）

目录一、数据库事务的定义二、数据库事务并发可能带来的问题三、数据库事务隔离级别四、使用Hibernate设置数据库隔离级别五、使用悲观锁解决事务并发问题六、使用乐观锁解决事务并发问题 Hibernate事务与并发问题处理（乐观锁与悲观锁）一、数据库事务的定义　　数据库事务(Database Transaction) ，是指作为单个逻辑工作单元执行的

2014-02-27 14:00:33 849

转载微博短链接的生成算法(Java 版本)

最近看到微博的短链接真是很火啊，新浪、腾讯、搜狐等微博网站都加入了短链接的功能。之所以要是使用短链接，主要是因为微博只允许发140 字，如果链接地址太长的话，那么发送的字数将大大减少。短链接的主要职责就是把原始链接很长的地址压缩成只有6 个字母的短链接地址，当我们点击这6 个字母的链接后，我们又可以跳转到原始链接地址。开始以为短链接是按照某种算法把原始链接压缩为短链接，再根据算法从短链接反算成

2014-02-26 19:56:42 987

原创变相解决调用innerHTML之后，onclick失效的问题

最近再写一个项目，用到了innerHTML，但是呢，发现调用innerHTML之后，onclick失效了，这也是在意料之中的，因为innerHTML是以文本形式插入的button，所以无法识别onclick事件，所我们只有另找出路了，我们不能直接实现，但是可以间接实现，下面就举个例子：例子一：该例子是无法实现的onclick的function insCell(th) v

2014-01-28 10:37:32 4912

转载 Hadoop实战实例

Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或

2013-12-31 22:17:19 837

转载负载均衡技术全攻略

负载均衡技术全攻略Internet的规模每一百天就会增长一倍，客户希望获得7天24小时的不间断可用性及较快的系统反应时间，而不愿屡次看到某个站点“Server Too Busy”及频繁的系统故障。　　网络的各个核心部分随着业务量的提高、访问量和数据流量的快速增长，其处理能力和计算强度也相应增大，使得单一设备根本无法承担。在此情况下，如果扔掉现有设备去做大量的硬件升级，这样将造成现有资源

2013-12-30 23:11:13 151

转载 hdfs操作

1、HDFS简介　　HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来

2013-12-30 22:56:33 1272

转载 WebService详解

什么是webService WebService，顾名思义就是基于Web的服务。它使用Web(HTTP)方式，接收和响应外部系统的某种请求。从而实现远程调用. 1:从WebService的工作模式上理解的话，它跟普通的Web程序（比如ASP、JSP等）并没有本质的区别，都是基于HTTP传输协议的程序。 2:WebService所使用的数据均是基于XML格式的。目前标准的WebSer

2013-12-24 01:10:02 880

原创 webService发布简单实例

最近呢，听朋友说了一下WebService,当时不懂，不知道什么事webService，于是萌生了学习一下的念头，不甘落后嘛！！！呵呵，废话少说，现在切入正题！相信大家，也都或多或少的了解一点WebService了，我们上两篇博文中也讲过课~~~我们这次呢，主要是以图文结合的形式，来教大家操作一些简单的例子~~带你入门！！这一节是针对初学者的，所以讲的很浅很浅，适合入门者学习，尤其不是到怎

2013-12-24 01:03:59 943