- 博客(147)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 Redis3.0 集群搭建
redis3.0 部仅提供了哨兵监控，热切换，还提供了集群解决方案，接下来简单的搭建redis3.0集群1、新建三个redis-server实例，我们可以将redis.conf分别copy到7001，7002，7003的文件夹中，并修改相应的配置 vi redis3.0/instance/7001/redis.conf几处配置daemonize yes #配置服务为后台运行bind 10.16.
2017-03-27 17:48:13
1570
1
原创 mycat实现mysql读写分离，热切换，集群
在互联网时代，实现mysql读写分离，热切换，集群能大大提高mysql数据库访问压力，防止数据丢失，使用mycat能帮我们实现这些。我们要实现的是这种架构。1、Mycat能实现数据库的垂直切分和水平切分，这里用户写数据的时候，通过mycat把数据按照特定的规则存储到mysql-1，mysql-2，mysq-3…中，读的时候，分布从mysql-1，mysql-2，mysql-3…等读出数据然后由tom
2016-06-17 10:40:12
6641
2
原创 mycat是什么鬼？垂直切分？水平切分？
mycat是什么鬼mycat是国人开发的一款开源的数据库中间件，他的作用就是伪装成一个真的数据库，然后在它背后，连的是多种类型，集群分布式的真实数据库。他的体系结构就像下面：需要理解mycat的几个概念。schema:逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。 table：表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所
2016-06-17 08:59:11
10950
2
原创 mysql主主复制，只因为mycat集群需要
本来想着搭建一下mysql的主从复制，可以把mycat的mysql集群搞起来，发现，mysql主从搭建的mycat mysql集群不太合理，所以，还是用先搭建下mysq的主主复制吧。顺便记下笔记，将来方便查阅。在前篇文章http://blog.csdn.net/yingxiake/article/details/51691986，mysql的主从复制搭建上，搭建下mysql的主主复制，也是很简单。1
2016-06-16 17:49:56
3063
原创 mysql主从复制，很简单
mysql主持很多主从复制架构，将master的数据复制到slave的数据库中。下面将搭建最简单的主从架构，master的ip为192.168.137.103，slave的ip为192.168.137.104，数据库的安装参考http://blog.csdn.net/yingxiake/article/details/51656970，这里使用的是5.7的mysq版本。1、修改master上的配置文
2016-06-16 16:01:38
2174
原创 zookeeper简介，集群部署
zookeeper是什么Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好像说得比较抽象，举个场景，在集群分布式服务中，我们常常遇到这些问题1、集群中，每个节点的状态怎么监控，怎么进行负载均衡，一个节点down了，怎么让客户端知道？ 2、节点那么
2016-06-15 16:18:08
2921
原创 配置哨兵监控Redis运行情况
Redis的主从架构，如果master发现故障了，还得手动将slave切换成master继续服务，手动的方式容易造成失误，导致数据丢失，那Redis有没有一种机制可以在master和slave进行监控，并在master发送故障的时候，能自动将slave切换成master呢？有的，那就是哨兵。哨兵的作用： 1、监控redis进行状态，包括master和slave 2、当master down机，能
2016-06-14 16:57:56
20625
3
原创 Redis配置主从从架构
redis的主从架构的缺点是所有的slave节点数据的复制和同步都由master节点来处理，会照成master节点压力太大，所以我们使用以下朱从从构来处理本文的实验，将在http://blog.csdn.net/yingxiake/article/details/51669030 继续将103的配置文件，主从关系设置成102为主重启下服务，查看下各机器的主从关系若出现连接不上，配置没问题，是不是你没
2016-06-14 13:53:27
1993
原创 Redis配置主从架构，实现读写分离
Redis的主从架构，能帮助我们实现读多，写少的情况，下面配置Redis架构，很简单。准备环境 vmware + rhel-server-7.0(101，102，103)+redis-3.2.01、在192.168.137.101安装好redis3.2.0，我安装的目录如下redis的安装参考http://blog.csdn.net/yingxiake/article/details/5146936
2016-06-14 13:00:27
19902
原创 Redis持久化，RDB和AOF
Redis强大的功能很大部分是由于他把数据缓存在内存中，为了使Redis在重启的时候，数据不丢失，就需要已某种方式把数据持久化到磁盘中。Redis持久化的方式有俩种，RDB和AOF。RDB：快照方式，允许你每隔一段时间对内存数据做一次快照然后存储到硬盘中。该方式是Redis默认的持久化方式。RDB可以通过在配置文件中配置时间或者改动键的个数来定义快照条件，编辑配置文件redis.conf，找到sav
2016-06-14 08:19:02
6582
1
原创 安装并使用mysql5.7作为hive的metastore
前言hive的metastore默认是使用derby来作为metastore，但是derby有一个缺点是不能支持多用户链接，虽然你可以通过切换目录来支持，但是不同目录的metastore会不一致，所以这里使用mysql来作为hive的metastore。在linux上安装mysql数据库1、下载最新的mysql数据库，这里使用的版本是5.7.13，这里是使用二进制rpm进行安装mysql-commu
2016-06-13 13:47:33
7026
原创 HBase 常见Shell命令总结
用HBase的时候，老是忘记一些shell命令，每次都需要上网查，好麻烦，干脆就把常见的shell都总结一下吧。进入命令行界面1、进入shell命令行界面./hbase shell表结构相关命令2、创建表结构，这里创建test表，包含fcol1，fcol2create 'test', 'fcol1', 'fcol2'#或create 'test', {NAME => 'fcol1', VERSI
2016-06-12 21:11:20
1059
原创 hadoop MapReduce运行机制
MapReduce是hadoop的计算框架，用于大规模数据集的并行运算。俩个主要的节点，ResourceManager和NodeManager。ResourceManager：资源的管理者和协调者，使用Container来管理集群资源，container包括一些io，内存等资源。ResourceManager在管理和协调上主要由俩个组件构成，Scheduler和ApplicationsManager
2016-06-12 11:37:04
1132
原创 hadoop hdfs运行机制
hdfs特点hdfs是hadoop的分布式文件系统，用于存储大数据，它的特点是： 1.分布式部署，利用廉价的机器存储大数据 2.提供副本机制，容错机制，在机器宕机或副本丢失，自动恢复，默认副本保存3份关注三个主要节点：1.NameNode:整个文件系统的管理节点，接收用户的请求，保存着文件/目录的元数据信息和每个文件对应的block的映射列表。在linux系统上，它保存着三个重要文件 a.fs
2016-06-11 13:27:36
2164
原创 自定义标签 + shiro 实现权限细粒度控制
这里我们是使用shiro来实现登录验证，授权等操作，然后利用自定义jsp标签来实现权限菜单的细力度控制。所谓的细粒度控制，就是根据用户登录权限的不同，显示不同的菜单，例如，用户如果有添加用户，修改用户的权限，我们就显示这个俩个菜单，然后我们并不显示删除用户的菜单。如何自定义jsp标签1.定义一个权限标签，命名为mytag.tld<?xml version="1.0" encoding="UTF-8"
2016-06-03 14:24:15
32010
5
原创 linux配置SSH协议免登录密码
在linux，我们可以利用ssh协议，登录到另外一台主机，也可以利用ssh协议向另外一台主机发送命令，让另外一台主机执行，但是有个不好的地方就是每次链接或者发送命令都需要登录，那我们怎么配置让它免登录呢？1.我们先路由到根目录的.ssh目录2.我们在这里生成一对私钥和共钥，用来做免登录认证3.再利用ssh-copy-id将公钥发送给需要链接的主机4.然后就可以进行免登录密码验证了说下原理，看图理解，
2016-06-02 20:51:06
665
原创 hadoop安装和配置(很简单)
我的环境是vmware12 + rhel7 + hadoop2.4 + jdk7linux环境配置1.配置网络ip地址和主机名，这里我配置的ip地址是192.168.137.102，主机名为rhel7-02 2.安装jdk并配置jdk环境变量 3.关闭防火墙，rhel7关闭防火墙的方法如下：systemctl status firewalld //查看防火墙状态systemctl stop
2016-06-02 18:22:21
932
原创 java设计模式-备忘录模式
什么叫备忘录模式： 备忘录模式允许我们保存一个时间点上的数据，在出现误操作或者系统出错，我们可以恢复我们保存的那个点上的数据。开发中常见的场景： 1.事务操作 2.redis的持久化备忘录模式例子： 这里，我们实现的是注册学生信息，当然是我们先定义一个学生类package com.javademo.pattern.memento;public class Student { priva
2016-05-28 19:23:04
519
原创 java设计模式-观察者模式（广播机制，消息订阅）
什么叫观察者模式： 观察者模式是广播机制，消息订阅和推送的核心设计。开发中常见的场景： 1.手机中消息推送 2.后台群发信息观察者模式例子（自己实现） 首先是定义观察者接口并使用三个子类实现/** * 观察者接口 * * @author liuxg * @date 2016年5月27日 下午10:15:30 */public interface IObserver { p
2016-05-28 19:13:10
7222
2
原创 java设计模式-状态模式
什么叫状态模式： 一种事物会有多钟状态，而一种状态的切换会导致相应的动作，例如，水蒸发，升华，液化会导致水动作不一样，交通灯的红绿黄的变化导致车和人的动作不一样。开发中常见的场景： 1.OA系统公文状态管理 2.线程对象个状态之间的切换 3.银行系统中帐号的管理状态模式例子： 这里的实现的例子是交通灯状态的改变导致人行为的改变/** * 状态接口 * @author liuxg *
2016-05-28 19:03:54
616
原创 java设计模式-模板方法（方法回调，钩子函数）
什么叫模版方法模式： 模版方法其实就是父类定义了一整套的骨架流程，而其中的某些方法，需要子类来完成，这样子的好处是，方法流程已经定义好，子类要做的事情就是按着流程和模版自己写实现。开发中的模版方法模式： 1.spring data中的jdbcTemp 2.junit测试 3.数据库的访问封装模版方法模式例子： 这里实现的场景是用户去吃饭，首先是团购，然后到饭店吃饭，最后在美团点评，其中到饭
2016-05-28 18:58:28
8680
5
原创 java设计模式-策略模式
什么是策略模式： 策略模式就是处理类型较多，算法比较复杂，代码流程控制比较多，而且难以拓展，这时候，我们就可以使用策略模式了开发中常用策略模式场景： 1.Spring resouce接口 2.httpservlet中的service接口 3.javase中的gui编程，布局管理策略模式实现例子： 这里我们实现一个例子，是淘宝商城物品打折，根据用户的不同，打折的算发和策略也不同，我们可以为每
2016-05-28 18:52:05
566
原创 java设计模式-中介者模式
什么是中介者模式： 如果一个对象系统中，各个子对象都要相互交互，形成了网状结构，这时候，我们可以定义一个对象，各个子系统的处理和交互都交给它，由它统一调度。开发中使用的中介者模式： 1.mvc架构中的c，需要同时和m和v打交道 2.java.lang.reflect.Method#invoke()中介者模式例子： 这里的实现的场景是，软件产品的研发流程。所以我们定义下各个部门职能packag
2016-05-28 18:45:41
504
原创 java设计模式-责任链模式
什么是责任链模式： 将请求同一类资源的请求对象练成一条链，所提交的请求到某一个链节，如果该链节能处理则不必要往下传，不然则继续传到下一个对象链接去处理。开发中常见的场景： 1.springmvc的拦截器 2.java中，异常处理机制，抛出异常 3.javascript的事件冒泡机制责任链例子： 这里的场景是实现一个拦截器demo，所限当然是定义我们的拦截器，然后，使用时，就继承它/**
2016-05-28 18:32:01
1140
原创 java设计模式-享元模式
什么是享元模式： 为了节省内存，共享一个对象，提供内存使用率，享元模式的关键在于区分共享的内部状态和非共享的外部状态。开发中常见的享元模式场景： 1.JDBC连接池，线程池 2.java String类的设计享元模式例子： 实现的场景是游戏中的飞机打出的子弹，子弹有级别和位置，级别状态可以共享，而位置状态不能共享。/** * 子弹类 * @author liuxg * @date 20
2016-05-28 18:25:37
493
原创 java设计模式-外观模式
什么是外观模式： 外观模式其实就是封装，为子系统封装对外的一个接口，屏蔽内部复杂的操作，例如，我们要注册一家公司，我们可以找代理注册公司的机构，让它为我们处理注册所有的细节，而我们只需要面对注册公司处理流程就行。开发中外观模式场景： 常见的util包，例如spring的beanutils，FileUtils以及其他的工具类，其实使用的都是外观模式。外观模式实现例子： 实现的场景是一款软件产品开
2016-05-28 18:16:49
447
原创 java设计模式-装饰模式
什么是装饰模式： 装饰模式就是动态的为一个对象添加新的功能，它是一种代替继承的技术，毋须通过继承增加子类就能拓展对象功能的模式。开发中应用场景： 1.IO流中，设计的输入和输出 2.Servlet api提供的一个re quest对象的decrator模式的默认实现类HttpServletRequestWrap，遇到wrap字样的基本都是装饰模式 3.swing中图形设计界面的功能实现
2016-05-28 18:05:45
491
原创 java设计模式-组合模式
应用场景： 组合模式就是专门用来处理树形结构的数据，如下图的结构实现的结构可以如下：举个例子说说明实现，这里我们使用查找文件系统的实例：首先是基础接口/** * 文件接口 * @author liuxg * @date 2016年5月25日 下午8:21:54 */public interface IFile { boolean searchFile(String fileName
2016-05-25 20:51:52
421
原创 java设计模式-桥接模式
应用场景： 如果有如下图的应用场景，我们可以考虑用下下桥接模式他其实就是俩种类型进行组合，电脑类型，还有品牌类型，我们可以换成这样子来思考只要我们把纵轴和横轴进行桥接就能得到相应的品牌电脑了下面举个例子，首先我们来定义品牌接口还有实现类/** * 品牌接口 * @author liuxg * @date 2016年5月25日 下午7:54:12 */public interface Br
2016-05-25 20:05:56
553
原创 java设计模式-代理模式(静态代理，动态代理)
什么是代理模式： 代理模式类似于买房中介，买房的一些繁杂过程你可以找人帮你代理，你直接付钱入住就行，也类是于明星的经纪人，什么签合同，免谈之类的事情就它让你搞定，你只需要演戏就行。代理的架构如下：其中代理，必须要有一个引用指向真实类。代理模式应用场景： 安全代理：屏蔽对真是角色的访问 远程代理：通过代理类处理远程方法调用 延迟加载：先加载轻量级的代理对象，真正需要的时候，再加载真实对象代理模
2016-05-25 18:51:23
546
原创 java设计模式-适配器模式
使用场景： 原有的接口不适合需求，需要增加新的接口来满足需求，在不修改原有接口的情况下，使用一个适配器，将原有的接口进行转化，转成客户所需要的类或接口在JDK使用： java.io.InputStreamReader(InputStream) (返回一个Reader) java.io.OutputStreamWriter(OutputStream) (返回一个Writer)举下例子： 首先，
2016-05-25 15:44:54
475
原创 java设计模式-原型模式（浅复制，深复制）
使用场景： 多次创建重复的类，每个类又需要非常繁琐的数据准备和访问权限。原型模式类似用new创建出来的类，但又不new的类，new出来的类属性都是默认值，而用原型模式克隆出来的类，属性都和原对象一样。原型模式的优点是复制类效率高，而且避免重复无聊的new类动作下面，我们使用原型模式来clone一个类，这里的demo既有深复制也有浅复制首先是我们复制的实体类package com.javademo.
2016-05-24 21:32:51
673
原创 java设计模式-建造者模式
适用场景： 一个对象有多个子对象构成，我们要建这个对象的时候，需要很多步骤，构建多个子对象，然后再由子对象构成一个对象，我们就可以考虑用建造者模式建造者本质： 让建造子对象的builder和装配对象director解耦，从而建造出复杂的对象举个例子： 我们来构建一个电脑对象，它有鼠标，显示器，键盘等子对象构成，我们如何来装配这个对呢/** * 电脑实体类 * * @author liu
2016-05-24 20:56:29
499
原创 java设计模式-工厂模式
工厂模式的作用： 使创建者和调用者分离，类似spring的控制反转应用场景： JDK中的Calendar的getInstance方法 JDBC中的connection的获取 XML解析DocumentBuilderFactory创建解析器 反射中的对象的newInstance()工厂模式主要分类： 1.简单工厂模式，最简单，使用最多，不易拓展 2.方法工厂模式，通过添加新的工程类实现拓
2016-05-24 20:24:38
470
原创 java动态编程-操作字节码
若想在运行时，动态编辑和创建类，通常有俩种方法 1.动态编译一个类，动态编译可以参考http://blog.csdn.net/yingxiake/article/details/51487730还有http://blog.csdn.net/yingxiake/article/details/514877542.操作字节码，可以利用开源库操作字节码，例如CGLib、ASM、Javassist等，它可
2016-05-24 18:31:18
3680
原创 java动态编程-Rhino脚本引擎
java 6.0提供一些标准接口来操作脚本语言，它让java有能力在代码中，动态的执行脚本语言，接口的实现就由第三方来实现。Rhino引擎是一个实现javascript脚本接口的第三方实现，java6.0之后，默认引入，作为java的jar包。简单使用见下面的例子/** * RhinoDemo引擎demo * @author liuxg * @date 2016年5月24日 上午10:30:3
2016-05-24 10:32:17
3038
原创 java动态编程-动态编译机制
java可以在运行时，进行动态编译，也就是说，可以在代码中，由程序控制进行编译俩种动态编译方法： 1.执行cmd命令，调用javac进行编译 2.利用java提供的JavaComplier 3.可以利用类加载器还有java反射来执行编译好的字节文件/** * java 动态编译 * @author liuxg * @date 2016年5月24日 上午9:15:00 */public
2016-05-24 09:49:55
1416
原创 java设计模式-单例模式
单例模式：保证一个类只有一个实例应用场景： 1.spring bean模式是单例模式，便于管理 2.数据库连接池单例模式，确保只有一个实例 3.读取配置文件也可以用单例模式实现方法： 1.懒汉模式：访问效率底，懒加载，线程安全/** * 单例懒汉模式 * @author liuxg * @date 2016年5月24日 上午7:43:31 */ public class Singl
2016-05-24 09:09:54
461
原创 java jvm-自定义类加载器
除了可以用系统默认的类加载器，我们还可以用实现自己的类加载器，类加载器实现步骤如下：1.定义一个类继承ClassLoader 2.重写findClass方法，用来查找具体的类字节码 3.实例化自定义的类加载器，调用loadClass即可加载类下面我们来自定义一个类加载器，加载我们自己路径的类字节码package com.jvm.demo;import java.io.File;import j
2016-05-23 20:28:58
582
原创 java jvm-类加载器层级结构
类加载器由上到下有引导类加载器，继承类加载器，应用程序加载器，你还可以自己自定义加载器。类加载器在加载类的时候，采用的是代理模式，具体代理是双亲代理模式这里systemout输出的是“123”，为什么kkk.toString()打印出来不是”自定义string”呢，是因为java加载类的时候，默认采用双亲代理机制，即在加载类的时候，不先由本应用程序的类加载器加载，而是由父加载器加载，而父加载器加载类
2016-05-23 20:18:43
737
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人