wkwanglei的专栏

原创 达梦数据库-数据字典

数据字典

原创 DM数据库连接异常

druid1.2.4 + DmJdbcDriver18

原创 mysql5.7.20扫描

CVE-2016-0503，CVE-2016-0504，CVE-2016-0505，CVE-2016-0597，CVE-2016-0611，CVE-2016-0640，CVE-2016-0644，CVE-2016-0646，CVE-2016-0647，CVE-2016-0648,CVE-2016-0649，CVE-20116-0650,CVE-2016-0647, CVE-2016-0648, ...

转载 在应用层通过spring特性解决数据库读写分离

原文地址：http://jinnianshilongnian.iteye.com/blog/1720618 如何配置mysql数据库的主从？单机配置mysql主从：http://my.oschina.net/god/blog/496 常见的解决数据库读写分离有两种方案1、应用层http://neoremind.net/2011/06/spring实现数据库读写分离目

转载 远程通信的几种选择（RPC，Webservice，RMI，JMS的区别）

RPC（Remote Procedure Call Protocol）RPC使用C/S方式，采用http协议,发送请求到服务器，等待服务器返回结果。这个请求包括一个参数集和一个文本集，通常形成“classname.methodname”形式。优点是跨语言跨平台，C端、S端有更大的独立性，缺点是不支持对象，无法在编译器检查错误，只能在运行期检查。 Web Service

转载 我是如何在SQL Server中处理每天四亿三千万记录的

[导读] 首先声明，我只是个程序员，不是专业的DBA，以下这篇文章是从一个问题的解决过程去写的，而不是一开始就给大家一个正确的结果，如果文中有不对的地方，请各位数据库大牛给予指正，以便我能够更好的处理此次业务。        首先声明，我只是个程序员，不是专业的DBA，以下这篇文章是从一个问题的解决过程去写的，而不是一开始就给大家一个正确的结果，如果文中有不对的地方，请各位

转载 分布式MySQL数据库TDSQL架构分析

摘要：腾讯计费平台部为了解决基于内存的NoSQL解决方案HOLD平台在应对多种业务接入时的不足，结合团队在MySQL领域多年应用和优化经验，最终在MySQL存储引擎基础上，打造一套分布式SQL系统TDSQL。本文是对该系统架构分析。腾讯计费平台部托管着公司90%以上的虚拟账户，如QB、Q点、包月服务、游戏的二级账户等，为了保证能顺畅支撑公司各大业务的实时在线交易，并且在各种

转载 数据切分及整合方案

通过前面的章节，我们已经很清楚了通过数据库的数据切分可以极大的提高系统的扩展性。但是，数据库中的数据在经过垂直和（或）水平切分被存放在不同的数据库主机之后，应用系统面临的最大问题就是如何来让这些数据源得到较好的整合，可能这也是很多读者朋友非常关心的一个问题。这一节我们主要针对的内容就是分析可以使用的各种可以帮助我们实现数据切分以及数据整合的整体解决方案。数据的整合很难依靠数据库本身来达到这

转载 mysql数据库切分

前言通过MySQLReplication功能所实现的扩展总是会受到数据库大小的限制，一旦数据库过于庞大，尤其是当写入过于频繁，很难由一台主机支撑的时候，我们还是会面临到扩展瓶颈。这时候，我们就必须许找其他技术手段来解决这个瓶颈，那就是我们这一章所要介绍恶的数据切分技术。 何谓数据切分可能很多读者朋友在网上或者杂志上面都已经多次见到关于数据切分的相关文章了，只不过在有

转载 分布式mysql中间件（mycat）

1、   MyCAT概述1.1 背景随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充，数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足：（1）集中式处理，势必造成性能瓶颈；（2）应用程序集中在一台计算机上运行，一旦该计算机发生故障，则整个系统受到影响，可靠性不高；（3）集中式处理引起系统的规模和配置都不够灵活，系统的可扩充性差。

转载 MySQL Replication 常用架构

前言MySQLReplicaion本身是一个比较简单的架构，就是一台MySQL服务器（Slave）从另一台MySQL服务器（Master）进行日志的复制然后再解析日志并应用到自身。一个复制环境仅仅只需要两台运行有MySQLServer的主机即可，甚至更为简单的时候我们可以在同一台物理服务器主机上面启动两个mysqldinstance，一个作为Master而另一个作为Slave来完成复制环境

转载 数据库水平切分的实现原理解析——分库，分表，主从，集群，负载均衡器

第1章 引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库：可以降低单台机器的负载，同时最大限度的降低了宕机造成的损失；负载均衡策略：可以降低单台机器的访

转载 通过中间代理层来统一管理所有的数据源，后端数据库集群对前端应用程序透明；

1.利用MySQLProxy 实现数据切分及整合.可用来监视、分析或者传输他们之间的通讯信息。他的灵活性允许你最大限度的使用它，目前具备的功能主要有连接路由，Query分析，Query过滤和修改，负载均衡，以及基本的HA机制等。MySQLProxy 本身并不具有上述所有的这些功能，而是提供了实现上述功能的基础。要实现这些功能，还需要通过我们自行编写LUA脚本来实现。原理:MyS

转载 通过了解MySpace的六次重构经历,来认识分布式系统到底该如何创建.

在每个里程碑，站点负担都会超过底层系统部分组件的最大载荷，特别是数据库和存储系统。接着，功能出现问题，用户失声尖叫。最后，技术团队必须为此 修订系统策略。虽然自2005年早期，站点账户数超过7百万后，系统架构到目前为止保持了相对稳定，但MySpace仍然在为SQL Server支持的同时连接数等方面继续攻坚，Benedetto说，”我们已经尽可能把事情做到最好”。1. 里程碑一：5

转载 web2.0网站常用可用性功能模块分析

Web 2.0网站是指将传统的网站构架（平台、内容源、用户、传播方式等）转化到以用户为核心的网站构架上来，包括一系列体现web2.0概念的元素、定位和创 意。web2.0网站在构架上须体现两大宗旨，即强大的后台系统和简单的前台页面，也即提供良好的用户体验，体现以人为本，技术服务人类的宗旨。 之前介绍的亿万用户网站MySpace网站架构及成功秘密也是很值得一看的。web2.0网站常用功能块通

转载 运放与音乐

运放与音乐韵味AD827、OPA2604、DY649、DY639、AD712、AD797等八款运放比较（转）音乐是个人爱好。。。所以写在这里。与其说爱好音乐不如说，爱好声音，因为对于音乐的歌手等娱乐新闻一窍不通。经过激烈较量，AD827（陶封）以其刚柔相济、至尊无上的表现在本次测试中荣登“皇帝”宝座。YD649（陶封）因其极具女性的浪漫气质而被封为“皇后”。而OPA2604和A

转载 SpringMvc与Struts2的对比

目前企业中使用SpringMvc的比例已经远远超过Struts2,那么两者到底有什么区别，是很多初学者比较关注的问题，下面我们就来对SpringMvc和Struts2进行各方面的比较:1.核心控制器（前端控制器、预处理控制器）：对于使用过mvc框架的人来说这个词应该不会陌生，核心控制器的主要用途是处理所有的请求，然后对那些特殊的请求（控制器）统一的进行处理(字符编码、文件上传、参数接受、异

原创 redhat5.5 安装 nginx1.9.2

1、安装必备工具：?123$ yum -y installgcc gcc-c++ autoconf automake $ yum -y installzlib zlib-devel openssl openssl-devel pcre-devel

原创 tomcat7.0.63 （redis session方案)

tomcat7.0.63下载地址：http://tomcat.apache.org/download-70.cgiredis3.03 下载地址：http://www.redis.io/downloadjedis2.7.2  下载地址：（maven中央库）https://repo1.maven.org/maven2/redis/clients/jedis/

转载 tomcat7和redis的sessoin共享问题处理

原文地址：http://blog.csdn.net/qinxcb/article/details/420410231，安装redis并配置和启动, tomcat也做相就的下载，其他地方都有，可以在其他地方查阅。2,  获取tomcat依赖包：             Tomcat使用 从https://github.com/xetorthio/jedis/downloads下载jedi

转载 关于 tomcat 集群中 session 共享的三种方法

关于 tomcat 集群中 session 共享的三种方法原文地址：http://www.cnblogs.com/interdrp/p/4056525.html前两种均需要使用 memcached 或 redis 存储 session ，最后一种使用 terracotta 服务器共享。 建议使用 redis ，不仅仅因为它可以将缓存的内容持久化，还因为它支持的单个对象比较大，而且数据类型丰富。

转载 MSM--Memcached_Session_Manager介绍及使用 .

我们都知道对于一些大型的web2.0的网站，在正式部署时一般是部署在不同故障域的多台应用服务器上，以j2ee应用为例，一般我们都会部署在tomcat下，假如我们部署了10台tomcat服务器，那这10台tomcat可能是部署在不同的机器上，然后将应用程序copy到这10台tomcat下，然后启动所有tomcat，一般来说这样做的目的是为了达到负载均衡以及避免单点故障，另外也考虑到国内网络环境的原因

转载 为什么不能单独使用memcached存储Session

Memcached创建者Dormando很早就写过两篇文章[1][2]，告诫开发人员不要用memcached存储Session。他在第一篇文章中给出的理由大致是说，如果用memcached存储Session，那么当memcached集群发生故障（比如内存溢出）或者维护（比如升级、增加或减少服务器）时，用户会无法登录，或者被踢掉线。而在第二篇文章中，他则指出，memcached的回收机制可能

转载 Tomcat集群session管理解决方案

提要：本文主要的写作目的是解释集群方案中的一些重要的概念，然后引入另一种session管理机制：基于缓存的session管理。本文并不讲述如何配置apache和tomcat来实现集群和负载均衡，关于这方面内容，可参考我的另一篇文章：Linux下搭建tomcat集群全记录1.实现应用服务器集群需要解决那些问题？对于所有的应用服务器集群来说，都需要解决两个最基本也是最核心的问题：

转载 Spring事务配置的五种方式

Spring配置文件中关于事务配置总是由三个组成部分，分别是DataSource、TransactionManager和代理机制这三部分，无论哪种配置方式，一般变化的只是代理机制这部分。    DataSource、TransactionManager这两部分只是会根据数据访问方式有所变化，比如使用Hibernate进行数据访问时，DataSource实际为SessionFactory，Tra

转载 Redis学习视频教程

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。用好Redis能让你的应用性能提升N倍，中国用Redis用得最好的当属新浪微博。内容有：1.Redis的介绍与安装部署 http://www.icoolxue.com/play/148

转载 正确配置Linux系统ulimit/nproc值的方法

在Linux下面部署应用的时候，有时候会遇上Socket/File: Can’t open so many files的问题；这个值也会影响服务器的最大并发数，其实Linux是有文件句柄限制的，而且Linux默认不是很高，一般都是1024，生产服务器用其实很容易就达到这个数量。下面说的是，如何通过正解配置来改正这个系统默认值。查看方法我们可以用ulimit -a来查看所有限制值[roo

转载 Hadoop安装配置

1、集群部署介绍 1.1 Hadoop简介 　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。　　对于Hadoop的集群

原创 Red Hat Linux Enterprise 5 中文语言包安装

第一：中文语言包： Red Hat Linux Enterprise 5 是多国语言版 在安装盘上已经有各种语言包 安装就可以了。中文的是  fonts-chinese-3.02-9.6.el5.noarch.rpm  fonts-ISO8859-2-75dpi-1.0-17.1.noarch.rpm  进入各文件对应目录，运行下面命令： 1  ap

转载 red hat Linux操作系统下载地址

以下是我整理的下载地址：RHEL 5.5 ISO下载http://mirrors.sohu.com/RHEL/AS5U5/i386/rhel-server-5.5-i386-dvd.isohttp://mirrors.sohu.com/RHEL/AS5U5/x86_64/rhel-server-5.5-x86_64-dvd.isoRHEL 5.8 ISO下载http://r

原创 HBase存储文件格式概述

概述HBase是基于Bigtable论文的面向列的分布式存储系统，其存储设计是基于Memtable/SSTable的。其它如Cassandra都是采用的该设计。整个存储分为两部分，一部分为内存中的MemStore(Memtable)，另外一部分为磁盘(这里是HDFS)上的HFile(SSTable)。下面分别讲述两种类型的存储分别的实现：MemStore中最重要的变量是：J

转载 HBase入门实例: Table中Family和Qualifier的关系与区别

Table中Family和Qualifier的关系与区别就像用MySQL一样，我们要做的是表设计，MySQL中的表，行，列的在HBase已经有所区别了，在HBase中主要是Table和Family和Qualifier，这三个概念。Table可以直接理解为表，而Family和Qualifier其实都可以理解为列，一个Family下面可以有多个Qualifier，所以可以简单的理解为，HBase中

转载 RAID0+1 与 RAID1+0

RAID0+1：   结构为，两块以上（含两块）硬盘先做条带（RAID0），组成相同的两组一级逻辑盘。   再将两组逻辑盘做镜像（RAID1）。   如下图：    RAID0+1的冗余性（安全性）：只要有一块盘出错，它所在的RAID0就会整体离线，只能靠最外层的RAID1的冗余来支撑。实际上，只能允许一块盘出错，这样如果在4块以上的硬盘盘阵中，安全性实际会差得多。   

转载 andriod Service 与 Thread 的区别

Service 与 Thread 的区别 很多时候，你可能会问，为什么要用 Service，而不用 Thread 呢，因为用 Thread 是很方便的，比起 Service 也方便多了，下面我详细的来解释一下。1). Thread：Thread 是程序执行的最小单元，它是分配CPU的基本单位。可以用 Thread 来执行一些异步的操作。 2). Service：Servic

转载 andriod listview OnScrollListener回调分析

如果adapter中的数据量很大的时候，在加载listview时会出现卡顿的现象。这是会让用户抓狂！最好的解决办法就是先加载一定数量的数据，然后在最下方提示正在加载！ 动态加载就是把放入adapter中的数据分好几次加载。在用户拖动listview时再加载一定的数据，和sina微博的客户端类似。 给listview添加OnScrollListener监听事件默认会覆盖下面两个方法：ne

转载 大数据简单构架图

原创 HttpURLConnection webview sessionId 连贯性

GlobalVars.serviceUrl = http://192.168.0.106:8080/text/login.jsp1 获取 HttpURLConnection 返回的 cookie 和内部的 sessionIdsessionId格式如 JSESSIONID=XXXXXXXXXXXX.tomcat1 不同的服务器SESSION名字是不一样的，这里我们暂时认为都含有SES

原创 ObjectOutputStream 对象追加的实现

/** * 将单个对象写入文件 * * @param ls */ public void writeObject(Sgin sgin) throws IOException { ObjectOutputStream oos = null; FileOutputStream fos = null; if (Environment.MEDIA_MOUNT

原创 Android+HttpURLConnection+ObjectOutputStream+java.io.EOFException

url = new URL(str_remotecallservlerurl); //定义远程CallServlet的url!!! conn = (HttpURLConnection)url.openConnection(); // conn.setDoInput(true); conn.setDoOutput(true); conn.setUseCaches(false);

转载 MapReduce工作原理图文详解 .

目录：1.MapReduce作业运行流程2.Map、Reduce任务中Shuffle和排序的过程