haizhaopeng-CSDN博客

原创多Web服务器之间共享Session的解决方案

多Web服务器之间共享Session的解决方案一、提出问题：　　为了满足足够大的应用，满足更多的客户，于是我们架设了N台Web服务器（N>=2），在多台Web服务器的情况下，我们会涉及到一个问题：用户登陆一台服务器以后，如果在跨越到另一台服务器的时候能够继续使用客户的Session？二、解决方案：1. 写客户端Cookie的方式　　当用户登陆成功以后，把网站域名

2017-09-21 10:24:06 514

转载 Redis实现分布式session功能的共享

最近项目设计集群，实现了一下session的共享功能，其原理是将session保存到分布式缓存数据库中如：redis， memcache等，然后多个服务器tomcat每次请求都通过NoSql数据库查询，如果存在，则获取值；反之存放值。我是通过redis来实现session的共享，其主要有一下两种方法：1、通过tomcat服务器的拓展功能实现这种方式比较简单，主要是通过继承sessi

2017-09-21 09:50:49 368

原创 Redis Cluster集群的搭建与实践

Redis Cluster集群一、redis-cluster设计Redis集群搭建的方式有多种，例如使用zookeeper等，但从redis 3.0之后版本支持redis-cluster集群，Redis-Cluster采用无中心结构，每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。其redis-cluster架构图如下：其结构特点： 1

2017-09-21 09:43:33 269

原创 mysql 高可用9

再分享一下之前MySQL优化相关的caseQuery cacheMySQL内置的查询加速缓存理念是好的,但设计不够合理，有点out锁的粒度非常大MySQL 5.6默认已经关闭When the query cache helps, it can help a lot. When it hurts, it can hurt a lot.明显前半句已经没有太大用处在

2015-08-06 22:09:33 342

原创 mysql 高可用8

TokuDB支持事务 ACID 特性，支持多版本控制(MVCC)基于Fractal Tree Index，非常适合写入密集场景高压缩比，原生支持Online DDL主流分支都支持，收费转开源。目前可以和InnoDB媲美的存储引擎TokuDB支持事务 ACID 特性，支持多版本控制(MVCC)基于Fractal Tree Index，非常适合写入密集场景高压缩比，原生

2015-08-06 22:06:58 509

原创 mysql 高可用7

大家关心的主从延时问题原因：一般都会做读写分离，其实从库压力反而比主库大／从库读写压力大非常容易导致延时。解决方案首先定位延时瓶颈如果是IO压力，可以通过升级硬件，比如替换SSD等如果IO和CPU都不是瓶颈，非常有可能是SQL单线程问题，解决方案可以考虑刚才提到的并行复制方案如果还有问题，可以考虑sharding拆分方案提到延时不得不提到很坑人的Second

2015-08-06 22:03:54 298

原创 mysql 高可用6

然后我们讲一下性能优化复制优化InnoDB优化其他参数优化MySQL复制MySQL应用最普遍的应用的技术，扩展成本低逻辑复制单线程问题，从库延时问题可以做备份或读复制问题很多，但是能解决基本问题上图是MySQL复制原理图，红框内就是MySQL一直被人诟病的单线程问题单线程问题也是MySQL主从延时的一个重要原因，单

2015-08-06 21:58:21 332

原创 mysql 高可用5

数据库备份数据库数据安全性是首先要保证的，也是最核心的，数据安全保障不了，其实谈其他的性能意义不大了就备份的意义是什么呢数据恢复！数据恢复！数据恢复！目前备份方式的几个纬度全量备份 VS 增量备份热备 VS 冷备物理备份 VS 逻辑备份延时备份全量binlog备份建议方式热备＋物理备份，核心业务：延时备份＋逻辑备份

2015-08-06 21:49:14 291

原创 mysql 高可用 4

关于可用性，我们今天也分享一种无缝切主库方案，可以用于日常切换使用思路也比较简单在正常条件下如何无缝去做主库切换核心思路是让新主库和从库停在相同位置，主要依赖slave start until 语句。结合双主结构，考虑自增问题MySQL集群方案集群方案主要是如何组织MySQL实例的方案主流方案核心依然采用的是MySQL原生的复制方案原生主从同步肯定存在着

2015-08-06 21:46:30 281

原创 mysql 高可用 3

首先是版本选择MySQL社区版，用户群体最大MySQL企业版，收费Percona Server版，新特性多MariaDB版，国内用户不多我的建议MySQL社区版>Percona Server>MariaDB>MySQL 企业版不过现在如果大家使用RDS服务，基本还以社区版为主Online DDL问题原生MySQL执行DDL是需要锁表的，对服务影响很大

2015-08-06 21:43:05 319

原创 mysql 高可用 2

关于为什么定义不使用Null的原因1.浪费存储空间，InnoDB需要有额外一个字节存储2.如果表内默认值Null过多，也会影响优化器选择执行计划关于使用datatime和timestamp，现在在5.6.4之后又有了变化，使用二者存储在存储空间上大差距越来越小，并且本身datatime存储范围就比timestamp大很多，timestamp只能存储到2038年

2015-08-06 21:39:09 381

原创 mysql 高可用 1

首先还是先简单回顾下MySQL历史1979年，Monty写了最初的版本，96年发布1.01995-2000年，MySQL AB成立，引入BDB2000年4月，集成MyISAM和replication2001年，Heikki Tuuri向MySQL建议集成InnoDB2003发布5.0，提供了视图、存储过程等功能2008年，MySQL AB被Sun收购，09年推出5.1

2015-08-06 21:26:44 384

原创虚拟化项目之运维实践10

灾备及应急响应虚拟化的灾备有两种思路，应用层灾备及虚拟化层灾备，一般建议在应用层灾备。虚拟化层灾备的手段是多份的镜像复制及快照，这个往往要消耗大量的资源，多份复杂是以牺牲几倍的磁盘空间为代价，快照是以牺牲性能为代价往往应用层做了很少的改动，虚拟化层是不能感知的，只是是全部备份，或者快照。但是在应用层灾备就简单很多，只需要备份改动的部分，消耗的资源很少，而且速度

2015-08-05 21:40:46 667

原创虚拟化项目之运维实践9

虚拟机资源限制一般在生产环境，需要给虚拟机做资源限制，因为我们不希望一台虚拟机消耗的资源过多，造成其他虚拟机饿死，虚拟机的资源限制主要是通过CGroup去做，CGroup可以配置的选项非常多，也非常灵活，就是配置起来稍微复杂一些。Libvirt在CGroup上包了一层，通过修改虚拟机的xml文件，就可以完成对虚拟机的资源限制，通过Libvirt限制虚拟机的详细介绍，请参考我的博客文

2015-08-05 21:27:00 486

原创虚拟化项目之运维实践8

关于商业存储的选择目前常见的存储分为文件存储和块存储，快存储又分为ISCSI，FC。不管是那种存储，一般建议生产环境都是双控制器，一般支持双控制的存储，从软件到硬件都是双冗余的，没有单点故障。另外，NFS和ISCSI一直有争论，这个看自己对那种技术更熟悉，更喜欢。FC的存储成本比较高，但是性能也最好，我个人喜欢ISCSI存储，性价比高，性能基本也能满足自己的要求

2015-08-05 21:21:45 627

原创虚拟化项目之运维实践7

磁盘缓存方式，常见的有四种，writeback,writethrough,none,unsafe。实际上是在虚拟化层和宿主机的文件系统这一层，开不开cache的各种组合，现在CentOS系列上默认是writeback模式，这种模式启用了宿主机文件系统的缓存，性能会好很多。我们在生产环境比较保守，一般在单机虚拟化的时候，使用writethrough方式，以数据安全为第一

2015-08-05 21:20:30 532

原创虚拟化项目之运维实践 6

关于网络技术：网络方面主要解决两个问题，可管理性和性能，可管理性主要依靠Open vSwitch这个纯软件的交换机，ovs可以和物理交换机进行协议层面的通讯。性能有硬件和软件的优化方案，硬件主要是使用万兆万卡和SRIOV，软件是VIRTIO、网卡独占等技术。网络技术，今天时间关系就不详细介绍了，大家可以看下这个的博客：http://xiaoli110

2015-08-05 21:12:35 501

原创虚拟化项目之运维实践 5

虚拟化中CPU技术要点：下面再分享一些生产环境的虚拟化技术经验我最喜欢的是CPU技术是CPU绑定，CPU绑定是一个非常神奇的技术，最神奇的地方就是可以在线去做，在实战中解决多次解决了性能问题。一个CPU绑定的案例当时有一款游戏，已经虚拟化了好几个月了，一直很稳定，有一个周末，游戏搞活动，玩家激增，有玩家有反馈游戏有玩游戏卡的情况。cpu绑定重启之后就没有了吧

2015-08-05 21:07:12 645

原创虚拟化项目之运维实践 4

下面介绍下业务压力模型的构建方法下定决心做虚拟化之后，面临的下一个问题是到底虚拟化比例如何确定，宿主机的配置如何选型，这时候就需要根据自己的业务特点，建立压力模型，根据压力模型确定虚拟化比例，宿主机、虚拟机的配置。那么如果建立压力模型呢，这个要用数据说话，数据来自于长期的监控指标及高峰时的数据收集。另外在业务高峰期的几个小时，可以考虑使用脚本收集比较密集

2015-08-05 21:05:16 482

原创虚拟化项目之运维实践 3

虚拟化项目实施应该遵循的那些流程，能保证比较稳定的将业务迁移到虚拟化环境？从我个人长期的实践来看，虚拟化实施最好循序渐进，稳扎稳打，遵循以下的步骤，可以保证比较稳定的业务迁移到虚拟化环境。（1）业务性能评估及压力模型建立项目启动的时候，首先面临的是虚拟化比例如何确定，到底是1虚5，还是1虚7比较合适，宿主机的配置如何确定，这些都需要依靠数据决定，所以我们首先需要收集现有业务的压

2015-08-05 20:58:14 684

原创虚拟化项目之运维实践2

如何选择第一个虚拟化项目?选择第一个虚拟化项目非常重要，和打仗一样，首战必胜，这个是一个战略问题，如果第一个虚拟化项目失败了，后面的工作就很难开展，万事开头难，那么如果选择第一个虚拟化项目呢，适合虚拟化的业务有那些特征了呢。（1）单进程但进程的业务非常适合虚拟化，现在的CPU都是多核，单进程的业务只使用一个核，通过虚拟化就可以很好的将多个单进程的业务整合在一起，尤其是通过应用层

2015-08-05 20:54:52 616

原创虚拟化项目之运维实践 1

在我们决定做虚拟化的时候，虚拟化项目该如何起步？当上级或者我们自己准备将业务迁移到虚拟化环境上的时候，会面临许多问题，例如：从那一项具体业务开始；软硬件如何选型；技术方案如何确定；万一出了问题应该怎么办；在虚拟化的过程中如何保证业务稳定。那么我们首先应该解决那个问题呢，这时候我们应该静下心来想一想，虚拟化到底能给企业带来什么。从我的虚拟化实践来看，归

2015-08-05 20:49:06 815

原创虚拟化项目之运维实践

将已有的业务迁移到虚拟化环境。是很大的挑战，不仅要求我们熟悉虚拟化技术，更要求我们熟悉业务，将业务迁移到虚拟化环境其实还是一个项目实施的过程，考验我们的协调沟通及项目把控能力我分为四个部分介绍如何将业务迁移到虚拟化环境：1 虚拟化项目实施方法及业务压力模型的建立：介绍虚拟化项目的实施经验及流程，介绍如何建立自己的业务压力模型，如何根据自己的业务压力模型进行软硬件选型。

2015-08-05 20:36:10 870

原创 DT大数据梦工厂温故而知新之22讲

王家林亲授大数据开发语言《Scala深入浅出实战经典》（1-71讲全部视频、代码、PPT）下载，总共有140讲Scala视频！百度云：http://pan.baidu.com/s/1jGjFpWy腾讯微云：http://url.cn/TnGbdC360云盘：http://yunpan.cn/cQ4c2UALDjSKy 访问密码 45e2DT大数据梦工

2015-08-05 06:21:46 395

原创 DT大数据梦工厂温故而知新之21讲

王家林亲授大数据开发语言《Scala深入浅出实战经典》（1-71讲全部视频、代码、PPT）下载，总共有140讲Scala视频！百度云：http://pan.baidu.com/s/1jGjFpWy腾讯微云：http://url.cn/TnGbdC360云盘：http://yunpan.cn/cQ4c2UALDjSKy 访问密码 45e2DT大数据梦工

2015-08-05 06:04:59 524

原创安装部署 CoreOS + Kubernetes 2

CoreOS集群的安装方式：我们专门做了一个菜单，以满足各种场景部署的需要。在Yoo-Installer里，我分了6个菜单，适合四种使用场景。分别对应于官方的CoreOS集群架构Docker Dev Environment on LaptopSmall ClusterEasy Development/Testing ClusterProduction Cluster with

2015-08-04 21:40:22 3549

原创安装部署 CoreOS + Kubernetes 1

1.背景随着光音业务规模的上升，线上业务产品的数量及服务器的采购量也越来越大。当达到一定数量级后，就不能使用常规的维护方法来解决这些问题。以前，一旦业务量上去，我们就不得不停下手头的开发工作，部署业务所需要的环境及线上调试，到最后，只有特别熟悉业务和代码的同事才能胜任此工作。为了解决这些问题，我们从前年开始就关注了LXC，并试着小规模地使用了一段时间，但是由于LXC本身存在一系列的

2015-08-04 21:31:46 1917

原创安装部署 CoreOS + Kubernetes 3

在这个配置文件里，有以下几个部分>> hostname: 配置后，方便识别>> ssh_authorized_keys: 可以设置一个跳板机的key，方便管理>> update: CoreOS版本更新策略及更新版本设置>> fleet: fleet的服务>> units: 具体的systemd units文件配置，这里面包括了etcd, fleet, flannel, doc

2015-08-04 21:09:24 1040

转载 Flume-NG之KafkaChannel

Flume-NG之KafkaChannel　　apache下一个版本(1.6)将会带来一个新的组件KafKaChannel，顾名思义就是使用kafka做channel，当然在CDH5.3版本已经存在这个channel。　　大伙知道，常用的channel主要有三个：　　1、memory channel：用内存做channel，优点是速度最快，容易配置；缺点是，

2015-08-04 19:54:27 2166

原创 DT大数据梦工厂温故而知新之19讲

王家林亲授大数据开发语言《Scala深入浅出实战经典》（1-71讲全部视频、代码、PPT）下载，总共有140讲Scala视频！百度云：http://pan.baidu.com/s/1jGjFpWy腾讯微云：http://url.cn/TnGbdC360云盘：http://yunpan.cn/cQ4c2UALDjSKy 访问密码 45e2DT大数据梦工

2015-08-04 06:36:09 422

原创 DT大数据梦工厂温故而知新之18讲

王家林亲授大数据开发语言《Scala深入浅出实战经典》（1-71讲全部视频、代码、PPT）下载，总共有140讲Scala视频！百度云：http://pan.baidu.com/s/1jGjFpWy腾讯微云：http://url.cn/TnGbdC360云盘：http://yunpan.cn/cQ4c2UALDjSKy 访问密码 45e2DT大数据梦工

2015-08-04 06:06:28 434

原创 DT大数据梦工厂温故而知新之17讲

王家林亲授大数据开发语言《Scala深入浅出实战经典》（1-71讲全部视频、代码、PPT）下载，总共有140讲Scala视频！百度云：http://pan.baidu.com/s/1jGjFpWy腾讯微云：http://url.cn/TnGbdC360云盘：http://yunpan.cn/cQ4c2UALDjSKy 访问密码 45e2DT大数据梦工

2015-08-03 06:47:28 462

原创 DT大数据梦工厂温故而知新之16讲

王家林亲授大数据开发语言《Scala深入浅出实战经典》（1-71讲全部视频、代码、PPT）下载，总共有140讲Scala视频！百度云：http://pan.baidu.com/s/1jGjFpWy腾讯微云：http://url.cn/TnGbdC360云盘：http://yunpan.cn/cQ4c2UALDjSKy 访问密码 45e2DT大数据梦工

2015-08-03 06:21:15 342

原创 DT大数据梦工厂温故而知新之15讲

王家林亲授大数据开发语言《Scala深入浅出实战经典》（1-71讲全部视频、代码、PPT）下载，总共有140讲Scala视频！百度云：http://pan.baidu.com/s/1jGjFpWy腾讯微云：http://url.cn/TnGbdC360云盘：http://yunpan.cn/cQ4c2UALDjSKy 访问密码 45e2DT大数据梦工厂

2015-08-03 05:54:28 265

Hadoop集群上存储数据，同时基于MapReduce计算框架可以实现计算任务，那么无论是从数据保护的角度，还是从提交计算任务占用资源的角度来看，都需要存在一种权限管理与分配机制，能够很好地限制哪些人可以在HDFS上存储数据，哪些人可以利用集群的资源来处理特定的计算任务。当然，如果能够非常完美地解决这些问题是最好的。当前Hadoop本身提供的权限管理功能还不能满足普遍的需要，或者我们从Hadoop

2015-07-31 07:55:25 3090

原创 DT大数据梦工厂温故而知新之14讲

王家林亲授大数据开发语言《Scala深入浅出实战经典》（1-71讲全部视频、代码、PPT）下载，总共有140讲Scala视频！百度云：http://pan.baidu.com/s/1jGjFpWy腾讯微云：http://url.cn/TnGbdC360云盘：http://yunpan.cn/cQ4c2UALDjSKy 访问密码 45e2DT大数据梦工厂

2015-07-31 06:59:46 232

原创 DT大数据梦工厂温故而知新之13讲

王家林亲授大数据开发语言《Scala深入浅出实战经典》（1-71讲全部视频、代码、PPT）下载，总共有140讲Scala视频！百度云：http://pan.baidu.com/s/1jGjFpWy腾讯微云：http://url.cn/TnGbdC360云盘：http://yunpan.cn/cQ4c2UALDjSKy 访问密码 45e2DT大数据梦工厂

2015-07-31 06:35:57 276

原创 DT大数据梦工厂温故而知新之1~4讲

王家林亲授大数据开发语言《Scala深入浅出实战经典》（1-71讲全部视频、代码、PPT）下载，总共有140讲Scala视频！百度云：http://pan.baidu.com/s/1jGjFpWy腾讯微云：http://url.cn/TnGbdC360云盘：http://yunpan.cn/cQ4c2UALDjSKy 访问密码 45e2温故而知新之 DT大数据梦工厂第1

2015-07-30 08:01:52 537

原创 DT大数据梦工厂温故而知新之11讲

王家林亲授大数据开发语言《Scala深入浅出实战经典》（1-71讲全部视频、代码、PPT）下载，总共有140讲Scala视频！百度云：http://pan.baidu.com/s/1jGjFpWy腾讯微云：http://url.cn/TnGbdC360云盘：http://yunpan.cn/cQ4c2UALDjSKy 访问密码 45e2DT大数据梦工厂温故而知新

2015-07-30 07:56:36 420

原创 DT大数据梦工厂温故而知新之12讲

王家林亲授大数据开发语言《Scala深入浅出实战经典》（1-71讲全部视频、代码、PPT）下载，总共有140讲Scala视频！百度云：http://pan.baidu.com/s/1jGjFpWy腾讯微云：http://url.cn/TnGbdC360云盘：http://yunpan.cn/cQ4c2UALDjSKy 访问密码 45e2DT大数据梦工厂温故而知新

2015-07-30 06:45:40 271

空空如也

空空如也