__Jone-CSDN博客

转载系统分布式情况下最终一致性方案梳理

前言目前的应用系统，不管是企业级应用还是互联网应用，最终数据的一致性是每个应用系统都要面临的问题，随着分布式的逐渐普及，数据一致性更加艰难，但是也很难有银弹的解决方案，也并不是引入特定的中间件或者特定的开源框架能够解决的，更多的还是看业务场景，根据场景来给出解决方案。根据笔者最近几年的了解，总结了几个点，更多的应用系统在编码的时候，更加关注数据的一致性，这样系统才是健壮的。

2016-08-25 15:03:28 1310

转载 dubbox 的各种管理和监管

dubbo官方自带了dubbo-admin及dubbo-simple/dubbo-monitor-simple二个子项目用于服务治理及服务监控。一、dubbo-admin的部署这个比较简单，编译打包成功后，将dubbo-admin/target/dubbo-admin-2.8.xxx.war 复制到jetty、tomcat下的webapps就算完成部署了(当然，也可以部署到其它兼容的se

2016-07-29 11:43:33 5491 1

转载 Flume安装配置实践

Flume采集处理日志文件Flume简介Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。系统功能日志收集Flume最

2016-07-20 15:33:17 1768 1

转载绝佳日志实践

前言日志用来记录用户操作、系统运行状态等，是一个系统的重要组成部分。然而由于日志并非系统核心功能，通常情况下并不受团队的重视。在出现问题需要通过日志来定位时，才发现日志还存在很多问题。日志记录的好坏直接关系到系统出现问题时定位的速度，同时可以通过对日志的观察和分析，提前发现系统可能的风险，避免线上事故的发生。我们在开发和运维NOS（网易对象存储，Netease Object Sto

2016-06-19 17:11:26 765

转载速度与性能·系统优化之道

速度与性能·系统优化之道系统优化七牛云存储(牛小七) · 2015-09-28 17:47速度与性能，是系统优化最重要的指标，在网站和移动业务快速成长的今天，无论在系统搭建之初，还是在规模扩大阶段，都要充分考虑到系统架构的优化和性能的维护，以应对未来在稳定性、扩展性以及响应速度方面的要求。在七牛“开发者最佳实践日·第16期－速度与性能·系统优化之道”上，On

2016-06-19 16:26:59 1350

转载 15种最佳系统日志优化实践

前言日志用来记录用户操作、系统运行状态等，是一个系统的重要组成部分。然而由于日志并非系统核心功能，通常情况下并不受团队的重视。在出现问题需要通过日志来定位时，才发现日志还存在很多问题。日志记录的好坏直接关系到系统出现问题时定位的速度，同时可以通过对日志的观察和分析，提前发现系统可能的风险，避免线上事故的发生。我们在开发和运维NOS（网易对象存储，Netease Object S

2016-05-28 18:36:10 3955

转载 API网关(API Gateway)

模式：API网关背景我们假设你使用微服务模式创建一个在线商店，并正在实现商品详情页面。你需要开发多个版本的商品详情用户界面：用于桌面和手机浏览器的基于HTML5/JavaScript的UI - HTML通过服务端web应用生成本地Android和iPhone客户端 - 这些客户端通过REST API与服务器交互另外，在线商店应该通过REST API为

2016-05-06 10:33:23 7715

转载在线文档预览方案-office web apps

在线文档预览方案-office web apps　　最近在做项目时，要在手机端实现在线文档预览的功能。于是百度了一下实现方案，大致是将文档转换成pdf，然后在通过插件实现预览。这些方案没有具体实现代码，也没有在线预览的地址，再加上项目时间紧迫。只能考虑其它方案，这时微软的office web apps方案映入眼帘,于是和同事一起用一台PC机折腾了几天终于完成了部署，希望通过本篇记录下安

2016-04-27 13:54:21 1903

转载 mysql 常用技术

MySQL性能优化的21个最佳实践和 mysql使用索引今天，数据库的操作越来越成为整个应用的性能瓶颈了，这点对于Web应用尤其明显。关于数据库的性能，这并不只是DBA才需要担心的事，而这更是我们程序员需要去关注的事情。当我们去设计数据库表结构，对操作数据库时(尤其是查表时的SQL语句)，我们都需要注意数据操作的性能。这里，我们不会讲过多的SQL语句的优化，而只是针对MySQL这一W

2016-04-22 14:50:12 789

转载互联网保险O2O平台微服务架构设计

微服务架构互联网保险O2O平台微服务架构设计关于架构，笔者认为并不是越复杂越好，而是相反，简单就是硬道理也提现在这里。这也是微服务能够流行的原因，看看市场上曾经出现的服务架构：EJB、SCA、Dubbo等等，都比微服务先进，都比微服务功能完善，但它们都没有微服务这么深入民心，就是因为他们过于复杂。简单就是高科技，苹果手机据说专门有个团队研究如何能让用户更加简单的操作。大公司都

2016-04-21 23:09:08 7727

转载解析微服务架构（一）单块架构系统以及其面临的挑战

概述多年来，我们一直在技术的浪潮中乘风破浪，扬帆奋进，寻找更优秀的方法来构建IT系统，也一直在积极的学习并观察先进的公司如何以不同的架构方式构建或者优化其IT系统，来积极应对市场的变化，迅速做出响应，从而为客户提供更多的价值。微服务架构模式（Microservice Architect Pattern）是近两年在软件架构模式领域里出现的一个新名词。虽然其诞生的时间不长，但其在各种演讲、文章

2016-04-18 11:28:09 1480

转载实现电商平台从业务到架构的治理体系

架构师（JiaGouX）我们都是架构师！我今天讲的内容包括四个部分：唯品会的业务体系、唯品会的技术发展、电商运营平台关键设计合架构的设计与治理。VIP不同阶段发展历程的商业模式演进唯品会在2008年12月创立，一直到2012年，唯品会在做的主要事件就是尾货的抛售，做线上的outlets商家。这种商业模式就是帮别人消化库存，但是这个库存

2016-04-14 23:07:21 1797

转载大数据架构师基础：hadoop家族，Cloudera系列产品介绍

大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。我们可以带着下面问题来阅读本文章：1.hadoop都包含什么技术？2.Cloudera公司与hadoop的关系是什么，都有什

2016-03-15 13:36:43 4051

原创 centos7 docker 安装hadoop 2.7.2记录

docker常用命令：运行镜像：docker run -i -t centos /bin/bash提交镜像：docker commit 3a09b2588478 ubuntu:mynewimage挂载目录：docker run --privileged=true -v /home/admin/Downloads:/mnt -i -t centos复制文件

2016-03-13 23:08:47 1851

转载 docker快速搭建hadoop集群

学习Hadoop集群环境搭建是Hadoop入门必经之路。搭建分布式集群通常有两个办法：要么找多台机器来部署（常常找不到机器）或者在本地开多个虚拟机（开销很大，对宿主机器性能要求高，光是安装多个虚拟机系统就得搞半天……）。那么，问题来了！有没有更有可行性的办法？提到虚拟化，Docker最近很是火热！不妨拿来在本地做虚拟化，搭建Hadoop的伪分布式集群环境。虽然有点大材小用，但是

2016-03-13 17:15:05 975

原创 redis 常用整理

一、Redis介绍 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。 Redis能运行在大多数POSIX(Linux, *BSD, OS X 和Solaris等)系统上，官方没有支持Windows的版本。目前最新的版本是2.2.

2016-03-01 13:58:24 1839

转载一个小工具完成对memcached/kt/mongodb/redis的性能监测

虽然有很多开源工具通过插件或其它方式可以监测这些开源组件提供的内在性能（所谓内在性能就是这些开源组件提供的类STAT命令获取到的数据），但是不管是部署还是扩展都很麻烦，其实花1-2天时间完全可以实现一个这样的工具，并且扩展起来也很方便。比如mongodb的：又比如redis的：这个工具实现的功能如下：1）只需要简单配置（在DEMO代码里我硬编码了，您完全可以改为通过配置

2016-02-25 22:16:22 611

转载 Redis 监控工具 Redis-monitor

Redis 监控工具 Redis-monitor2015年11月20日SoftWare暂无评论阅读 198 次 Redis-monitor 一个 web 可视化的 redis 监控程序。使用 Flask + sqlite，非常轻量级，非常容易使用和部署。欢迎 issue 和 pr。https://github.com/hustcc/redis-monitor What监

2016-02-23 15:44:24 3799 4

转载 redis 的两种持久化方式及原理

Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务器。Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)；也可以

2016-02-22 18:07:03 2100

转载国内外三个不同领域巨头分享的Redis实战经验及使用场景

随着应用对高性能需求的增加，NoSQL逐渐在各大名企的系统架构中生根发芽。这里我们将为大家分享社交巨头新浪微博、传媒巨头Viacom及图片分享领域佼佼者Pinterest带来的Redis实践，首先我们看新浪微博@启盼cobain的Redis实战经验分享：新浪微博：史上最大的Redis集群Tape is Dead，Disk is Tape，Flash is Disk，RAM Locali

2016-02-22 18:06:38 689

在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm，它是一个实时处理系统，它为实时处理类应用提供了一个计算模型，可以很容易地进行编程处理。为了统一离线和实时计算，一般情况下，我们都希望将离线和实时计算的数据源的集合统一起来作为输入，然后将数据的流向分别经由实

2016-02-18 14:03:42 541

转载 Docker 常用命令

Docker 容器相对于虚拟机而言，除了在技术实现上完全不一样以外，启动速度较虚拟机而言有本质的飞跃，启动一个容器只在眨眼瞬间。不管是虚拟机还是 Docker 容器，它们都是为了隔离应用程序的运行环境，节省我们的硬件资源，为我们开发人员提供福利。安装 Docker只需通过以下命令即可安装 Docker 软件：rpm -U

2016-02-16 11:14:44 2176

转载 Android学习路线

Android学习路线第一阶段：Java面向对象编程1.Java基本数据类型与表达式，分支循环。 2.String和StringBuffer的使用、正则表达式。 3.面向对象的抽象，封装，继承，多态，类与对象，对象初始化和回收；构造函数、this关键字、方法和方法的参数传递过程、static关键字、内部类，Java的垃极回收机制，Javadoc介绍。 4

2016-02-01 00:49:16 411

转载微信、陌陌等著名IM软件设计架构详解

对微信、陌陌等进行了分析，发出来分享一下（时间有些久了）电量：对于移动设备最大的瓶颈就是电量了。因为用户不可能随时携带电源，充电宝。所以必须考虑到电量问题。那就要检查我们工程是不是有后台运行，心跳包发送时间是不是合理。流量：对于好多国内大部分屌丝用户来说可能还是包月30M，那么我们必须站在广大用户角度来考虑问题了。一个包可以解决的就一个包。网络：这个也是IM最核心的内容了，

2016-01-28 15:09:50 1459

原创 netty 高并发实战

linux 内核参数修改“Cannot assign requested address.”是由于linux分配的客户端连接端口用尽，无法建立socket连接所致，虽然socket正常关闭，但是端口不是立即释放，而是处于TIME_WAIT状态，默认等待60s后才释放。vi /etc/sysctl.conf#fs.file-max：表示文件句柄的最大数量。文件句柄表示在Lin

2016-01-23 21:56:13 16890

转载 MQTT协议简记

MQTT - MQ Telemetry Transport 轻量级的 machine-to-machine 通信协议。publish/subscribe模式。基于TCP/IP。支持QoS。适合于低带宽、不可靠连接、嵌入式设备、CPU内存资源紧张。是一种比较不错的Android消息推送方案。FacebookMessenger采用了MQTT。MQTT有可能成为物联网的重要协议。

2016-01-21 00:47:09 684

转载 2MSL TCP三次握手连接与四次握手关闭过程

TCP连接与关闭过程在TCP/IP协议中，TCP协议提供可靠的连接服务，采用三次握手建立一个连接，如图1所示。（1）第一次握手：建立连接时，客户端A发送SYN包（SYN=j）到服务器B，并进入SYN_SEND状态，等待服务器B确认。（2）第二次握手：服务器B收到SYN包，必须确认客户A的SYN（ACK=j+1），同时自己也发送一个SYN包（SYN=k），即SYN+ACK包，

2016-01-12 00:23:21 741

转载 Aio--Java异步IO的 Socket Demo

http://blog.csdn.net/xxb2008 [java] view plaincopyprint?package com.vdebug.aio.socket; import java.io.IOException; import java.net.InetSocketAddress; import java.net.Stand

2016-01-08 22:05:35 450

转载服务治理过程演进

在大规模服务化之前，应用可能只是通过RMI或Hessian等工具，简单的暴露和引用远程服务，通过配置服务的URL地址进行调用，通过F5等硬件进行负载均衡。(1) 当服务越来越多时，服务URL配置管理变得非常困难，F5硬件负载均衡器的单点压力也越来越大。此时需要一个服务注册中心，动态的注册和发现服务，使服务的位置透明。并通过在消费方获取服务提供方地址列表，实现软负载均衡和Fa

2016-01-07 16:07:11 425

转载系统架构-基础篇-（高性能基础建设说明与选型条件）

本文牵扯的面积可能会比较泛，或者说比较大，在这个层面很多人也有自己的见解，所以我这也仅仅是抛砖引玉，结合前面讲述的一些基础技术，从思想中阐述更为深入的架构思想基础，因为最好的架构思想是架构师结合实际情况思考出来最适合的架构，这里仅仅说明下一些常用的原理和思想，主要包含的内容有（内容很泛，所以都是简单阐述入门知识，具体后续深入探讨）：1、app切分集群组扩展2、app集群组负载均衡

2016-01-05 00:43:20 696

转载系统架构-性能篇章1（应用系统性能1）

在前面的文章中，说了很多JVM和数据库方面的东西，我所描述的内容大多偏重于技术本身，和实际的业务系统结合的比较少，本文开始进入实际的系统设计中应当注意的方方面面（文章偏重于访问量高，但是每次访问量并不是很大的系统），而偏重点在于性能和效率本身，由于这个知识涉及的基础和面很广，所以建议是先看下以前写的内容或自己有一定的基础来才开始接触比较好，另外本文也不能诠释性能的关键，从一个应用系统前端到后端涉及

2016-01-05 00:42:39 522

转载系统架构-性能篇章1（应用系统性能2-OOM&参数配置）

对于JVM的内存写过的文章已经有点多了，而且有点烂了，不过说那么多大多数在解决OOM的情况，于此，本文就只阐述这个内容，携带一些分析和理解和部分扩展内容，也就是JVM宕机中的一些问题，OK，下面说下OOM的常见情况：第一类内存溢出，也是大家认为最多，第一反应认为是的内存溢出，就是堆栈溢出：那什么样的情况就是堆栈溢出呢？当你看到下面的关键字的时候它就是堆栈溢出了：j

2016-01-05 00:41:44 835

转载系统架构-性能篇章2（系统拆分1）

系统为什么拆分？系统做大了，并发量无法扛得住，如何做？业务做复杂了，单个应用中不能个性化，如何做？模块和逻辑对各类资源开销非常特殊，如何做？。。。。。。拆分、拆分、再拆分。由全世界用一个系统表达全世界所有的企业和公司的业务开始，注定系统做大后必然拆分的走向，也就是一个大力士无法完成成千上万群众所能做到的一件大事，高集成度的硬件和软件解决方案，为传

2016-01-05 00:39:35 1381

转载后台服务部署拆分原则后台服务优化原则

之前的《后台服务优化原则》中提到后台service的一些拆分原则，也就是单个服务内对外接口拆分的一些原则。其实，在服务部署时，也会有一些不同的部署策略，来实现另一种意义上的拆分。最重要的作用在于「防火隔离」。按请求来源渠道拆分不同的请求来源，请求量必然不太一致。不同来源的请求被分发到各自的一组机器上，起到相互隔离的作用，服务出现问题时，只影响特定来源请求；某个来源渠道请求量上涨或者

2016-01-04 23:30:23 2545

转载 lvs、haproxy、nginx 负载均衡的比较分析

2016-01-04 23:19:34 345

转载淘宝技术发展

淘宝技术发展作者: 赵超发布时间: 2012-02-25 11:32 阅读: 155444 次推荐: 145 原文链接 [收藏] 　　目录　　一、引言　　二、个人网站　　三、Oracle/支付宝/旺旺　　四、淘宝技术发展（Java时代：脱胎换骨）　　五、淘宝技术发展（Java时代：坚若磐石）　　六、淘宝技术发展（Java时代：创造技术-TF

2016-01-04 21:59:11 2090

转载数据库分库分表(sharding)系列(三) 关于使用框架还是自主开发以及sharding实现层面的考量

当团队对系统业务和数据库进行了细致的梳理，确定了切分方案后，接下来的问题就是如何去实现切分方案了，目前在sharding方面有不少的开源框架和产品可供参考，同时很多团队也会选择自主开发实现，而不管是选择框架还是自主开发，都会面临一个在哪一层上实现sharding逻辑的问题，本文会对这一系列的问题逐一进行分析和考量。本文原文连接:http://blog.csdn.net/bluishglc/

2016-01-03 21:01:55 380

转载大型网站架构演化

大型网站架构演化特点：高并发、大流量高可用海量数据用户分布广泛、网络情况复杂安全环境恶劣需求快速变更、发布频繁渐进式开发演化发展历程0. 演变原因在现有架构下，我们来看看数据存储的瓶颈是什么？数据量的总大小一个机器放不下数据的索引（B+ Tree）一个机器的内存放不下访问量（读写混合）一个实例不能承受

2016-01-03 00:27:01 959

转载软件设计之模块划分

在一些小型的项目当中，由于项目的关系简单，规模较小，所以有时候负责完成项目的往往是一个人或者几个人。这个时候对于模块的概念和应用显得很少，因为项目规模较小的原因，模块划分的重要性难以体现。但是，在一些大型项目中，就必须充分考虑到模块划分，因为参与项目的人数往往有很多人，同时人员变动很大。如果不充分进行模块划分的话，那么就会造成很严重的问题。这就相当于在乡下盖房子，可以自己几个人承包下来，也不需要设

2016-01-02 23:28:54 2862 1

easyui-theme-package

软件开发这点事

空空如也