- 博客(88)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 日志管理系统部署方法
原文来自：http://www.cnblogs.com/shantu/p/4589822.html因公司数据安全和分析的需要，故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用：安装，配置过程，使用情况等续一，glusterfs分布式文件系统部署： 说明： 公司想做网站业务日志
2016-03-10 09:18:58
3065
转载 Linux锁机制总结
在linux内核中，有很多同步机制。比较经典的有原子操作、spin_lock（忙等待的锁）、mutex（互斥锁）、semaphore（信号量）等。并且它们几乎都有对应的rw_XXX（读写锁），以便在能够区分读与写的情况下，让读操作相互不互斥（读写、写写依然互斥）。而seqlock和rcu应该可以不算在经典之列，它们是两种比较有意思的同步机制。atomic（原子操作）：所谓原子操作，就是该操
2015-10-28 10:14:24
824
转载 数据一致性的TongEASY解决之道
目前采用开放式系统的银行柜面业务处理系统，基本都是客户/服务器结构的，客户端需要通过介质多样的广域网与服务端通讯。由于网络的不可靠性，常常出现传输过程中交易数据的丢失，造成客户端与服务端的交易不完整或数据不一致，导致银行的资金风险和信誉风险。如何防范由于通讯原因产生的风险，如何控制数据的一致性，是任何一个客户/服务器结构的联机交易处理系统必须考虑的问题。一、 导致数据不一致的原因 在
2015-10-28 10:12:16
1263
转载 Web应用性能优化黄金法则
Web应用性能优化黄金法则：先优化前端程序(front-end)的性能，因为这是80%或以上的最终用户响应时间的花费所在。法则1. 减少HTTP请求次数80%的最终用户响应时间花在前端程序上，而其大部分时间则花在各种页面元素，如图像、样式表、脚本和Flash等，的下载上。减少页面元素将会减少HTTP请求次数。这是快速显示页面的关键所在。一种减少页面元素个数的方法是简化页面设
2015-07-29 11:07:35
507
转载 AMQP协议
AMQP即高级消息队列协议，接下来从三个方面来浅析该协议。一、协议 AMQP协议分层类似于OSI或TCP/IP协议分层。从图中可以看出分三层：图1 AMQP协议分层图1、Model Layer 规范服务器端Broker的行为。2、Session Layer 定义客户端与服务器端Broker的Context。3、Transport Layer
2014-06-24 11:28:44
797
转载 AMQP介绍
AMQP，即Advanced Message Queuing Protocol，高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。AMQP在消息提供者和客户端的行为进行了强制规定，使得不同卖商之间真正实现了互操作能力。JMS是早期消息中间件进行标准化的一个尝试，
2014-06-24 11:10:29
956
转载 互联网容灾
【纲要】常见事故及如何容灾逻辑层容灾数据层容灾容灾判定负载均衡，过载保护【常见事故及如何容灾】服务器故障死机 ------备份（硬件方案，软件方案）服务雪崩------负载均衡，过载保护网络环境恶劣------多运营商，异步部署就近服务程序core，负责人无法联系 ----- 自动拉起服务，备份负责人...【设计方案*逻辑层容灾】*容
2014-03-28 09:18:55
1742
转载 Linux服务器集群系统――LVS（Linux Virtual Server）－－IP负载均衡
IP负载均衡（LB的基于不同层面[应用层/IP层]的技术的优势对比）本文在分析服务器集群实现虚拟网络服务的相关技术上，详细描述了LVS集群中实现的三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）的工作原理，以及它们的优缺点。1.前言 在前面文章中，讲述了可伸缩网络服务的几种结构，它们都需要一个前端的负载调度器（或者多个进行主从备份）。我们先分析实现虚拟网络
2014-03-26 17:14:27
632
转载 Linux下跨服务器多log实时查看工具multitail使用
一、问题的背景上图为一般游戏后台服务器的可能架构。接入服务器负责管理玩家链接及收发包，SvrA/B/C为内部逻辑服务器处理各种游戏逻辑。各内部服务器通过Proxy来进行通信。 二、问题的引出在实际开发过程中，经常遇到这样的问题，客户端给服务器发送请求，但服务器没有返回，需要定位请求数据到底在哪里断了的情况。比如某个请求的处理过程为请求先到SvrA，然
2014-03-26 16:35:41
3347
转载 Linux文件系统十问
Linux文件系统十问--关于文件系统，你知道吗？ 关于文件系统，相信大家都不陌生。身为攻城狮的我们几乎天天都会与之打交道，但是细深剖一下，其中又有多少是我们理解深度不够的呢。那么让我们一起来看一下下面这一组Linux文件系统相关的问题吧：1、机械磁盘随机读写时速度非常慢，操作系统是采用什么技巧来提高随机读写的性能的？2、touch一个新的空文件占用磁盘空间吗？ 占用的话
2014-03-18 09:11:08
512
转载 LINUX共享内存使用常见陷阱与分析
LINUX共享内存使用常见陷阱与分析 所谓共享内存就是使得多个进程可以访问同一块内存空间，是最快的可用IPC形式。是针对其他通信机制运行效率较低而设计的。往往与其它通信机制，如信号量结合使用，来达到进程间的同步及互斥。其他进程能把同一段共享内存段“连接到”他们自己的地址空间里去。所有进程都能访问共享内存中的地址。如果一个进程向这段共享内存写了数据，所做的改动会即时被有访问
2014-03-17 19:10:37
727
转载 性能测试过程中的网络套接字优化设置
性能测试常见情况，client ->server如果两台机器间ping的时耗为 0.1ms，对于client ->server的纯TCP链接一个消息请求应答，在0.3ms左右应该比较正常。可是常常不是这样的，那你就要注意要对网络套接字进行优化设置了。也就是setsockopt() 的使用浅析setsockopt() ：http://blog.csdn.net/ast_224/archi
2014-03-17 19:07:10
498
转载 构建C1000K的服务器(2) – 实现百万连接的comet服务器
这是关于 C1000K 序列文章的第二篇, 在前一篇文章构建C1000K的服务器(1) – 基础 中, 介绍了支持 C1000K 的 Linux 系统的内核参数调整和系统设置. 在本篇文章中, 将对一个真正的应用服务器做 C1000K 测试.Comet 服务器是一类逻辑相对简单, 需要高并发连接的服务器. Comet 在网站系统中的应用非常广泛, 可以见这篇日志的介绍: http://
2014-03-12 17:03:18
1029
转载 构建C1000K的服务器(1) – 基础
著名的 C10K 问题提出的时候, 正是 2001 年, 到如今 12 年后的 2013 年, C10K 已经不是问题了, 任何一个普通的程序员, 都能利用手边的语言和库, 轻松地写出 C10K 的服务器. 这既得益于软件的进步, 也得益于硬件性能的提高.现在, 该是考虑 C1000K, 也就是百万连接的问题的时候了. 像 Twitter, weibo, Facebook 这些网站, 它们的同
2014-03-12 17:02:51
603
转载 重构：代码的味道与消除方法
在敏捷开发模式下，随着业务的发展，需求的变化，新功能的增加，人员的变更，软件需要不断的修改原有的功能、追加新的功能、修改发现的缺陷等等。对于部分很老的业务，软件也许已经经过几个、几十个、甚至上百个人的修改，面目全非。于是，bug越来越多，越来越难维护，新的需求越来越难实现，软件的构架对新的需求渐渐的失去支持能力。这就是这个软件系统的生命走到尽头的时候。 代码的味道是高水平程序员对
2014-03-12 09:55:20
1107
原创 PHP变量的内存布局、实现方法以及作用域
前段时间用PHP开发了一个QQGame的后台发布系统（http://km.oa.com/post/167989），觉得使用PHP开发一些组内的工具是非常方便的。后来就打算把PHP了解的深入一点，要知道，C/C++程序员总是喜欢探究某语言底层的实现，难道是没被各类内存问题虐够？想深入了解PHP的实现原理，推荐一本书：《TIPI：深入理解PHP内核》；看完之后，针对变量在PHP中如何存放，做了
2014-03-11 19:32:40
1115
原创 mysql_escape_string导致的数据回滚
2013年08月22日，一个关于用户数据的血案导致两位开发人员，一位DBA，一位业务运维通宵加班恢复用户数据，史称822血案；此血案由一个名叫mysql_escape_string的函数导致；下面将此血案的发现、初步解决、定位以及最终解决的过程记录如下，涉及到相关的知识点也顺便记录。【血案出现】8.22上午9点，开发接到数单用户投诉，用户投诉的具体内容为：半小时前登录XX游戏，
2014-03-11 17:35:21
1552
原创 消息订阅系统的演变过程
1 背景介绍为了提高用户体验、数据分析统计，数据中转，各游戏也都有自己的消息中转订阅系统，其实现方式也各有千秋；如下例场景需求数据统计分析侧：XX统计系统订阅XX消息，收到事件时分析情况做统计和存储用户体验侧：营销消息模块订阅XX事件，收到事件后将营销提示语反馈给游戏系统营销活动侧：游戏时长达到一定时间后，给玩家发XX福利。当时长符合某种阀值后，需要给玩家一个提
2014-03-11 17:29:19
934
转载 大型网站架构演变和知识体系
之前也有一些介绍大型网站架构演变的文章，例如LiveJournal的、ebay的，都是非常值得参考的，不过感觉他们讲的更多的是每次演变的结果，而没有很详细的讲为什么需要做这样的演变，再加上近来感觉有不少同学都很难明白为什么一个网站需要那么复杂的技术，于是有了写这篇文章的想法，在这篇文章中 将阐述一个普通的网站发展成大型网站过程中的一种较为典型的架构演变历程和所需掌握的知识体系，希望能给想从事互联网
2014-03-11 17:21:48
429
转载 反向代理服务器的工作原理
一 概述 反向代理（Reverse Proxy）方式是指以代理服务器来接受Internet上的连接请求，然后将请求转发给内部网络上的服务器；并将从服务器上得到的结果返回给Internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器。 通常的代理服务器，只用于代理内部网络对Internet的连接请求，
2014-02-11 20:35:01
473
转载 TCP协议难点全景解析
【本文系外部转贴，原文地址：http://blog.csdn.net/dog250/article/details/6612496】本文的原始版本来自 http://blog.csdn.net/dog250/article/details/6612496在原始版本的基础上我加了一些详细说明和自己理解。 说明：1).本文以TCP的发展历程解析容易引起混淆，误会的方
2013-11-27 09:13:12
2220
转载 Perf -- Linux下的系统性能调优工具
Perf -- Linux下的系统性能调优工具http://www.ibm.com/developerworks/cn/linux/l-cn-perf1/?jumpfrom=wenwenweekly
2013-10-08 10:18:58
856
转载 localtime_r在多线程环境下可能存在死锁
localtime_r是localtime的线程安全版本,在localtime的手册中描述如下:Attention: Do not use the ctime, localtime, gmtime, or asctime subroutine in a multithreaded environment. See the multithread alterna
2013-08-28 11:45:45
2830
转载 MySQL数据库表修复
今天遇到个数据库链接不上的问题MYsql报错是：/usr/local/mysql/libexec/mysqld: Table 'XXXXXX' is marked as crashed and should be repaired和DBA一起查原因，发现mysql在09年启动的，没啥问题；然后重启mysql，依旧未能解决；细看是表的问题，说需要repaired；
2013-04-28 10:32:20
670
转载 TFS（Taobao FileSystem）
原文http://code.taobao.org/p/tfs/wiki/intro/简介TFS（Taobao !FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，满足了淘宝对小文件存储的需求，被广泛
2013-02-25 09:44:17
563
转载 linux下动态库的升级方法
在替换so文件时，如果在不停程序的情况下，直接用 cp new.so old.so 的方式替换程序使用的动态库文件会导致正在运行中的程序崩溃。解决的办法是采用“rm＋cp” 或“mv＋cp” 来替代直接“cp” 的操作方法。linux系统的动态库有两种使用方法：运行时动态链接库，动态加载库并在程序控制之下使用。1、为什么在不停程序的情况下，直接用 cp 命令替换程序使用的 so 文件，
2013-01-15 10:50:14
1987
转载 MySQL学习资源汇总
以下是收集的一些关于Mysql内核学习的网站和资料，并不断更新中。 官方资源1. Mysql Manual（严格来说，除了它其他都是浮云）http://dev.mysql.com/doc/refman/5.5/en/index.html2. Mysql Internals官方介绍，wiki形式，收集了一些专题，讲得很深入http://forge.mysql.com/wiki
2012-12-31 09:15:22
608
转载 由浅入深探究mysql索引结构原理、性能分析与优化
本文系外部转贴，原文地址：http://www.phpben.com/?post=74】摘要：第一部分：基础知识第二部分：MYISAM和INNODB索引结构1、 简单介绍B-tree B+ tree树2、 MyisAM索引结构3、 Annode索引结构4、 MyisAM索引与InnoDB索引相比较第三部分：MYSQL优化1、表数据类型选择
2012-11-02 09:20:02
461
转载 proc文件系统详解
Linux系统上的/proc目录是一种文件系统，即proc文件系统。与其它常见的文件系统不同的是，/proc是一种伪文件系统（也即虚拟文件系统），存储的是当前内核运行状态的一系列特殊文件，用户可以通过这些文件查看有关系统硬件及当前正在运行进程的信息，甚至可以通过更改其中某些文件来改变内核的运行状态。基于/proc文件系统如上所述的特殊性，其内的文件也常被称作虚拟文件，并具有一些独特的特点。
2012-09-25 17:58:34
680
转载 TLV 格式及编码
一种可变格式，TLV的意思就是：Type类型， Lenght长度，Value值；Type和Length的长度固定，一般那是2、4个字节；Value的长度有Length指定；解析方法： 1.读取type 转换为ntohl、ntohs转换为主机字节序得到类型；指针偏移+2或4 2.读取lenght，转换为ntohl、ntohs转换为主机字节序得到长度；指针偏移+
2012-09-24 15:10:56
1374
转载 linux 0号进程 1号进程 区别
系统允许一个进程创建新进程，新进程即为子进程，子进程还可以创建新的子进程，形成进程树结构模型。整个linux系统的所有进程也是一个树形结构。树根是系统自动构造的，即在内核态下执行的0号进程，它是所有进程的祖先。由0号进程创建1号进程（内核态），1号负责执行内核的部分初始化工作及进行系统配置，并创建若干个用于高速缓存和虚拟主存管理的内核线程。随后，1号进程调用execve（）运行可执行程序init，
2012-09-12 20:34:04
587
转载 UNIX IO---文件描述符
在C程序中，文件由文件指针或者文件描述符表示。ISO C的标准I/0库函数（fopen, fclose, fread, fwrite, fscanf, fprintf等）使用文件指针，UNIX的I/O函数（open, close, read, write, ioctl）使用文件描述符。下面重点来说下，文件描述符是如何工作的。 文件描述符相当于一个逻辑句柄，而open,close等函数则是将
2012-09-12 20:31:36
478
转载 NoSQL入门文章推荐
很成体系的NoSQL专栏文章。NoSQL开篇——为什么要使用NoSQLhttp://www.infoq.com/cn/news/2011/01/nosql-why 关系数据库还是NoSQL数据库http://www.infoq.com/cn/news/2011/01/relation-db-nosql-dbNoSQL架构实践（一）——以NoSQL为辅
2012-06-06 09:16:35
1281
转载 HTTP POST GET 本质区别详解
一原理区别 一般在浏览器中输入网址访问资源都是通过GET方式；在FORM提交中，可以通过Method指定提交方式为GET或者POST，默认为GET提交Http定义了与服务器交互的不同方法，最基本的方法有4种，分别是GET，POST，PUT，DELETEURL全称是资源描述符，我们可以这样认 为：一个URL地址，它用于描述一个网络上的资源，而HTTP中的GET，POST，PUT，D
2012-05-10 09:59:27
352
转载 深入理解JavaScript的闭包
from:http://sd.csdn.net/a/20120307/312812.html前言：JavaScript中有几个非常重要的语言特性——对象、原型继承、闭包。其中闭包对于那些使用传统静态语言C/C++的程序员来说是一个新的语言特性。本文将以例子入手来介绍JavaScript闭包的语言特性，并结合一点ECMAScript语言规范来使读者可以更深入的理解闭包。本文是入门文章，例子素
2012-05-08 12:45:48
335
转载 linux后台开发常用调试工具
一、编译阶段nm 获取二进制文件包含的符号信息strings 获取二进制文件包含的字符串常量strip 去除二进制文件包含的符号readelf 显示目标文件详细信息objdump 尽可能反汇编出源代码addr2line 根据地址查找代码行二、
2012-05-07 14:37:13
3427
转载 linux高级工具命令(一)strace
strace命令用法 ldd命令行用法如下: ldd [--version] [-v|--verbose] [-d|--data-relocs] [-r|--function-relocs] [--help] FILE...各选项说明如下: (1) --version : 此选项用于打印出ldd的版本号. (
2012-04-20 10:41:37
931
转载 linux下MYSQL初学者使用指南
【本文系外部转载，原文地址：http://laozhao.blog.51cto.com/blog/25213/7653】 一、连接mysql。格式： mysql -h主机地址 -u用户名 －p用户密码1、 例1：连接到本机上的mysql。首先在打开DOS窗口，然后进入目录mysql\bin，再键入命令mysql -uroot -p， 回车后提示你输密码，如果刚安装好
2012-04-18 15:43:00
519
转载 2012中国数据库技术大会
【本文系外部转载，原文地址：http://www.itpub.net/thread-1603029-1-1.html】所涉及的技术话题领域将包括： 1、数据库架构设计（分布式、集群、数据切分等）2、数据库备份、容灾设计3、数据库性能调优（性能优化）4、数据库监控、瓶颈诊断5、商业智能（数据分析、数据仓库） 6、数据库访问安全设计7、数据库自动化运维（如何通过
2012-04-18 15:13:39
1874
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人