- 博客(28)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 Linux下使用异步 I/O 大大提高应用程序的性能
Linux® 中最常用的输入/输出（I/O）模型是同步 I/O。在这个模型中，当请求发出之后，应用程序就会阻塞，直到请求满足为止。这是很好的一种解决方案，因为调用应用程序在等待 I/O 请求完成时不需要使用任何中央处理单元（CPU）。但是在某些情况中，I/O 请求可能需要与其他进程产生交叠。可移植操作系统接口（POSIX）异步 I/O（AIO）应用程序接口（API）就提供了这种功能。在本文中，我们
2009-11-11 06:41:00
1359
原创 深入探索Linux coredump调试技巧
1. coredump产生的原理和局限 1.1. 如何产生core文件 要素一，必须有信号产生： 从上面的信号定义和说明可以看出，进程中止前肯定会产生信号，然后内核根据信号的类型来决定是否要产生core文件。要素二，编译器支持：
2009-10-15 17:01:00
15125
5
原创 国际化开发技术FAQ
什么是国际化开发？ 答：指应用程序能够支持不同的语言输入和显示，同时也能够自如的适应不同文化的习俗。 字节、字符、字符集和字符集编码的关系？ 答：计算机底层处理的最小单位是字节（8 位二进制表示）。 字符是表示一个有意义的符号或文字。 字符集是由一组相关的字符所组成的集合。比如说德文字符集只与德文相关，中文字符集只与中文相关，不会互相包含。 字符集编码是解决字符在计
2009-07-21 17:29:00
1767
原创 搭建Hive的图形界面
添加war包到hive的lib目录：下载添加到/usr/lib/hive/lib/hive-hwi-0.9.0-cdh4.1.0.war添加配置到hive-site.xml hive.hwi.listen.host 0.0.0.0 This is the host address the Hive Web Interface wil
2013-06-10 11:13:34
5928
1
原创 Sqoop部署和导数据
安装：tar –xzvf sqoop-1.4.1-cdh4.1.0.tar.gzadd sqljdbc4.jar into /usr/lib/sqoop/lib设置PATHexport SQOOP_HOME=/usr/lib/sqoopexport ANT_LIB=/home/op1/jasonliao/apache-ant-1.9.0/libexport PA
2013-06-10 11:10:59
2871
原创 Hive环境配置
1、安装rpm包 1）包选择：hive、hive-metastore、hive-server2 2）安装： sudo yum install hive sudo yum install hive-metastore sudo yum install hive-server2 3）hive-server版本有点老，推荐使用hive-s
2013-06-10 11:09:49
1916
1
原创 Hive和Hbase整合
整合hbase和hive： 1. 在hive-site.xml里面添加： hive.aux.jars.path file:///usr/lib/hive/lib/hive-hbase-handler-0.9.0-cdh4.1.0.jar,file:///usr/l
2013-06-10 10:57:49
1247
转载 一致性hash算法( consistent hashing )
consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees中被提出，目前在 cache 系统中应用越来越广泛； 1 基本场景比如你有 N 个 cache 服务器（后面简称 cache ），那么如何将一个对象 object 映射到 N 个 cache 上呢，你很可能会采用类似下面的通用方法计算 object
2012-05-24 10:53:42
918
原创 IE缓存管理研究
引言<br />关于IE缓存管理方面的资料非常少，网上虽然有部分文章介绍，也有工具下载（如搜索缓存或清除缓存等），但都不够全面和深入。<br />另外，IE缓存管理主要依赖几个index.dat文件和wininet库，而MSDN对wininet库的帮助非常简单，而且没有示例代码。<br />网上能够找到的资料大部分都是对wininet的http协议处理接口方面的介绍，对于缓存处理部分介绍的很少，加上这部分接口定义得有点晦涩，所以让人觉得有点困绕。<br />本文结合自己的项目经验，对IE的缓存机制，特别是w
2011-03-10 11:20:00
4796
3
原创 代码覆盖率工具BullseyeCoverage研究
在做单元测试时，代码覆盖率常常被拿来作为衡量测试好坏的指标，甚至，用代码覆盖率来考核测试任务完成情况，比如，代码覆盖率必须达到80％或 90％。代码覆盖率也可以检查代码设计得是否紧凑。
2010-08-10 16:17:00
3329
16
原创 代码覆盖率工具BullseyeCoverage研究
1. 术语定义1.1. 代码覆盖率<br />代码覆盖率=代码的覆盖程度，一种度量方式。1.2. 语句覆盖(StatementCoverage)<br />又称行覆盖(LineCoverage)，段覆盖(SegmentCoverage)，基本块覆盖(BasicBlockCoverage)，这是最常用也是最常见的一种覆盖方式，就是度量被测代码中每个可执行语句是否被执行到了。<br />这里说的是“可执行语句”，因此就不会包括像C＋＋的头文件声明，代码注释，空行，等等。非常好
2010-08-10 16:16:00
20068
113
原创 代码覆盖率工具BullseyeCoverage研究
1. 术语定义1.1. 代码覆盖率<br />代码覆盖率=代码的覆盖程度，一种度量方式。1.2. 语句覆盖(StatementCoverage)<br />又称行覆盖(LineCoverage)，段覆盖(SegmentCoverage)，基本块覆盖(BasicBlockCoverage)，这是最常用也是最常见的一种覆盖方式，就是度量被测代码中每个可执行语句是否被执行到了。<br />这里说的是“可执行语句”，因此就不会包括像C＋＋的头文件声明，代码注释，空行，等等。非常好
2010-08-10 16:16:00
3145
19
转载 转载：epoll精髓
在linux的网络编程中，很长的时间都在使用select来做事件触发。在linux新的内核中，有了一种替换它的机制，就是epoll。相比于select，epoll最大的好处在于它不会随着监听fd数目的增长而降低效率。因为在内核中的select实现中，它是采用轮询来处理的，轮询的fd数目越多，自然耗时越多。并且，在linux/posix_types.h头文件有这样的声明：#define _
2009-11-06 13:43:00
703
转载 转载：HeapAlloc和GlobalAlloc以及VirtualAlloc三者之间的关系
VirtualAlloc一次分配1PAGE以上的RAM. 每次分配都是PAGE的整数倍.你不会想为了分配1个BYTE的空间而浪费剩下的4095字节. OK. 你可以自己写算法,多分配几PAGE. 然后每次分配少量数据时就从那几PAGE中划分出来. 什么? 你笨到不会写分配算法? 好巴 KERNEL32给你一个解决办法. 用HeapAlloc/GlobalAlloc分配RAM. 这
2009-10-31 21:02:00
792
原创 SQL表连接方式详解
连接可以在SELECT 语句的FROM子句或WHERE子句中建立，似是而非在FROM子句中指出连接时有助于将连接操作与WHERE子句中的搜索条件区分开来。所以，在Transact-SQL中推荐使用这种方法。 SQL-92标准所定义的FROM子句的连接语法格式为： FROM join_table join_type join_table [ON (join_cond
2009-10-21 13:40:00
935
转载 Astyle代码格式化工具简明指南
astyle是一个我自己常用的开放源码工具。它可以方便的将程序代码格式化成自己想要的样式而不必人工修改。本来嘛，作为高等生物应该优先去做一些智慧的事情，而不是把时间消耗在机器可以完美完成的事情上。想要立刻开始？请先去主页http://sourceforge.net/projects/astyle下载最新版本。可以选择二进制版本，也可以下载源码自行编译。总之得到可执行文件后请将astyle放
2009-10-20 13:41:00
1730
原创 VNC协议分析
简介VNC(Virtual Network Computing)是基于RFB（Remote Frame Buffer）协议进行通信的，是一个基于平台无关的简单显示协议的超级瘦客户系统，由Cambridge的AT&T实验室设计开发的。vnc的缺省端口是main:5900（C/S）和http:5800（B/S）端口。RFB (远程帧缓存) 是一个远程图形用户的简单协议，因为它工作在
2009-10-20 05:09:00
39401
8
原创 服务器负载均衡技术
背景介绍：由于网络的数据流量多集中在中心服务器一端，所以现在所说的负载均衡，多指的是对访问服务器的负载进行均衡（或者说分担）措施。负载均衡，从结构上分为本 地负载均衡和地域负载均衡(全局负载均衡)，前一种是指对本地的服务器集群做负载均衡，后一种是指对分别放置在不同的地理位置、在不同的网络及服务器群集 之间作负载均衡。 每个主机运行一个所需服务器程序的独立拷贝，诸如Web、FTP、Telne
2009-10-16 09:46:00
8248
原创 windows底层内存管理技术
1.1. 物理地址在物理存储器上的内存地址，一般由内核管理，应用程序无法直接得到。1.2. 虚拟地址在进程私有空间中的地址，即应用程序指针所指向的地址值。1.3. 寻址空间进程所能够范围的地址空间范围，跟指针的位数有关，指针的位数取决于cpu字长，32位指针的地址空间范围为4GB，64位指针的地址空间范围为1 6 E B。2. windows内存结构2.1. 虚拟地址空
2009-10-16 09:27:00
4934
原创 wine移植研究文档
1. wine介绍1.1. 历史背景Wine 项目起始于 1993年，由Bob Amstadt及Eric Youngdale发起的，它的根源可以追溯到 90 年代早期出现的用于 UNIX的DOS和Windows 模拟器。最开始是MIT的一个实验室项目，后来改为GPL授权。Wine 项目最初是将 16位的应用程序移植到 Linux，而几年之后，已可以在 Linux上运行
2009-10-16 09:16:00
2540
原创 MySQL备份与恢复技巧
1. 为什么要备份数据库对数据库来说，最重要也最容易被忽视的就是备份。由于不可预测性，偶然的事件可能会导致非常惨重的损失。数据越是重要，数据的变化越频繁，备份越发需要经常进行。备份周期根据不同业务的需要可以调整，但是不能忽视备份。备份时最好也备份my.cnf或my.ini，这样可以保存你以前的配置参数。2. MyISAM表备份/恢复策略2.1. 文件热备份
2009-10-16 06:06:00
4350
原创 SQL Server 2000性能测试分析
测试环境 操作系统：windows server 2003 CPU：Intel(R) Xeon(TM) CPU 3.00GHz，4核 内存：2G，主要运行MySQL服务 硬盘：cciss 37G 文件系统：NTFS，支持大文件 数据库版本：SQL Server 2000 sp3 网卡：100M 网络环境：100M交换局域网 测试方法 数据规模分为1万条、10万条、100万条
2009-10-16 03:11:00
3162
1
原创 MySQL性能测试分析
测试环境操作系统：Linux AS release 4，内核2.6.9-42.ELsmp #1 SMPCPU：Intel(R) Xeon(TM) CPU 3.00GHz，4核内存：1G，主要运行MySQL服务硬盘：cciss 37G文件系统：ext3，支持大文件MySQL：MySQL-5.0.51a网卡：100M网络环境：100M交换局域网测试方法数
2009-10-16 03:07:00
19850
10
原创 深入浅出mysql事务处理和锁机制
1. 事务处理和并发性1.1. 基础知识和相关概念1）全部的表类型都可以使用锁，但是只有InnoDB和BDB才有内置的事务功能。2）使用begin开始事务，使用commit结束事务，中间可以使用rollback回滚事务。
2009-07-21 17:51:00
22750
1
原创 mysql优化技巧
1. 查询优化1.1. 常见优化1）使用永久连接到数据库，避免连接的开销。如果需要初始化很多连接，而又不能用永久连接，那么可以修改变量 thread_cache_size 的值。2）尽量不要在经常需要更新的 MyISAM 表上用太过复杂的 SEL
2009-07-21 17:33:00
1498
原创 深入研究字节对齐问题
1. 对齐的原因与作用1.1. 对齐的原因各种硬件平台对存储空间的处理上有很大的不同。一些平台对某些特定类型的数据只能从某些特定地址开始存取。比如有些架构的CPU在访问一个没有进行对齐的变量的时候会发生错误，那么在这种架构下编程必须保证字节对齐。1.2. 对齐的作用
2009-07-21 17:22:00
1413
1
悟道：一位IT高管20年的职场心经
2012-05-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人