sutine-CSDN博客

原创基于hive的日志数据统计实战

Hive是一个可扩展性极强的数据仓库工具，借助于hadoop分布式存储计算平台和hive对SQL语句的理解能力，我们所要做的大部分工作就是输入和输出数据的适配，恰恰这两部分IO格式是千变万化的，我们只需要定制我们自己的输入输出适配器，hive将为我们透明化存储和处理这些数据，大大简化我们的工作。本文的重心也正在于此，这部分工作相信每一个做数据分析的朋友都会面对的，希望对您有益。

2010-06-07 15:35:00 17863 3

转载分布式cache系统的应用

1. 问题背景在商城实践中，我们为了改善用户浏览图片的速度，但同时减少图片存储服务器的访问压力，采用了memcached来作cache集群，达到分担来自前端的请求，实际运营效果不错。但是后来在运营的过程中发现，随着memcached实例的不断增加以下问题逐渐开始困扰起我们： 1. n台分布的memcached做实际数据的存储，每台memcached存放数据总量的一个子集(分布算法

2009-09-28 17:11:00 2884 1

　　信息的飞速增长，使搜索引擎成为人们查找信息的首选工具，Google、百度、中国搜索等大型搜索引擎一直是人们讨论的话题。随着搜索市场价值的不断增加，越来越多的公司开发出自己的搜索引擎，阿里巴巴的商机搜索、8848的购物搜索等也陆续面世，自然，搜索引擎技术也成为技术人员关注的热点。搜索引擎技术的研究，国外比中国要早近十年，从最早的Archie，到后来的 Excite，以及altvista、over

2009-09-23 11:17:00 903 1

原创 [转]说说大型高并发高负载网站的系统架构

我在Cernet做过拨号接入平台的搭建，而后在Yahoo3721负载搜索引擎前端平台开发，又在猫扑处理过大型社区猫扑大杂烩的架构升级等工作，同时自己接触和开发过不少大中型网站的模块，因此在大型网站应对高负载和并发的解决方案上有一些积累和经验，可以和大家一起探讨一下。一个小型的网站，比如个人网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的

2007-11-03 00:41:00 774

原创 [转载]轻松面试找到理想员工－非官方的面试技术指南

轻松面试找到理想员工－非官方的面试技术指南作者：周思博 (Joel Spolsky)译： Chen Bin 编辑： Rick Ju 2000年3月23日雇佣合适的人对于Fog Creek软件公司来说是非常关键的。在我们这个领域，有三类人可以挑选。在一个极端, 是哪些混进来的, 甚至缺乏最基本的工作技巧. 只要问这类人两三个简单的问题，再读一下他们的简历，就可以轻易地剔除他们。另一个极端的类型是

2005-10-20 14:27:00 1127

原创 [转载]数学的重要性

本篇文章是作者多年来的一些感受，主要写给那些想学习程序设计而又很迷惘的朋友，希望可以带来一点帮助。我第一次接触电脑是在小学二年级的时候。那时纯粹是因为喜欢打电子游戏，听别人说电脑上的游戏十分好玩，于是就漫漫开始与之接触了。在三年级时父母出于我对计算机浓厚的兴趣送我去了一个BASIC编程学习班，从那时起我才真正开始走上编程这条不归之路。虽然说现在程序设计这门专业在社会上很热，竞争十分

2005-10-11 17:20:00 1699

原创文章试读：《程序员》特别策划“软件人，今年薪资知多少?”

软件人，今年薪资知多少? ——中国程序员2004年薪资调查报告与现状报道 ■策划/《程序员》编辑部撰文/孟迎霞霍泰稳-----------------------------------------------------------2004年软件结构分布全景图:◆男性占97%，人均月薪3500元◆58％的软件人在25岁以下，48％在本领域工作不满3

2005-09-28 15:44:00 14875

原创 [转载]不要得罪办公室里8种人

一般人都认为，在公司里只要尽心尽力，取得业务实绩，赢得上司的赏识和老总的欢心，加薪提升就指日可待了，而对那些一般行政人员，则没有给予应有的尊重和礼貌，认为得到他们的协助是理所应当的，所以平日就对他们指手划脚，急躁起来甚至会对他们颐指气使，拍桌瞪眼，把人际关系学的那一套都抛到九霄云外去了。这是一个非常严重的认识误区。　　事实上，有些办公室人员的职位虽然不高，权力也不怎么大，跟你也没什么直接

2005-09-23 16:47:00 1324

原创 [转载]给初学编程者的忠告

我始终认为，对一个初学者来说，IT界的技术风潮是不可以追赶的，而且也没有能力去追赶。我时常看见自己的DDMM们把课本扔了，去卖些价格不菲的诸如C#, VB.Net 这样的大部头，这让我感到非常痛心。而许多搞不清指针是咋回事的BBS站友眉飞色舞的讨论C#里面可以不用指针等等则让我觉得好笑。C#就象当年的ASP一样，“忽如一夜春风来，千树万树梨花开”，结果许多学校的信息学院成了“Web 学

2005-09-23 16:30:00 1045

原创 [转载]七年IT奋斗纪实及感悟

　　一个IT人，在IT行业学习工作已经七年多了，这期间他做过网页，写过MIS、数据库，应用程序，做过通信软件、硬件驱动、协议栈，到现在做操作系统内核和IC相关开发，这中间走了很多弯路，也吃了不少苦。　　这些日子我一直在写一个实时操作系统内核，已有小成了，等写完我会全部公开，希望能够为国内IT的发展尽自己一份微薄的力量。最近看到很多学生朋友和我当年一样没有方向，所以把我的经历写出来与大家共勉，希望

2005-09-14 21:27:00 1050

原创 [转载]一位也许是真正的hack说的话

《这些无聊的人！！！》从来不到WEB BBS，只不过听说绿色兵团好象是国内的安全名站，来看看了，竟然都是一些垃圾！从未见过真正的HACKER在WEB BBS里高谈阔论，你们有什么意思，冒冲BIGMAN骗骗那些从未见过真正世面的新手罢了，现在看来，我对中国网站还是不了解，每个“HACKER“WEB SITE都是一样的教程，COOLFIRE的教程还放在自己的网页上，呵呵，也不嫌丢人。

2005-09-14 20:47:00 1525

原创 uint型变量倒转问题。

在做GPRS模块时遇到这样一个问题，DTU（数据终端设备）连接到数据服务中心（DSC）时，DSC所获得的IP地址四个字节是倒过来的。－_－凸现在得想个办法把它倒转回来。其实这个问题以前遇到过，更一般地说，现在有一个uint型的变量，也就是32位。比如它四个八位的排列顺序是1 2 3 4我现在想把它转成4 3 2 1我目前能想到的办法，就是按位与，然后移位，然后按位或。也就是用四个数0xff0000

2005-09-14 10:01:00 2805 3

淡然一笑的专栏