x15594-CSDN博客

原创 MapReduce处理过程笔记

一、Map端处理1. JobClient调用JobTracker的submitJob方法，提交作业至作业队列。2. 作业调度器根据调度算法（P175）从作业队列中获取作业。3. 作业调度器初始化该作业。3.1 获取JobClient已经计算好的输入分片信息，然后为每个分片创建一个map任务。3.1.1输入分片大小一般等于块大小。

2011-12-04 00:06:53 1475

架构决策要识别出关键设计难点和隐藏在所选方案中的原理。它们是慎重的设计决策，这些决策将软件密集型系统视作一个整体或将该系统的一个或多个核心组件及组件间的关联关系归于任意既定的视图。架构决策产生的结果影响系统的非功能性特征和软件质量指标。 根据上述定义，无论是选择一门编程语言、架构模式、应用容器技术或中间件资产都算作架构决策。比如，Broker这样的集成模式描述了分布式系统会遇到的阻力，包括位置独立性和网络问题7 。这些阻力适合作为决策的驱动力，所以是否将Broker模式添加到架

2011-05-18 21:36:00 1514

转载 ESB架构之企业实施案例

本文讲述了ESB架构在企业内的实际运用，包括在部门内、部门间以及企业级ESB架构的设计和案例；分享了ESB设计过程需要考虑的关键问题；描述了不同ESB域的实施重心。

2011-04-10 00:32:00 1332

原创分布式计算框架Hadoop

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。采用Java语言开发，可以部署在多种普通的廉价机器上，以集群处理数量积达到大型主机处理性能。 HDFS架构原理 HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多

2011-03-24 22:00:00 18679

转载你是个软件架构师吗？

开发和架构的界限难以捉摸。有些人告诉你它根本不存在，架构只是开发者们所做的设计过程的简单扩展。另外一些人认为这是一个鸿沟，它只能由那些做到高度抽象，而且不会陷入实现细节的开发者才能跨越。通常，在这两个极端的观点中间某处有个可操作的平衡点；不论如何，怎么从开发转换为架构师都是个有趣的问题。 经常被用来区分软件架构和软件设计开发的关键几点包括伸缩性和抽象程度的增加以及作出正确设计决策意义的增强。软件架构是通过一个全局的观点，宏观的视角来理解软

2011-03-23 21:09:00 1168

原创一致性哈希算法（Consistent Hashing）

在我们的web开发应用中的分布式缓存系统里哈希算法承担着系统架构上的关键点。使用分布更合理的算法可以使得多个服务节点间的负载相对均衡，可以最大程度的避免资源的浪费以及服务器过载。使用一致性哈希算法，可以最大程度的降低服务硬件环境变化带来的数据迁移代价和风险，更合理的配置策略和算法可以使分布式缓存系统更加高效稳定的为我们整体的应用服务。

2011-03-23 10:26:00 11540 10

转载运用RUP 4+1视图方法进行软件架构设计

简介：要开发出用户满意的软件并不是件容易的事，软件架构师必须全面把握各种各样的需求、权衡需求之间有可能的矛盾之处，分门别类地将不同需求一一满足。本文从理解需求种类的复杂性谈起，通过具体案例的分析，展示了如何通过RUP的4+1视图方法，针对不同需求进行架构设计，从而确保重要的需求一一被满足。 呼唤架构设计的多重视图方法 灵感一闪，就想出了把大象放进冰箱的办法，这自然好。但希望每个架构设计策略都依靠灵感是不现实的--我们需要系统方法的指导。 需要架构

2011-03-10 20:32:00 1139

转载架构师必须写代码

架构师必须写代码“我们的专家级架构师Fred会提供设计好的架构，供你编写代码。他经验丰富，拿的薪水很高，所以不要用一些愚蠢的问题或者实现上的难点，来浪费他的时间。”软件开发业界中有许多挂着架构师称号的人。作为作者的我们，不喜欢这个称号，原因如下：架构师应该负责设计和指导，但是许多名片上印着“架构师”的人配不上这个称号。作为架构师，不应该只是画一些看起来很漂亮的设计图，说一些像“黑话”一样的词汇，使用一大堆设计模式——这样的设计通常不会有效的。不可能在PowerPoint幻灯片

2011-03-10 20:22:00 1183

John's blog