- 博客(133)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 从菜鸟走向大数据高手
大数据技术稳步向前，好好学习！王家林的第一个中国梦：免费为全社会培养100万名优秀的大数据从业人员！您可以通过王家林老师的微信号18610086859发红包捐助大数据、互联网+、O2O、工业4.0、微营销、移动互联网等系列免费实战课程，目前已经发布的王家林免费视频全集如下：1，《大数据不眠夜：Spark内核天机解密（共140讲）》： 51CTO在线观
2015-12-30 19:06:24
729
转载 计算机为什么要用补码？
目录(?)[-]计算负整数的补码计算二进制有符号数的十进制数计算负整数的二进制补码表示为什么使用补码表示负整数计算机使用补码表示负整数！正整数就用源码来表示。那什么是补码呢？其实源码的补码就是源码的相反数，他们相加得0 。计算负整数的补码：规则就是源码各位取反，然后加1得到。例如：如果我们用8位来表示有符号整数的话，那么十进制1用二进制表示为：[
2014-08-10 13:13:02
904
转载 Spark：大数据的“电光石火”
摘要：Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足于内存计算，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。Spark已正式申请加入Apache孵化器，从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名，展现了大数据不常见的“电光石火”。具体特点概括为“
2013-12-13 16:30:28
1257
转载 深入剖析阿里巴巴云梯YARN集群
摘要：阿里巴巴是国内使用Hadoop最早的公司之一，已开启了Apache Hadoop 2.0时代。本文将详细介绍阿里巴巴如何充分利用YARN的新特性来构建和完善其多功能分布式集群——云梯YARN集群。阿里巴巴作为国内使用Hadoop最早的公司之一，已开启了Apache Hadoop 2.0时代。阿里巴巴的Hadoop集群，即云梯集群，分为存储与计算两个模块，计算模块既有MRv1，也有YARN
2013-12-11 10:21:10
976
转载 OpenStack的架构详解
OpenStack的架构详解2012-05-16 09:59 多易网 多易网 字号：T | TOpenStack既是一个社区，也是一个项目和一个开源软件，它提供了一个部署云的操作平台或工具集。其宗旨在于，帮助组织运行为虚拟计算或存储服务的云，为公有云、私有云，也为大云、小云提供可扩展的、灵活的云计算。AD：2013云计算架构师峰会课程资料下载
2013-12-11 10:01:39
878
原创 hadoop 没有启动data node报异常
在启动了name node但没有启动data node情况下，可以建立目录和文件，但是不能向文件中写入内容。
2013-12-04 15:35:46
1008
转载 SQL on Hadoop的最新进展及7项相关技术分享
大数据是现在非常热门的一个话题，从工程或者技术的角度来看，大数据的核心是如何存储、分析、挖掘海量的数据解决实际的问题。那么对于一个工程师或者分析师来说，如何查询和分析TB/PB级别的数据是在大数据时代不可回避的问题。SQL on Hadoop就成为了一个重要的工具。为什么非要把SQL放到Hadoop上？ SQL易于使用；那为什么非得基于Hadoop呢？Hadoop架构具备很强的鲁棒性和可扩展性。本
2013-11-26 14:14:35
737
原创 经典思维50法-费米思维
核心思想：化繁为简、直指核心：将一个复杂问题化为几个简单问题；撇去外在繁复的概念或符号，直接进入内在本质。软件工程中该思维的体现：项目估算自底向上方法、程序设计中分层思想；敏捷方法的核心是：拥抱变化，大家一起办。cmmi的核心是：挡住变化，按规矩办。
2013-11-26 09:43:30
1536
原创 oozie hpdl参数分析
一 oozie设置参数方式：1）客户端调用时，例如： Properties conf = wc.createConfiguration(); conf.setProperty("user.name", "oozie"); conf.setProperty("dataflow.taskMangerURL", "http://172.16.11.253
2013-11-25 19:46:18
1637
转载 技术团队新官上任之基层篇
摘要：从技术一线升职为基层技术管理人员，直至CTO或分管技术的总经理、副总裁，这可能是很多技术人员的梦想职业发展路线图。本文希望能够和刚刚走上技术管理岗位的同学们分享一些经验，使职业生涯的发展更加顺利和合理。技术团队的管理人员身负技术和管理的双重使命，有着与众不同的成长路线。绝大多数情况下，在成长路线的第一步，是“技而优则管”，亦即由于表现出了出众的技术交付能力，优秀的技术人员被提拔到
2013-11-21 20:19:19
863
转载 技术团队新官上任之中层篇
摘要：对任何企业来说，中层管理人员都是极为关键的，因为中层是执行力的来源。可以说，一家企业有没有希望，只要看一下中层是精明强干，还是松松垮垮就全明白了。其中有哪些必须了解和掌握的知识和道理呢？恭喜升职为中层技术管理人员！在不同的企业里，中层技术管理人员的具体职位名称有所不同。在微软、IBM这样的大型企业里，中层大致对应着部门经理或产品线负责人这样的职位。而在互联网企业如BAT，技术总监、高
2013-11-21 20:18:42
801
转载 技术团队新官上任之高层篇
摘要：Google CEO曾说：“信息技术发挥的潜力尚不足百分之一。” 无论是技术创业，还是被突然委任掌舵新公司成为技术和管理兼顾的一把手，高层技术管理职位对于很多人来说其实并不遥远。什么是高层管理人员？这是应该首先明确的问题。和技术团队的基层和中层管理人员不同，“高层技术管理人员”其实是个伪概念。我的意思是， 没有什么严格意义上的“高层技术管理人员”、“高层销售管理人员”等。高层管理
2013-11-21 20:16:59
1027
转载 Google工程师谈程序员的自我修养
摘要：美国计算机协会对Sanjay Ghemawat进行了专访，Sanjay谈到了Google的文化和大数据的机会。Sanjay认为，挑战是一切创新的原动力，与团队成员紧密配合会产生更多创新，在实践中学习，让项目先简单快速的运行起来。【CSDN编译】美国计算机协会十月的人物栏目对Sanjay Ghemawat进行了 专访，他是Google系统架构组（包括MapReduce、 BigTa
2013-10-25 09:20:50
750
转载 从真实案例出发：如何在协作开发中避免误解！
摘要：优秀的软件是多部门齐心协力的产物，在软件开发项目里，一旦交流不当，误解是避免不了的。文章里从项目经理--开发者--测试者--客户之间的微妙而又重要的关系入手，和文档细节、交流工具的使用，分析了如何避免误解。本文作者Dmitriy Kharchenko是一家乌克兰软件开发公司Acceptic Ltd的CEO。该公司的核心运营项目包括创建复杂的客户端App，专注于为开发者团队提供
2013-10-25 09:18:47
955
转载 代码重构方向原则指导
重构是一种对软件进行修改的行为，但它并不改变软件的功能特征，而是通过让软件程序更清晰，更简洁和更条理来改进软件的质量。代码重构之于软件，相当于结构修改之于散文。每次人们对如何对代码进行重构的讨论就像是讨论如果对一篇文学作品进行修订一样无休无止。所有人都知道应该根据项目的自身情况来对代码进行重构，而重构是无止境的。莫扎特从来不不对他的作品进行修订，特罗洛普对自己作品修订的恰到好处，大多数作家认为他们
2013-10-21 09:12:04
704
转载 关于架构的讨论：烦人的细节
Bob大叔和Simon Brown关于描述系统架构时基础架构（infrastructure）所起的作用展开了讨论。 在之前标题为 《尖叫的架构（Screaming Architecture）》的文章中，Robert Martin（也就是Bob大叔）阐述了这样的观点：软件产品的架构应该让所有人都很容易了解产品所要达到的目的，并且系统的架构应该反应系统的用例而不是它使用的框架：架
2013-10-18 10:16:17
731
转载 大型网站架构不得不考虑的10个问题
这里的大型网站架构只包括高互动性高交互性的数据型大型网站，基于大家众所周知的原因，我们就不谈新闻类和一些依靠HTML静态化就可以实现的架构 了，我们以高负载高数据交换高数据流动性的网站为例，比如海内，开心网等类似的web2.0系列架构。我们这里不讨论是PHP还是JSP或者.NET环 境，我们从架构的方面去看问题，实现语言方面并不是问题，语言的优势在于实现而不是好坏，不论你选择任何语言，架构都是必须
2013-10-18 10:15:21
710
转载 浅谈软件架构师的素质与职责
有关架构师的基本素质，网上有很多声音，我总结了一下，让大家帮助参详，以便指出其中谬误。沟通能力和自我表达我认为沟通能力是基本中的基本，最为重要，最为普遍的素质。技术人员好像容易忽略，想成为架构师就不能忽略。因为架构师要做的第一件事就是与团队成员、项目经理、客户认同沟通，获得认同。我知道，这对于现在做技术，以后想转做架构的人也许很难．对本人也是如此。也许 你会注意到虽然你兢兢业业，老
2013-10-18 10:12:51
660
转载 浅谈软件架构师的素质与职责
有关架构师的基本素质，网上有很多声音，我总结了一下，让大家帮助参详，以便指出其中谬误。沟通能力和自我表达我认为沟通能力是基本中的基本，最为重要，最为普遍的素质。技术人员好像容易忽略，想成为架构师就不能忽略。因为架构师要做的第一件事就是与团队成员、项目经理、客户认同沟通，获得认同。我知道，这对于现在做技术，以后想转做架构的人也许很难．对本人也是如此。也许 你会注意到虽然你兢兢业业，老
2013-10-18 10:10:35
711
转载 SQL on Hadoop的最新进展及7项相关技术分享
摘要：SQL on Hadoop对于大数据而言非常重要。本文从技术架构和最新进展的角度分析了7种SQL on Hadoop产品的优缺点和适用范围：Hive、Tez/Stinger、Impala、Shark/Spark、Phoenix、 Hdapt/HadoopDB、Hawq/Greenplum。编者按：大数据最大的魅力在于通过技术分析和挖掘带来新的商业价值。SQL on Hadoop是
2013-10-18 09:43:09
1053
转载 【开源专访】Fourinone创始人彭渊：打造多合一的分布式并行计算框架
摘要：Fourinone是一个分布式并行计算框架，以轻量的方式提供了一个四合一的分布式框架功能以及简单易用的API，通过实现对多台计算机资源的统一利用，来获得强大的计算能力。本期我们采访了项目创始人彭渊。Fourinone（即Four-in-one，中文名字“四不像”）是一个分布式计算框架，提供了一个4合1的分布式框架功能（即整合了Hadoop、Zookeeper、MQ、分布式缓存的主
2013-10-18 09:41:30
1204
转载 中国软件开发工程师之痛
2013-07-24 10:11 李云 李云的BLOG 我要评论(0) 字号：T | T在近期的一次会议上，有高层谈到之前在中国觉得自己做得很牛，但与美国同行接触后却发现与人家存在很大的差距，这一点我在外企工作时也有过同样的体会。真正与外 国同行接触后才会知道什么是差距，在这篇文章中我从软件开发工程师的角度以“痛点”的形式来谈一谈我所认为的差距。AD：2013云计算
2013-10-18 09:35:52
714
转载 每个软件工程师都应该尝试的5件事情
2013-06-25 10:47 佚名 OSCHINA 编译 我要评论(0) 字号：T | T每个人目前的工作情况，有些建议可能并不适合于每一个人，尤其是假如你工作在一家对“谁可以和客户谈话”这种事都作出严格定义的公司的话。所以如果你现在做不到全部这些，也不必烦恼。也要注意，有时，你需要的只是开口去问！AD：2013云计算架构师峰会精彩课程曝光
2013-10-18 09:35:08
817
转载 我希望在软件开发生涯初期就知道的4件事
2013-10-17 09:19 佚名 开源中国 我要评论(0) 字号：T | T我的软件开发生涯开始于15年前。但是直到最近的5年，我才真正开始看到自己在软件开发领域的巨大进步。这里有一些感悟是我希望能够在我进入软件开发领域时所知道的事情，如果我早一些领悟到，相信会比现在更加成功，也更节省一些时间。AD：2013云计算架构师峰会精彩课程曝光
2013-10-18 09:34:19
876
原创 JavaOne 2013：将REST与JSON相结合以创建API
Stormpath公司首席技术官Les Hazlewood在JavaOne 2013大会上表示。为了顺应与会观众们的强烈呼声，Hazlewood于本周二重返JavaOne舞台、向大家介绍了如何利用JAX-RS与Jersey创建优秀的REST + JSON API。AD：2013云计算架构师峰会精彩课程曝光创建一套可通过Web进行访问的应用程序编程接口并不困难
2013-10-18 09:26:08
712
转载 hadoop比较好的监控工具有哪些?
Apache Ambari Zettaset Orchestrator StackIQ Rocks+ Big Data Platform MapReduce Apache Mesos 给你推荐这五个，第一个比较好用，你可以试试。
2013-10-18 09:22:02
1054
转载 我伙呆，硅谷高级工程师年薪16.5万美金起
摘要：据外媒报道，硅谷目前在一流工程人才上的争夺十分激烈。为吸引人才，很多公司拿出了丰厚的薪酬和福利：一个高级工程师的年薪16.5万美金起，不仅被大公司争抢，还被那些只有数百人的初创公司争夺。北京时间10月17日消息，据美国科技博客BusinessInsider报道，硅谷目前在一流工程人才上的争夺十分激烈。为了吸引人才，很多公司拿出了丰厚的薪酬和福利，加州圣何塞市招聘网Jo
2013-10-18 09:14:34
1499
转载 OpenStack Havana版发布
根据官方发布的消息，OpenStack 2013.2（代号Havana）最终版已经发布，除了增加OpenStack Metering（Ceilometer）和OpenStack Orchestration（Heat）两个新组件外，还完成了400多个特性计划，修补了3000多补丁。具体技术细节可以参考各组件的版本发布说明：OpenStack Compute: https://la
2013-10-18 09:13:44
1141
转载 海量数据处理面试题
第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32
2013-10-18 09:13:07
939
转载 上百部经典电影里的数学应用（图）
摘要：软件编程的思想最重要是算法，而算法是建立在数学思维上的，其实说白了，程序只是一件衣服，算法才是它的灵魂，算法就来自于数学，没有深厚的数学思维功底，是弄不懂算法的。那么先来看看电影里数学的神奇力量。至于为什么要写一篇看似和软件编程毫无关系的文章，我想真正懂得电影的人一定能从文章里看出电影-数学-编程之间巧妙地关联。软件离不开数学，先从电影里看看数学的神奇力量。软件编程的思想
2013-10-18 09:10:12
1805
转载 CTO如何避免决策失控（四）——通盘考虑 做到技术业务不分家
摘要：对于刚刚从技术岗位走出来的许多CTO来说，往往会遇到一些决策方向的难题。Forbes记者Dan Woods走访了ideeli创始人、CTO Mark Uhrmacher，他提供了一些建议并指出CTO虽然主要关注技术但也不能与公司业务发展脱节。本文为《CTO如何避免决策失控》系列文章的第四部分，在第一部分CTO如何避免决策失控（一）：明确工作职责和成功标准一文中已经详细谈到CTO的
2013-10-18 09:09:11
1025
转载 Storm又获东风，Hortonworks计划将其整合到Hadoop企业版
摘要：自YARN及Mesos等技术出现，Hadoop同集群上运行不同技术也成为了可能。然而，开源到商用之间存在的鸿沟不可谓不大。近日，基于广泛用户的需求，Hortonworks已决定将Storm整合到自己的Hadoop企业版中。在YARN发布后，Hadoop拥有了同集群运行不同技术的可能，类似的技术还有加州大学伯克利分校建立的Mesos。然而将开源技术商用却并不是件简单的事情，据Gig
2013-10-18 09:08:02
620
转载 Storm又获东风，Hortonworks计划将其整合到Hadoop企业版
摘要：自YARN及Mesos等技术出现，Hadoop同集群上运行不同技术也成为了可能。然而，开源到商用之间存在的鸿沟不可谓不大。近日，基于广泛用户的需求，Hortonworks已决定将Storm整合到自己的Hadoop企业版中。在YARN发布后，Hadoop拥有了同集群运行不同技术的可能，类似的技术还有加州大学伯克利分校建立的Mesos。然而将开源技术商用却并不是件简单的事情，据Gig
2013-10-18 09:06:21
834
转载 Storm又获东风，Hortonworks计划将其整合到Hadoop企业版
摘要：自YARN及Mesos等技术出现，Hadoop同集群上运行不同技术也成为了可能。然而，开源到商用之间存在的鸿沟不可谓不大。近日，基于广泛用户的需求，Hortonworks已决定将Storm整合到自己的Hadoop企业版中。在YARN发布后，Hadoop拥有了同集群运行不同技术的可能，类似的技术还有加州大学伯克利分校建立的Mesos。然而将开源技术商用却并不是件简单的事情，据Gig
2013-10-18 09:05:59
1020
转载 HTTP API可演进性最佳实践
正如标题所示，Benjamin Carlyle试图在《Best Practices For HTTP API Evolvability》一文中为围绕HTTP API构建的系统的设计定义原则和实践，这些系统是可扩展的，并且能一直进化下去。他先指出了REST（一种架构风格）和HTTP API（通过HTTP暴露的编程接口）之间的区别。HTTP API是针对一个特定服务的面向开发者的接口，也被称为
2013-10-17 16:57:52
711
转载 理解本真的REST架构风格
本文是“深入探索REST”专栏系列深度内容中的第二篇，它将带您领略REST架构的起源、与Web的关系、REST架构的本质及特性，以及REST架构与其他架构风格之间的比较。引子在移动互联网、云计算迅猛发展的今天，作为一名Web开发者，如果您还没听说过“REST”这个buzzword，显然已经落伍了。夸张点说，甚至“出了门都不好意思跟别人打招呼”。尽管如此，对于REST这个泊来品的理解，大多数
2013-10-17 16:54:58
781
转载 虚拟研讨会：如何设计好的RESTful API？
REST架构风格最初由Roy T. Fielding（HTTP/1.1协议专家组负责人）在其2000年的博士学位论文中提出。HTTP就是该架构风格的一个典型应用。从其诞生之日开始，它就因其可扩展性和简单性受到越来越多的架构师和开发者们的青睐。它必将得到更大的发展。一方面，随着云计算和移动计算的兴起，许多企业愿意在互联网上共享自己的数据、功能；另一方面，在企业中，RESTful API（也称RE
2013-10-17 16:52:56
1176
转载 REST的缺点是什么？
几年前，Ganesh Prasad问道，Internet比REST更基本吗？这些年，他不断围绕REST SOA、以及更时新的云计算提出相关讨论，并且钟情于REST的指导原则。然而，最近有人在LinkedIn REST架构师讨论组中的一片帖子中问道，“REST的缺点是什么？”Ganesh对此做了回复，然后又在其个人博客中重申了自己的观点：我不能说REST有“缺点”。它说到的都做到了，而且做得
2013-10-17 16:51:45
1410
转载 介绍Web基础架构设计原则的经典论文《架构风格与基于网络的软件架构设计》导读
1. 概述Roy Fielding博士（见个人主页）是IETF发布的HTTP和URI协议的主要设计者。HTTP和URI是两个最为重要的Web基础技术架构协议，因此Fielding博士可谓是Web架构的奠基者之一。除了学术上的卓越成就之外，Fielding博士还参与过很多开源软件的设计和开发工作。他是libwww-perl（世界上最早的HTTP开发库之一）的开发者，曾经负责Apache HT
2013-10-17 16:16:24
1614
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人