- 博客(16)
- 收藏
- 关注
RSS订阅原创 基于Apache CXF构建SOA应用基础
WebService概述 ——它不是框架，更甚至不是一种技术，而是一种跨平台、跨语言的规范。WebService集中解决：1、远程调用。2、跨平台调用。3、跨语言调用。WebService在真实场景下的用途:1、同一公司的新、旧系统的整合。Linux上的Java应用，去调用Windows平台的Delphi应用。2、不同公司的业务整合。举例：在淘宝上购书，订单
2014-01-17 17:06:44
1556
原创 读书笔记---《理解Unix进程》
1、 系统调用Unix系统内核位于计算机硬件之上，它是与硬件交互的中介。程序不可以直接访问内核，所有的通信都是通过系统调用来完成的。系统调用为内核和用户空间搭建了桥梁。它规定了程序与计算机硬件之间所允许的一切交互。系统调用允许用户空间程序通过内核间接地与计算机硬件进行交互。节1：一般命令节2：系统调用节3：C库函数节4：特殊文件进程乃Un
2013-12-27 12:16:13
805
转载 Hadoop学习常用的Linux命令
我们以RHEL6.3为例说明。Linux的命令后面会有命令选项，有的选项还有选项值。选项的前面有短横线“-”，命令、选项、选项值之间使用空格隔开。有的命令没有选项，会有参数。选项是命令内置的功能，参数是用户提供的符合命令格式的内容。1.1.1. 命令提示符在桌面上点击鼠标右键，在弹出菜单中选择“Open in Terminal”，系统会打开终端，类似于Windows下的命令行。Wi
2013-12-27 12:12:47
765
转载 Hadoop框架之HDFS的shell操作
既然HDFS是存取数据的分布式文件系统，那么对HDFS的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作，如ls、mkdir、rm等。我们执行以下操作的时候，一定要确定hadoop是正常运行的，使用jps命令确保看到各个hadoop进程。我们执行命令hadoop
2013-12-27 11:49:48
1099
转载 HDFS Shell基本操作总结
1.HDFS Shell基本操作总结1.1 浏览你的HDFS目录[root@slave1 bin]# hadoop fs -ls1.2 上传数据到HDFS上传：[root@slave1 bin]# hadoop fs -put ../conf input检查已上传的数据：[root@slave1 bin]# hadoop fs input1.3 下载HDFS
2013-12-27 11:40:14
1298
转载 Mahout学习路线图
Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。从2
2013-12-22 15:41:15
730
转载 ZooKeeper典型应用场景(转)
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。值得注意的是，ZK并非天生就是为这些应用场景设计的，都是后来众多开发者根据其框架的特性
2013-12-01 22:34:37
684
转载 Hadoop2.0必需知道的几个知识点
1、HDFS的NameNode单点故障已经得到解决。2、一个HDFS集群可存在多个NameNode，同时对外提供服务，以减轻NameNode的负载。3、MapReduce变成了YARN的客户端应用程序，无需为它单独部署类似于JobTracker和TaskTracker的服务。4、Hadoop默认调度器不再是FIFO，而是CapacityScheduler。5、YARN可对CPU和内
2013-11-13 11:51:37
884
转载 HBase技术介绍
HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行M
2013-11-10 21:02:48
454
转载 HBase介绍
from:http://www.alidata.org/archives/1509一、简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop c
2013-11-10 21:01:23
724
转载 MapReduce 2.0 in Apache Hadoop 0.23
from: http://blog.cloudera.com/blog/2012/02/mapreduce-2-0-in-hadoop-0-23/In Building and Deploying MR2 wepresented a brief introduction to MapReduce in Apache Hadoop 0.23 and focusedon the steps t
2013-11-08 12:16:37
800
转载 测试眼里的Hadoop系列 之Terasort
原文链接：http://blog.csdn.net/leafy1980/article/details/6633828TeraSort是Hadoop的测试中很有用的一个工具，但以前只是粗略的知道它的功能和用法，简单的用它做了几个测试用例。实际上，对于这种比较通用的工具，如果能够了解它更多一些的话，对于理解Hadoop是很有帮助的，同时也可以更好的利用它来帮助测试。最近有点时间，就了解了一些
2013-11-03 18:55:49
648
转载 hadoop作业调优参数整理及原理
原文：http://www.alidata.org/archives/14701 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优
2013-10-31 20:06:04
449
转载 Hadoop计算能力调度器应用和配置
原文链接：http://www.cnblogs.com/ggjucheng/archive/2012/07/25/2608817.html需求公司里有两个部门，一个叫hive，一个叫pig，这两个部门都需要使用公司里的hadoop集群。于是问题来了，因为hadoop默认是FIFO调度的，谁先提交任务，谁先被处理，于是hive部门很担心pig这个部门提交一个耗时的任务，影响了hive
2013-10-31 19:13:20
670
转载 HBase技术介绍
原文地址：http://www.searchtb.com/2011/01/understanding-hbase.htmlHBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，
2013-10-24 13:40:01
499
转载 Hadoop的那些事儿
转载地址：http://www.searchtb.com/2010/11/talk-about-hadoop.html?spm=0.0.0.0.lzKpKO在说Hadoop之前，作为一个铁杆粉丝先粉一下Google。Google的伟大之处不仅在于它建立了一个强悍的搜索引擎，它还创造了几项革命性的技术：GFS，MapReduce，BigTable，即所谓的Google三驾马车。G
2013-10-24 13:22:07
595
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人