- 博客(22)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 HDFS发展历史上的几个重大的JIRA
转帖请注明本空间地址：[email protected]://blog.csdn.net/chenpingbupt HDFS发展的到现在，已经和从前有了很大的改观，陆续发生了一些比较重大的改变，比如Append的加入，Federation，HA等等。这些改变在hadoop的svn的代码库中也可以看到一些端倪，大部分重大的改变都能在svn代码库中找到对应
2012-08-29 21:43:14
2920
翻译 Hadoop中HDFS文件系统NameNode的Federation设计文档(HDFS-1052：Hdfs scalability with multiple namenodes)
转帖请注明来自本空间地址：http://blog.csdn.net/[email protected]原文请参：https://issues.apache.org/jira/browse/HDFS-1052https://issues.apache.org/jira/secure/attachment/12453067/high-level-d
2012-09-27 22:42:16
10689
1
翻译 Hadoop中HDFS文件系统的Append/Hflush/Read设计文档(HDFS-265：Revisit append)
转帖请注明来自本空间地址：http://blog.csdn.net/[email protected]原文请参：https://issues.apache.org/jira/secure/attachment/12445209/appendDesign3.pdfhttps://issues.apache.org/jira/browse/HD
2012-09-12 20:36:26
7109
1
原创 Hadoop Metrics体系架构分析
转载请注明来自本空间：http://blog.csdn.net/[email protected]本文基于Hadoop 0.20.XX版本分析，和现在的Metrics2稍有不同1：概述Hadoop Metrics用来统计集群运行数据，比如接口调用次数，响应时间，队列长度等等，现阶段（0.19版本）支持为数不多的几个层级的数据，分别是
2012-09-08 10:11:31
5840
翻译 HDFS Append 设计文档的QA（HDFS-265：Revisit append/Questions about the "Append Design"）
转帖请注明来自本空间地址：http://blog.csdn.net/[email protected]本文是关于Append设计文档中一些设计点的QA，原文的地址已经不记得是从HDFS中的那个Jira上看到的了，可以参考Append设计文档来看：https://issues.apache.org/jira/secure/attachment/124
2012-09-06 22:08:15
1921
2
翻译 HDFS中的Append/Hflush/Read规范文档（HDFS-265：Revisit append / Append&Hflush&Read Specification）
转帖请注明来自本空间地址：http://blog.csdn.net/[email protected]原文请参：https://issues.apache.org/jira/secure/attachment/12406399/AppendSpec.pdfhttps://issues.apache.org/jira/browse/HDFS-26
2012-09-04 21:51:39
1974
原创 Lucene Score
转帖请注明本空间地址：http://blog.csdn.net/chenpingbuptLucene相关的这些文章都是在两年前看的时候记录的，应该基于lucene3.0左右的版本，主要包括一些lucene打分，索引文件格式图，倒排索引过程，query解析，doc定位过程，打分过程等等，用得到的凑合看看把。图片中的"?"及“*”参照正则的方式来表述该元素应重复的数量。这个博客不知道怎
2012-08-31 23:01:14
807
原创 Lucene索引文件结构图之一(tis&tii&frq)
转帖请注明本空间地址：http://blog.csdn.net/chenpingbuptLucene相关的这些文章都是在两年前看的时候记录的，应该基于lucene3.0左右的版本，主要包括一些lucene打分，索引文件格式图，倒排索引过程，query解析，doc定位过程，打分过程等等，用得到的凑合看看把。图片中的"?"及“*”参照正则的方式来表述该元素应重复的数量。
2012-08-31 22:59:01
1173
原创 Lucene索引文件结构图之一(segments&fnm&fdx&fdt)
转帖请注明本空间地址：http://blog.csdn.net/chenpingbuptLucene相关的这些文章都是在两年前看的时候记录的，应该基于lucene3.0左右的版本，主要包括一些lucene打分，索引文件格式图，倒排索引过程，query解析，doc定位过程，打分过程等等，用得到的凑合看看把。图片中的"?"及“*”参照正则的方式来表述该元素应重复的数量。
2012-08-31 22:57:47
1680
原创 Lucene索引文件结构图之一(prx&nrm&tvx&tvd&del&tvf)
转帖请注明本空间地址：http://blog.csdn.net/chenpingbuptLucene相关的这些文章都是在两年前看的时候记录的，应该基于lucene3.0左右的版本，主要包括一些lucene打分，索引文件格式图，倒排索引过程，query解析，doc定位过程，打分过程等等，用得到的凑合看看把。图片中的"?"及“*”参照正则的方式来表述该元素应重复的数量。
2012-08-31 22:55:04
1570
翻译 HDFS NameNode HA框架设计文档（HDFS-1623：High Availability Framework for HDFS NN）
转帖请注明来自本空间地址：http://blog.csdn.net/[email protected]原文请参https://issues.apache.org/jira/browse/HDFS-1623译文如下：1 Problem Statement有很多方式可以使得NN更加的Available，例如：减少启动时间
2012-08-31 22:06:25
2946
翻译 NameNode的FSImage以及EditLog的简化模型设计文档（HDFS-1073：Simpler model for Namenode's FsImage and EditLogs）
转帖请注明本空间地址:http://blog.csdn.net/[email protected]原文请参：https://issues.apache.org/jira/browse/HDFS-1073https://issues.apache.org/jira/secure/attachment/12478323/hdfs1073.pdf
2012-08-30 22:53:25
4914
翻译 Wal log的接口规范设计文档（HDFS-1580：Add interface for generic Write Ahead Logging mechanism）
转帖请注明本空间地址：http://blog.csdn.net/chenpingbupt 原文请参：https://issues.apache.org/jira/browse/HDFS-1580https://issues.apache.org/jira/secure/attachment/12481883/EditlogInterface.3.pdfhttps://issue
2012-08-29 22:26:00
1295
翻译 Editlog的接口规范设计文档（HDFS-1580：Add interface for generic Write Ahead Logging mechanism）
转帖请注明本空间地址：http://blog.csdn.net/chenpingbupt 原文请参：https://issues.apache.org/jira/browse/HDFS-1580https://issues.apache.org/jira/secure/attachment/12481883/EditlogInterface.3.pdfhttps://issue
2012-08-29 22:22:14
1508
原创 Hadoop-CDH4的部署包的文件结构
转帖请注明本空间地址：http://blog.csdn.net/chenpingbupt 相关文档可参：https://issues.apache.org/jira/browse/Hadoop-62551、现在的结构比以前的要稍微复杂一些了，如下：ziang@v128:~/dev/hadoop-2.0.0-cdh4.0.1$ ls -d */bin/
2012-08-29 22:20:19
4657
原创 Hadoop-CDH4各个脚本文件的作用
转帖请注明本空间地址：http://blog.csdn.net/chenpingbupt 1、sbin目录下的 1、distribute-exclude.sh 这个脚本用来将exclude文件分发到各个Namenode上。 2、hadoop-setup-conf.sh 1、这个脚本用来从模板xml配置
2012-08-29 22:18:10
3927
原创 HDFS-HA的配置-----自动Failover
转帖请注明本空间地址：http://blog.csdn.net/chenpingbupt 1、概述在手动FailOver的基础上，自动Failover增加了两个东西：一个是ZooKeeper集群，一个是ZKFailoverController(简称：ZKFC)ZK集群：作为一个高可靠系统，能够为一小部分协同数据提供监控，将数据的更改随时反应给客户端。HD
2012-08-29 22:13:03
17088
4
原创 HDFS-HA的配置-----手动Failover方式
转帖请注明来自本空间：http://blog.csdn.net/chenpingbupt 1、配置log的路径（可选）etc/hadoop/hadoop-env.shexport HADOOP_LOG_DIR=/home/ziang/DfsDataDir/hdpcdh4/logsexport JAVA_HOME=/home/ziang/software/jd
2012-08-29 22:10:30
6845
1
翻译 NameNode HA自动Failover设计文档（HDFS-3042/HDFS-2185：Automatic failover support for NN HA）
ZKFC设计文档（ZK Failover Controller Design）[email protected]转载请注明来自本空间：http://blog.csdn.net/chenpingbupt原文请参：https://issues.apache.org/jira/browse/HDFS-3042https://issues.apache
2012-08-29 22:02:11
5451
1
原创 HDFS-HA：Hadoop-Cloudera-cdh4版本的HDFS自动Failover(zk-based-failover)分析
转帖请注明本空间地址：http://blog.csdn.net/chenpingbupt 从evernote粘过来的格式还是乱了，文末附上格式良好的原文截图本文基于cloudera-Hadoop-cdh-4.01版本进行分析在这个特定版本支持HA的Hadoop内，FailoverController主要是通过一个独立于NN的进程来完成的，
2012-08-29 21:52:58
7535
原创 StandbyService of Standby NameNode------Checkpointer及EditLogTailer分析
转帖请注明本空间地址：http://blog.csdn.net/chenpingbupt NameNode上的service大致分为了三个类别，一个是ActiveService，一个是StandbyServcie，还有一个CommanService。其中ActiveNameNode会启动CommanService和ActiveService，而StandbyNameNode
2012-08-29 21:41:18
1803
Java Concurrency in Practice, By Brian Goetz.pdf
2015-07-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人