- 博客(21)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 spatialhadoop2.3源码阅读(十三) RTreeGridOutputFormat & RTreeGridRecordWriter & RTree[RTree Index MapReuce]
这几个类的调用关系为RTreeGridOutputFormat生成edu.umn.cs.spatialHadoop.mapred.RTreeGridRecordWriter类，edu.umn.cs.spatialHadoop.mapred.RTreeGridRecordWriter类继承自edu.umn.cs.spatialHadoop.core.RTreeGridRecordWriter，edu
2015-12-23 17:18:28
512
原创 spatialhadoop2.3源码阅读(十二) GridOutputFormat & GridRecordWriter[Grid Index MapReuce]
1. GridOutputFormatGridOutputFormat的作用是产生RecordWriter，其生成了GridRecordWriter，代码如下：public class GridOutputFormat extends FileOutputFormat { @Override public RecordWriter getRecordWriter(FileSy
2015-12-23 11:07:58
440
原创 spatialhadoop2.3源码阅读(十一) ShapeRecordReader & SpatialRecordReader[Grid Index MapReuce]
生成ShapeRecordReader的类ShapeInputFormat，其具体实现已在spatialhadoop2.1源码阅读(三) 自定义InputFormat（SpatialInputFormat & ShapeInputFormat）中介绍，具体可看该文章。本文主要介绍网格索引生成过程中使用的ShapeRecordReader 和SpatialRecordReader1.Sh
2015-12-23 10:03:01
507
原创 spatialhadoop2.3源码阅读(十) TextOutputFormat & LineRecordWriter[FileMBR]
1. TextOutputFormatTextOutputFormat继承自FileOutputFormat，它实现了自己的getRecordWriter方法，代码如下：public RecordWriter getRecordWriter(FileSystem ignored, JobCo
2015-12-22 20:21:04
609
原创 spatialhadoop2.3源码阅读(九) ShapeLineInputFormat & ShapeLineRecordReader & SpatialRecordReader[FileMBR]
ShapeLineInputFormat的作用就是生成ShapeLineRecordReader，其具体实现和spatialhadoop2.1源码阅读(三) 自定义InputFormat（SpatialInputFormat & ShapeInputFormat）中介绍的ShapeInputFormat的实现基本相同，具体可看该文章。ShapeLineInputFormat的源码如下：publ
2015-12-22 17:23:44
454
原创 spatialhadoop2.3源码阅读(八) RTree索引生成方法(二)
这一章主要介绍MapReduce的具体实现。1. Map /** * The map class maps each object to the cell with maximum overlap. * @author Ahmed Eldawy * */ public static class RepartitionMapNoReplication extend
2015-12-22 15:04:08
609
原创 spatialhadoop2.3源码阅读(八) RTree索引生成方法(一)
SpatialHadoop的索引生成类为edu.umn.cs.spatialHadoop.operations.Repartition。该类的main方法，repartition方法以及repartitionMapReduce的第一部分和第三部分，均与spatialhadoop2.3源码阅读(五) grid 索引生成方法(一)中介绍的相同，本文重点介绍repartitionMapReduce的
2015-12-21 19:59:12
760
原创 spatialhadoop2.3源码阅读(七) Sampler类
该类的主要作用是从输入文件中进行随机采样。Sampler类中可以有三种采用方式，分别是根据比例，根据大小以及根据记录数来进行采样。在这三种采用方式中，按比例采样分别实现了本地方法和MapReduce方法，其他两种只有本地方法，具体代码如下：public static void sample(Path[] inputFiles, ResultCollector output, Ope
2015-12-18 10:24:44
693
原创 spatialhadoop2.3源码阅读(六) grid 索引生成方法(二)
上一篇主要介绍了grid 索引生成中MapReduce Job 的一些配置信息，接下来将主要介绍Map，Reduce等MapReduce的具体实现。1. Map未完待续。。。。。。。。
2015-12-15 10:06:39
654
原创 spatialhadoop2.3源码阅读(五) grid 索引生成方法(一)
SpatialHadoop的索引生成类为edu.umn.cs.spatialHadoop.operations.Repartition。其main 方法如下public static void main(String[] args) throws Exception { OperationsParams params = new OperationsParams(new Generic
2015-12-15 09:14:33
781
原创 spatialhadoop2.3源码阅读(四) FileMBR类
edu.umn.cs.spatialHadoop.operations.FileMBR 类主要功能为计算输入数据的最小包围矩形。该类的核心实现为fileMBRMapReduce方法。该方法使用MapReduce Job进行计算。FileMBR 主要实现了map，combine和reduce方法。接下来分别介绍这三个方法。1. FileMBRMapper为Map类，该类map方法位p
2015-12-02 19:43:33
714
原创 spatialhadoop2.1源码阅读(三) 自定义InputFormat（SpatialInputFormat & ShapeInputFormat）
edu.umn.cs.spatialHadoop.mapred.SpatialInputFormat类继承自hadoop自带的FileInputFormat类。SpatialInputFormat实现了InputFormat两大功能中的其中一个：getRecordReader。另外一个功能getSplits默认继承了FileInputFormat类的实现。SpatialInputFor
2015-11-30 16:19:15
805
原创 spatialhadoop2.1源码阅读(二) bin/shadoop generate命令
edu.umn.cs.spatialHadoop.operations.Main 中关于bin/shadoop generate命令代码如下： pgd.addClass("generate", RandomSpatialGenerator.class, "Generates a random file containing spatial data");可知，该命令实现类为
2015-11-27 15:53:40
773
原创 spatialhadoop2.1源码阅读(一) shadoop脚本文件
1. bin/shadoop文件内容如下：bin=`dirname "$0"`bin=`cd "$bin" > /dev/null; pwd`# Call Hadoop with the operations.Main as the main class. "$bin"/hadoop edu.umn.cs.spatialHadoop.operations.Main $@
2015-11-18 19:29:40
1182
原创 [读书笔记]Yarn RPC实现
hadoop技术内幕-----深入解析YARN架构设计与实现原理类图摘自书中第65页（以server端为例）自下向上：yarn_server_common_service_protos.proto 文件中采用protocol buffer语法定义了RPC函数的参数和返回值，即定义了protocol buffer中的序列化部分，主要包括RegisterNodeManage
2015-11-11 11:13:26
1139
原创 eclipse远程调试hadoop2.6
1.修改$HADOOP_HOME/bin/hdfs 脚本 以调试NameNode为例，找到如下代码：if [ "$COMMAND" = "namenode" ] ; then CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode' HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_O
2015-11-09 18:54:27
371
原创 hadoop2.6源代码编译
操作系统 centos6.4 64位hadoop hadoop-2.6.0-src.tar.gzjdk jdk-7u67-linux-x64.tar.gzprotoc protobuf-2.5.0.tar.gzmaven apache-maven-3.0.5-bin.tar.gz1. 安装jdksudo tar -xzvf jdk-7u67-linux-x64.tar.
2015-11-09 09:56:42
273
转载 tomcat在Debug模式下无法启动解决办法
这个问题可能是由于eclipse和tomcat的交互而产生的，在以debug模式启动tomcat时，发生了读取文件错误，eclipse自动设置了断点，导致tomcat不能正常启动。解决方法如下，打开breakpoints veiw，右键－> Remove all，然后重新用debug方式启动即可。
2014-08-26 19:59:51
395
转载 Eclipse加入extjs卡的解决方案
关于Eclipse下加入Ext速度慢的解决方案： 打开Eclipse的workspace下该项目对应.project文件， 删除一下内容： （1） org.eclipse.wst.jsdt.core.javascriptValidator
2014-08-12 09:29:33
306
转载 linux 系统日志syslog
系统日志文件本节介绍初级管理（LPIC-1）考试 102 的 1.111.3 主题的内容。这个主题的权值为 3。在本节中，学习如何配置和管理系统日志，包括以下任务：管理日志记录的信息的类型和级别自动地轮替日志文件并进行存档扫描日志文件来了解值得注意的活动监视日志文件调查日志文件中报告的问题管理日志记录的信息的类型和级别Linux 系统上的
2014-07-10 09:46:23
603
转载 集成 Tomcat 插件到 Eclipse 的过程
1. 下载 Tomcat 作者选择的是 Tomcat7，下载地址：http://tomcat.apache.org/download-60.cgi，选择绿色版的 zip 进行下载(目前最新的 Tomcat 6 版本的绿色版是 apache-tomcat-6.0.35.zip，作者已经上传了一个到 Csdn，下载地址是：http://download.csdn.net/deta
2014-07-06 09:44:58
337
算法导论课后习题与思考题答案合集
2012-11-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人