美妙人生IT

原创 第三十一讲.源码解析学习思路以及DataNodeInfo案例分析

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】通过FileSystem API访问BlockLocations块位置信息-----------------------------------------------------------------------------------------------/** * 通过FileSystem API访问...

原创 第三十讲.BlockLocation源码解析

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】BlockLocation代码跟踪---------------------------------------------------------------------------------------- 1.client-->[DistributedFileSystem.class]fs.getFileBlock...

原创 第二十九讲.append追加操作+复本存放策略

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】append追加操作---------------------------------------------------------------------------------------------/** * 注意：如集群节点少于3个，会抛异常；解决方案修改【dfs.client.block.write.re...

原创 第二十八讲.seek操作+测试一致模型（描述文件读和写的数据可见性）

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】seek操作【P59】------------------------------------------------------------------------------------ /** * 通过FileSystem API做read操作，设置seek() * 总结：FSDataInputS...

原创 第二十七讲.动态设置相关参数(replication为2和blocksize为10字节)

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】通过java.net.URL类访问写入HDFS数据---------------------------------------------------------------- /** * 通过java.net.URL类访问写入HDFS数据 * 结论：通过URL的方式不能实现对HDFS的写操作，抛ja...

原创 第二十六讲.FileStatus对象,获取文件的相关属性

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】FileStatus对象，获取文件的相关属性----------------------------------------------------------- /** * 通过FileSystem API获取一些相关参数,有一些过期的方法，如何采用现有的 */ @Test public ...

原创 第二十五讲.通过FileSystem API创建文件夹

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】通过FileSystem API创建文件夹-------------------------------------------------------------- /** * 通过FileSystem API创建文件夹 * $>hadoop fs -mkdir /mkdir_byAPI ...

原创 第二十四讲.配置windows Hadoop工具包+通过FileSystem API访问读取HDFS数据

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】通过FileSystem API访问读取HDFS数据--------------------------------------------- /** * 通过FileSystem API访问读取HDFS数据 * $>hadoop fs -cat /spaceQuota/text.txt *...

原创 第二十三讲.从HadoopURL中读取数据

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】从hadoop URL读取数据------------------------------------------ static{ URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } /** * 通过j...

原创 第二十二讲.知识点回顾+搭建Hadoop开发环境+eclipse集成hadoop插件

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】hdfs API-------------------- 1.HDFS:hadoop分布式文件系统--> 两种表现形式：1.hadoop fs shell命令：【hadoop fs -commond】 2.java API方式访问: ...

原创 第二十一讲.配额说明+HDFS相关命令(追加文件+合并文件+设置复本因子+快照Snapshot)

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】hdfs commond命令---------------------------- 1.appendToFile追加文件至目标文件末尾；(开yarn进程) $>hadoop fs -appendToFile text111.txt /spaceQuota/text.txt 2.getmerge:合...

原创 第二十讲.HDFS管理员命令(查看状态信息+保存元数据+获取最新fsimage+设置目录配额和空间配额)

HDFS视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】hdfs管理员操作dfsadmin------------------------------- 1.-report：返回集群的状态信息 $>hdfs dfsadmin -report 2.-metasave：默认存放到{HADOOP_LOG_DIR}路径下,包含datanode和块的信...

原创 第十九讲.NN与SNN能否放置在同一节点+NameNode内存大小由谁决定+如何减少Block数量

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】问题：------------------------------------------------------1.namenode与secondarynamenode是否放到同一个节点？答：不能。 原因：内存！！！！！单节点内存大小有物理限制。2.nanemnode内存大小有谁决定？答：由集群中的块的数量决定；...

原创 第十八讲.手动操作CheckPoint(安全模式)+滚动日志命令

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】手动操作checkpoint----------------------------- 1.安全模式：【开启状态】 $>hdfs dfsadmin -safemode enter //进入 $>hdfs dfsadmin -safemode leave //离开 ...

原创 第十七讲.CheckPoint检查点机制+阈值参数说明

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】checkpoint(检查点机制)相关属性---------------------------------------- 1.checkpoint周期，默认为1小时。 <property> <name>dfs.namenode.checkpoint.period</n...

原创 第十六讲.分析NameNode开启运行流程【深入理解】

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】分析namenode开启过程:50070UI---------------------------- 1.默认目录下{hadoop.tmp.dir/dfs/name/current}，fsimage文件存储为两个，加载fsimage_txid最后一个。（txid=39） 2.加载edits_txid操作文件至内存中。元...

原创 第十五讲.元数据分析：查看解析fsimage和Edits文件

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】元数据------------------------- 1.查看fsimage文件 $>hdfs oiv -i fsimage_0000000000000000022 -o ~/fs22.xml -p XML 【 <?xml version="1.0"?> ...

原创 第十四讲.HDFS体系结构说明（NameNode+DataNode）精讲

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】HDFS的体系结构------------------------- 1.namenode[守护进程]作用： 管理文件系统名称空间；【fsimage元数据镜像文件】 管理客户端对文件的访问。【edits操作文件】 NameNode执行文件系统命名空间操作，如打开，关闭和重命名文件和目录【edit...

原创 第十三讲.通过WebUI分析Hadoop集群启动流程

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】分析webUI：50070的描述--------------------------------- 1.Startup Progress页【集群开启的过程】 Elapsed Time: 1 sec, Percent Complete: 100% Phase Completion Elapsed Ti...

原创 第十二讲.HDFS设计思路+Block块机制+Block块大小

视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】开启集群------------------ 1.主节点的守护进程为： namenode secondarynamenode resourcemanager 2.从节点 datanode nodemanagerHDFS的相关概念------------------...

原创 第十一讲.虚拟机VMware安装增强

【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS回顾一下------------------------ 1.完全分布式的搭建流程 a.建议重新搭建一次 b.两个salve，注意修改UUIDLinux安装增强--------------------- 1.选择【虚拟机】-->【安装VMware Tools】-->加载VMware Tools的...

原创 第十讲.Hadoop完全分布式手把手搭建过程【超详细】

【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS完全分布式搭建步骤----------------------------------- 1.克隆两个节点 2.修改静态IP 3.修改主机名：【master(主)，slave1(从)，slave2(从)】 4.修改IP和主机名的映射：【/etc/hosts】 5.SSH无密登录： 6.安装JDK(略) ...

原创 第九讲.静态IP的设置+关闭防火墙+克隆虚拟机【操作】

【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS静态IP的设置-------------------------- 1.VMware-->编辑-->虚拟网络编辑器-->还原默认配置-->重置网络设置 2.VMware-->编辑-->虚拟网络编辑器-->选中VM8-->关掉DHCP 3.查看网络相关配置： 子网：192...

原创 第八讲.Hadoop完全分布式搭建思路

【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS完全分布式搭建步骤-------------------------------------- 1.克隆两个节点 2.修改静态IP 3.修改主机名：【master(主)，slave1(从)，slave2(从)】 4.修改IP和主机名的映射：【/etc/hosts】 5.SSH无密登录： 6.安装JDK(略) ...

原创 第七讲.Hadoop数据组织结构【必须掌握】

【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFShdfs默认数据存放路径----------------------------- 1.{hadoop.tmp.dir}:/tmp/hadoop-${user.name} 修改路径到当前用户目录下： 【/home/hyxy/tmp/hadoop】 注意：理解格式化的含义{创建dfs/name/fsimage，针...

原创 第六讲.Hadoop默认配置路径+启动脚本源码解析

【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFShadoop的瓶颈为物理存储！！！而绝非网络、内核CPU、内存hadoop默认查找{HADOOP_HOME}/etc/hadoophadoop start-dfs.sh 的执行流程------------------------------------- 【start-dfs.sh】-->【hdfs-config.sh】(说明：加载各种配..

原创 第五讲.Hadoop守护进程的正确启动方式

【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS分别启动守护进程：(启动顺序不重要)----------------------------- 1.启动namenode进程： $>hadoop-daemons.sh --config ~/soft/hadoop/etc/hadoop_pseudo start namenode 2.启动datanode进程： $...

原创 第四讲.查找Hadoop版本的默认配置文件【必须掌握】

【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS查找当前hadoop2.7.3的默认配置文件------------------------------------------- 1.core-default.xml:【hadoop-common-2.7.3.jar】 2.hdfs-default.xml:【hadoop-hdfs-2.7.3.jar】 3.mapred-defau...

原创 第二讲.Hadoop搭建思路：官网手册说明

【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFShadoop集群搭建------------------------ 1.要求： hadoop 2.7.3版本、8G/固态硬盘、centos6.5/6.8 2.安装伪分布 注意：core-site.xml:【默认端口为8020，官网配置为9000】 3.安装步骤： 1.安装centos6.5:注意：...

原创 第一讲.Hadoop介绍：定义+组成+生态组件

视频地址：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFShadoop------------------- 1.雅虎---谷歌：GFS，mapreduce 2.hadoop组成： a.hadoop common:支持其他Hadoop模块的常用工具。 b.HDFS c.mapreduce d.yarn 3.hadoop相关组件...

原创 第三讲.Hadoop伪分布集群搭建流程【适合初学者】

Hadoop伪分布集群搭建流程说明： 搭建环境：Centos6.8+Hadoop2.7.3+JDK1.8.0 Linux操作系统：创建用户wonderfullife 视频地址：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS 视频笔记如下：1.通过挂在上传软件至/home/wonderfullife/soft $>cp jdk...

原创 【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS

原创 Hadoop你能了解多少，一图胜千言

转载 JSP脚本的9个内置对象（一）——简述、Application对象

一. 简述         JSP 页面中包含9 个内置对象，这9 个内置对象都是Servlet API 的类或者接口的实例，只是JSP 规范将它们完成了默认初始化，即它们已经是对象，可以直接使用。这9个内置对象依次如下：        （1）application：javax.servlet.ServletContext的实例，该实例代表JSP所属的WEB应用本身，可用于

转载 web.xml 中的listener、 filter、servlet 加载顺序及其详解

在项目中总会遇到一些关于加载的优先级问题，近期也同样遇到过类似的，所以自己查找资料总结了下，下面有些是转载其他人的，毕竟人家写的不错，自己也就不重复造轮子了，只是略加点了自己的修饰。        首先可以肯定的是，加载顺序与它们在 web.xml 文件中的先后顺序无关。即不会因为 filter 写在 listener 的前面而会先加载 filter。最终得出的结论是：listener -

转载 Spring的核心机制依赖注入讲解

Spring能有效地组织J2EE应用各层的对象。不管是控制层的Action对象，还是业务层的Service对象，还是持久层的DAO对象，都可在Spring的管理下有机地协调、运行。Spring将各层的对象以松耦合的方式组织在一起，Action对象无须关心Service对象的具体实现，Service对象无须关心持久层对象的具体实现，各层对象的调用完全面向接口。当系统需要重构时，代码的改写量将大大减少

转载 Flex 强制转换类型失败:

错误一：无法将....object 转换为 mx.messaging.messages.IMessage。解决方法：在你要弹出（我在做窗口弹出）的模块里面加入 import flash.net.registerClassAlias; import mx.messaging.messages.RemotingMessage; registerClassAlias("flex.messagin

转载 复写treeItemrenderer 给树形菜单加复选框

项目中菜单树+复选框的需求，以为像平常的list控件加个itemrender就可以搞定，谁知道不是那么回事。果断baidu。看到有大神写过，果断看tree的源码，发现：         tree在构造函数中已经默认设置了一个itemrnederer。而且它的itemrenderer和其它的不太一样，包含三个部分：1. 打开/关闭按钮  2. 文件夹图标 3.文本框