自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 资源 (21)
  • 收藏
  • 关注

原创 hadoop yarn机制

1       YarnJobtracker存在单点故障,并且在该节点当集群规模非常大时,存在性能瓶颈。1.1.1  结构图ResourceManager:RM。YARN的中控模块,负责统一规划资源的使用。{包含schedule和AppManager:启动和加载AppMaster}NodeManager: NM。YARN的资源结点模块,负责启动管理container。A

2015-05-16 10:02:25 311

原创 Hadoop IO RPC FileSystem

MapReduce io rpc filesystem

2015-05-16 09:50:06 333

原创 Mapreduce hadoop 分析

1.1     Mapreduce1.1.1  逻辑过程1.1.2  InputFormat首相 根据context获取到splitInputSplit包含该split所在的location的信息和一个长度信息。【FileInputFormat划分算法:mapred.min.split.sizeGoalSize=FileSize/ugoalNum

2015-05-16 09:38:13 361

原创 设计模式汇总

创建型模式:Abstract Factory 抽象工厂 创建一系列对象 屏蔽对象创建过程 Bulider 生成器 创建复杂对象,将对象的生成和行为分离,同样的创建过程可以根据配置生成不同的该对象Factory Method 工厂方法 将对象的创建延迟到子类中去prototype 原型 js的大家都懂得 定义一个原型 然后可以添加属性 操作等singleton 单例 不解释

2014-01-04 17:21:18 438

原创 JAVA 7 Fork join

1    ForkJoinPool用于执行ForkJoinTask的pool,他实现了Executor, ExecutorService接口。2    ForkJoinTaskl  比thread 更light的threadlike 的 entity,实现了Future接口l  子类:RecursiveAction, RecursiveTask3   RecursiveTa

2013-12-24 21:44:01 583

原创 hadoop2.2 hdfs

hdfs 变动            开始使用多个namenode,避免namenode的单点故障。多个namenode是不容许交互的。            block pool            每个namenode 都会有一个自己独立的block pool 用于存储集群上所有datanode的信息,也就是每个namenode都可以独立使用,所存储的数据是一个全集。 所以当一个

2013-11-15 11:34:56 796

原创 Hadoop Family Job Schedule----Azkaban

Hadoop Family JobSchedule----Azkaban1.1    Azkaban在大量的MR以及Pig等脚本任务产生的时候,必然会需求一个调度平台,Apache 的OOZIE是一个选择,当然Azkaban也是另外一种选择。Azkaban可以对任务进行工作流定义,即每个Job可以依赖别的Job或者主动启动OtherJob。同时该平台提供很完善的Mail Notific

2013-09-04 14:43:48 1709 1

电子商务购物系统Axure原型

基本上满足购物网站的好多基本需求 AxurePro7.0(需求分析阶段可用到)

2019-05-05

nmon analyser

nmon analyser 主要用来分析 nmon获得到的数据,可用户 hadoop storm 等集群分析,根据可视化 只管的 图标结构 能够快速定位参数设置是否恰当,充分利用集群资源。也可以用来分配 集群资源 nmon可以自己去下载,IBM的 但是analyser 官网不给力的

2013-12-31

hadoop1.1.2 eclipse 插件

在用eclipse 搭建hadoop插件时,apache不会提供插件,插件必须自己编译并且声称jar包。 1、将hadoop-1.1.2.tar.gz解压。比如:D:\hadoop-1.1.2。 2、进入D:\hadoop-1.1.2\src\contrib目录。将build-contrib.xml复制到D:\hadoop-1.1.2\src\contrib\eclipse-plugin目录下。 将 Xml代码 <property name="name" value="${ant.project.name}"/> <property name="root" value="${basedir}"/> <property name="hadoop.root" location="${root}/../../../"/> <property name="name" value="${ant.project.name}"/> <property name="root" value="${basedir}"/> <property name="hadoop.root" location="${root}/../../../"/> 替换为 Xml代码 <property name="root" value="D:/hadoop-1.1.2/src/contrib/eclipse-plugin"/> <property name="eclipse.home" location="D:/eclipse"/> <property name="version" value="1.1.2"/> <property name="hadoop.root" location="D:/hadoop-1.1.2"/> <property name="root" value="D:/hadoop-1.1.2/src/contrib/eclipse-plugin"/> <property name="eclipse.home" location="D:/eclipse"/> <property name="version" value="1.1.2"/> <property name="hadoop.root" location="D:/hadoop-1.1.2"/> 3、修改 D:\hadoop-1.1.2\src\contrib\eclipse-plugin下的build.xml文件 Xml代码 <pathelement location="${hadoop.root}/build/classes"/> <pathelement location="${hadoop.root}/build/classes"/> 插入 Xml代码 <pathelement location="${hadoop.root}/hadoop-core-1.1.2.jar"/> <pathelement location="${hadoop.root}/hadoop-core-1.1.2.jar"/> 把 Xml代码 <copy file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/> <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/> <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/> 替换为 Xml代码 <copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/> <copy file="${hadoop.root}/lib/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/> <copy file="${hadoop.root}/lib/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/> 4、修改:MANIFEST.MF文件。目录:D:\hadoop-1.1.2\src\contrib\eclipse-plugin\META-INF Bundle-ClassPath那一栏加入如下信息: Text代码 Bundle-ClassPath: classes/, lib/hadoop-core.jar, lib/commons-cli-1.2.jar, lib/commons-configuration-1.6.jar, lib/commons-httpclient-3.0.1.jar, lib/commons-lang-2.4.jar, lib/jackson-core-asl-1.8.8.jar, lib/jackson-mapper-asl-1.8.8.jar Bundle-ClassPath: classes/, lib/hadoop-core.jar, lib/commons-cli-1.2.jar, lib/commons-configuration-1.6.jar, lib/commons-httpclient-3.0.1.jar, lib/commons-lang-2.4.jar, lib/jackson-core-asl-1.8.8.jar, lib/jackson-mapper-asl-1.8.8.jar 5、在控制台切换到目录D:\hadoop-1.1.2\src\contrib\eclipse-plugin,使用Ant进行编译。 6、最后生成的结果会在D:\hadoop-1.1.2\build\contrib\eclipse-plugin下面。 复制D:\hadoop-1.1.2\contrib\eclipse-plugin\hadoop-eclipse-plugin-1.1.2.jar 到 eclipse安装目录/plugins/ 下。

2013-05-18

Android sdk安装说明

android 的SDK ECLIPSE 安装说明,非常详细哟,给女朋友写的。一般人 都能看的懂。

2012-12-10

SVN Eclipse最新插件 截止20120626

Eclipse中svn插件,svn直接离线安装在eclipse

2012-06-26

OD使用完全教程、OD使用

OD是个很好的找CALL以及反汇编的工具吗,这个主要介绍OD的使用,以及很多快捷键的使用方法

2011-12-08

msn下载 MSN安装文件下载

MSN MSN下载 MSN安装文件下载,MSN.exe

2011-07-04

Linux常用命令 Linux TXT

Linux txt格式,Linux常用命令详细解释,Linux安装、Linux部署详细介绍。

2011-07-04

WebSphere培训教程

详细介绍websphere安装,websphere Eclipse环境构建,websphere工程部署

2011-07-04

maven java maven Eclipse 环境构建

介绍maven 安装,maven Eclipse环境集成。maven是apache出的能够方便工程构建的可代替ant的软件。

2011-07-04

java tomcat server应用配置

详细介绍 server.xml context.xml 以及项目配置 相关java servlet基础知识 可用于学习

2011-06-22

STRUTS1 struts讲解 struts精讲

STRUTS1 struts书 struts讲解 struts精讲

2010-08-18

JFREE chart 用于在JAVA中生成表

JFREE chart 用于在JAVA中生成表 利用JAVA在页面上绘制表格

2010-08-10

JAVA邮件发送 张孝祥老师讲课原代码

张孝祥老师讲课原代码,里面大体涵盖了mail的发送,复杂邮件的生成 相同类无法识别本身的问题

2010-07-15

JAVA MAIL 包

JAVA mail jar包,用于JAVA程序发送邮件

2010-07-12

showModuleDialog函数替换

该方法是用jquery开发 经测试运行正常

2010-05-21

FCKeditor 一款目前c++ 实现完美的文件上传类

FCKeditor 一款目前c++ 实现完美的文件上传类 里面实现完美封装 只要添加组建相关的组建即可

2010-01-24

精通Java Swing程序设计

精通Java Swing程序设计 使用Swing代码案例 有利于新手学习

2010-01-24

Java 极限编程 测试编程

java 测试编程 最全的JAVA测试体系书

2010-01-08

FCKeditor.Net_2.6.3.zip

FCKeditor is a good helper for you to create a network.It is very simpler and easier.you can learn and use it in a short time if you study the FCKeditor text.

2009-05-06

eclipse使用说明

eclipse使用说明,详细介绍eclipse的使用,便利你的eclipse开发。

2008-11-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除