- 博客(45)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hadoop学习总结
这个是拉钩大数据训练营的最开始的学习，大数据的基础hadoop，讲的非常详细，对后面的学习理解也很有帮助hadoop1.简介Hadoop 是一个适合大数据的分布式存储和计算平台。狭义Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块HDFS：一个高可靠、高吞吐量的分布式文件系统，数据切割、制作副本、分散储存MapReduce：一个分布式的离线并行计算框架,拆解任务、分散处理、汇整结果,MapReduce计算 = Map阶段
2020-09-03 19:25:37
969
原创 离线数仓实践一
絮叨最近感觉工作一直在做一些重复性的东西，自我提升太小，想要做一些自我提升，想做一些大数据相关的学习，但是发现这个是个系统比较庞大的东西，涉及到的东西多，自学的话不知从何下手，而且大部分的资料都比较零散，不系统，感觉还是需要一个系统的课程。正好看到拉钩推出的大数据训练营，看了下课程内容比较适合自己，有系统的讲解也有几个项目的实践，现在也学了两个月开始做第一个项目实践了，感觉讲师讲的深入浅出，既学会了相关的技术，理解相关技术的原理，使用场景，相同类型不同框架的优缺点。课后也有讲师在线答疑，能及时的解决学习
2020-09-03 19:24:13
1091
原创 Impala总结
Impala概述开源的针对HDFS和HBASE中的PB级别数据进行交互式实时查询优点 使用MPP没有使用MR，提升速度 使⽤用LLVM(C++编写的编译器器)产生运行代码 优秀的IO调度 选择适合的数据存储格式可以得到最好的性能 尽可能使用内存，中间结果不写磁盘，及时通过网络以stream的⽅式传递 缺点 Impala属于MPP架构，只能做到百节点级，一般并发查询个数达到20左右时 资源不不能通过YARN统⼀一资源管理理调度，所以
2020-09-03 19:23:53
321
1
原创 profile
一个项目开发，可能需要在不同运行环境，比如开发环境，测试环境，正式环境等，profile可以让我们定义一系列的配置信息等。我们可以定义多个profile，然后每个profile对应不同的环境和配置信息，从而达到不同环境使用不同配置信息的效果。 <profiles> <profile> <id>dev</id> <...
2016-09-13 15:37:51
94
原创 常用Maven插件介绍
转载自：http://www.cnblogs.com/crazy-fox/archive/2012/02/09/2343722.html我们都知道Maven本质上是一个插件框架，它的核心并不执行任何具体的构建任务，所有这些任务都交给插件来完成，例如编译源代码是由maven- compiler-plugin完成的。进一步说，每个任务对应了一个插件目标（goal），每个插件会有一个或者多个目标，...
2016-09-13 15:25:31
80
原创 使用spring的@Async异步执行
再一些特殊的情况我们可能需要用到异步操作，那么spring怎么执行异步操作呢，首先使用异步的情况应该是这个过程很耗时间，我们不想等，而且我们也不需要知道他的操作结果。比如发送代办的时候我们同事考虑发送邮件。发邮件的过程我们可以异步处理使用方法：1、在spring的配置文件中加入对异步执行的支持 <beans xmlns="http://www.springframewor...
2016-04-07 09:29:02
103
原创 线程及线程池
线程的基础知识http://blog.csdn.net/lonelyroamer/article/details/7993637什么是线程2、线程的主要用途①、利用它可以完成重复性的工作（如实现动画、声音等的播放）。②、从事一次性较费时的初始化工作（如网络连接、声音数据文件的加载）。③、并发执行的运行效果（一个进程多个线程）以实现更复杂的功能我的理解就是，不影响整个程序的进程，程序接着...
2016-04-07 09:26:56
91
原创 异常机制
异常 在 Java 中，所有的异常都有一个共同的祖先 Throwable（可抛出）。Throwable 指定代码中可用异常传播机制通过 Java 应用程序传输的任何问题的共性。 Throwable： 有两个重要的子类：Exception（异常）和 Error（错误），二者都是 Java 异常处理的重要子类，各自都包含大量子类。 Error（错误）:是程序无法处理...
2015-06-08 10:39:25
76
原创 集合框架
java集合架构支持3种类型的集合：规则集（Set），线性表（List），和图（Map），分别定义在Set，List，Map中。Set实例存储一组互不相同的元素（集合），List实例存储一组顺序排列的元素（表），Map存储一组 对象---关键值的映射Collection接口： Set接口： HashSet具体类、LinkedHashSet具体类、TreeSet具体类 ...
2015-05-17 21:54:19
60
原创 继承与多态（抽象与接口）
继承：1、java中继承是单根的（只有一个直接父类，但是不管写不写，都直接或者间接的继承了Object类）貌似java8去掉了这个特性，继承也允许多继承2、子类继承父类的非private 方法和属性3、子类初始化出来之前先初始化父类。4、若子类没有显示调用父类的构造方法，则jvm默认会调用父类的无参数构造方法5、若需要显示调用父类的构造方法则使用super（）且super（...
2015-05-17 21:39:49
50
原创 java基础
以下是一些java最最基础的知识，有些杂乱，但都是一些基本的东西，记录下来好参考java语言的特点是：易用性、健壮性、安全性 、分布式、多线程， 跨平台。java环境的搭建：1、安装jdk开发环境2、配置环境变量jdk目录说明：bin：开发工具全在这里，demo：示例语句 include：导入文件 jre：开发者的运行环境，lib：类文件类库。sample：例子，示例...
2015-05-17 21:11:39
57
ant与maven比较
MAVEN BOOK 写道Apache Ant •Ant 没有正式的约定如一个一般项目的目录结构，你必须明确的告诉 Ant 哪里去找源代码，哪里放置输出。随着时间的推移，非正式的约定出现了，但是它们还没有在产品中模式化。 •Ant 是程序化的，你必须明确的告诉 Ant 做什么，什么时候做。你必须告诉它去编译，然后复制，然后压缩。•Ant 没有生命周期，你必须定义目标和目标之间的依赖。你必...
2015-04-29 10:49:31
134
原创 Ant使用入门
原文地址http://tech.it168.com/j/2007-11-09/200711091344781_1.shtmlAnt是一个Apache基金会下的跨平台的构件工具，它可以实现项目的自动构建和部署等功能。在本文中，主要让读者熟悉怎样将Ant应用到Java项目中，让它简化构建和部署操作。一． 安装与配置下载地址：http://ant.apache.o...
2015-04-28 17:19:40
86
原创 maven--模块化
关于maven的模块化。我觉得有个帖子写的非常详细清楚，故转来，至于为什么转来是怕有一天博主兴起删了那文章我可如何是好，这么好的文章就应该好好保存先贴原文地址：划分模块：http://juvenshun.iteye.com/blog/305865?page=2#comments按需构建多模块，玩转Maven反应堆： http://juvenshun.iteye.com/blog/5...
2015-04-28 10:32:54
97
原创 Maven使用入门
项目目录一个标准的maven项目目录如下src：源代码目录。所有的源代码都被放在了这个目录下。在这个目录下又包括了： 1) main：所有的源代码放在这里。对于Java项目，还有一个下级子目录：java. 对于Flex项目则是flex。 2) test：所有的单元测试类放在这里。target：所有编译过的类文件以及生成的打包文件(.jar, .war, .....
2015-04-24 15:37:28
98
原创 maven安装与配置
安装1、去maven官网下载安装包。并解压到本地文件。2、配置环境变量，新建一个变量名为M2_HOME 。变量值为maven的安装目录。然后在path的便利末尾加上%M2_HOME%\bin。3、检查是否安装成功，Cmd敲入mvn -v命令查看是否有版本信息。有则安装成功 设置http代理1.检查中央仓库， ping repo1.maven.org 检查网络，如果不通则...
2015-04-23 16:25:24
101
原创 重构学习笔记
一.怎样的代码该考虑重构1、重复代码2、过长函数3、过大的类4、过长的参数列5、发散式变化（让系统容易修改，当需要修改时只要改一点就好而不用改很多紧密相连得为地方）6、散弹试修改，跟上一点想反，如果发生一个变化发现要在许多类上做小修改，代码四处分散。这样不集中不利于修改容易遗漏需修改代码。7、依恋情节 （某个函数对某个类的兴趣高过自己所处的类，最常见的是某个函数为了计...
2015-04-23 15:51:49
124
原创 设计模式总说
对于一个对设计模式还不是很熟练运用的初学者，读完了head first设计模式 这本书，觉得写的非常好，容易读懂掌握。下面是对设计模式的一个整理。 分类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。行为型模式，共十一种：策略模式、模板方法模式、观...
2015-04-23 15:44:01
86
原创 行为型模式比较
常见行为型模式有11种：CCIIMM（Chain of Responsibility职责链、Command命令、Interpreter解释器、Iterator迭代、Mediator中介者、Memento备忘录），OSSTV（Observer观察者、State状态、Strategy策略、Template Method模版方法、Visitor访问者）。 行为型模式设计到算法和对象间的职责分...
2015-04-23 14:23:25
161
原创 行为型-解释器模式
定义给定一种语言，定义他的文法的一种表示，并定义一个解释器，该解释器使用该表示来解释语言中句子。UML 抽象解释器：声明一个所有具体表达式都要实现的抽象接口（或者抽象类），接口中主要是一个interpret()方法，称为解释操作。具体解释任务由它的各个实现类来完成，具体的解释器分别由终结符解释器TerminalExpression和非终结符解释器NonterminalEx...
2015-04-22 17:23:43
50
原创 行为型-中介者模式
定义用一个中介者对象封装一系列的对象交互，中介者使各对象不需要显示地相互作用，从而使耦合松散，而且可以独立地改变它们之间的交互。UML 以上两个UML图，第一个是广义的中介者模式Mediator：中介者接口。在里面定义了各个同事之间相互交互所需要的方法，可以是公共的方法，如Change方法，也可以是小范围的交互方法。ConcreteMediator：具体的中介者实现对象...
2015-04-22 16:07:38
124
原创 行为型-访问者模式
定义表示一个作用于某对象结构中的各元素的操作。它使你可以在不改变各元素类的前提下定义作用于这些元素的新操作。 UML 抽象访问者：抽象类或者接口，声明访问者可以访问哪些元素，具体到程序中就是visit方法中的参数定义哪些对象是可以被访问的。访问者：实现抽象访问者所声明的方法，它影响到访问者访问到一个类后该干什么，要做什么事情。抽象元素类：接口或...
2015-04-22 15:20:03
65
原创 行为型-状态模式
定义当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类。状态模式主要解决的是当控制一个对象状态的条件表达式过于复杂时的情况。把状态的判断逻辑转移到表示不同状态的一系列类中，可以把复杂的判断逻辑简化。UML 上下文环境（Context）：它定义了客户程序需要的接口并维护一个具体状态角色的实例，将与状态相关的操作委托给当前的Concrete State对象来...
2015-04-19 22:20:31
136
原创 行为型-备忘录模式
定义在不破坏封装性的前提下，捕获一个对象的内部状态，并在该对象之外保存这个状态。这样就可以将该对象恢复到原先保存的状态UML 1.Originator(发起人)：负责创建一个备忘录Memento，用以记录当前时刻自身的内部状态，并可使用备忘录恢复内部状态。Originator可以根据需要决定Memento存储自己的哪些内部状态。2.Memento(备忘录)：负责存储Orig...
2015-04-17 08:55:14
53
原创 行为型-责任链模式
定义责任链模式是一种对象的行为模式。在责任链模式里，很多对象由每一个对象对其下家的引用而连接起来形成一条链。请求在这个链上传递，直到链上的某一个对象决定处理此请求。发出这个请求的客户端并不知道链上的哪一个对象最终处理这个请求，这使得系统可以在不影响客户端的情况下动态地重新组织和分配责任。 一个纯的责任链模式要求一个具体的处理者对象只能在两个行为中选择一个：一是承担责任，而是把责任...
2015-04-17 08:53:56
90
原创 行为型-迭代器模式
定义提供一种方法顺序访问一个聚合对象中各个元素，而又不需暴露该对象的内部表示java语言已经完整地实现了迭代器模式，Iterator翻译成汉语就是迭代器的意思。提到迭代器，首先它是与集合相关的，集合也叫聚集、容器等，我们可以将集合看成是一个可以包容对象的容器，例如List，Set，Map，甚至数组都可以叫做集合，而迭代器的作用就是把容器中的对象一个一个地遍历出来。UML抽象迭代...
2015-04-17 08:53:23
59
原创 行为型-命令模式
定义在软件系统中，“行为请求者”与“行为实现者”通常呈现一种“紧耦合”。但在某些场合，比如要对行为进行“记录、撤销/重做、事务”等处理，这种无法抵御变化的紧耦合是不合适的。在这种情况下，如何将“行为请求者”与“行为实现者”解耦？将一组行为抽象为对象，实现二者之间的松耦合。这就是命令模式（Command Pattern） UML Command：定义命令的接口，声明执行的方...
2015-04-17 08:52:38
64
原创 行为型-观察者模式
观察者模式（发布-订阅Subscribe>模式）定义定义了对象之间的一对多依赖，这样一来，当一个对象改变状态时，它所有的依赖者都会收到通知并更新。UML 抽象主题角色：把所有对观察者对象的引用保存在一个集合中，每个抽象主题角色都可以有任意数量的观察者。抽象主题提供一个接口，可以增加和删除观察者角色。一般用一个抽象类和接口来实现。抽象观察者角色：为所有具体的观...
2015-04-16 11:14:13
68
原创 行为型-模版模式
模版模式定义定义了一个算法的骨架，而将一些步骤延迟到子类中，模版方法使得子类可以在不改变算法结构的情况下，重新定义算法的步骤。模版模式其实很简单，就是一个抽象定义好公共的步骤，把一些单独的算法提取出来。让子类实现。1>模板模式定义了算法的步骤，把这些步骤的实现延迟到子类2>模板模式为我们提供了一个代码复用的技巧3>模板抽象类中可以定义具体方法、抽象方法和钩...
2015-04-16 10:30:17
58
原创 行为型-策略模式
策略模式定义策略模式定义了一系列的算法，并将每一个算法封装起来，而且使它们还可以相互替换。策略模式让算法独立于使用它的客户而独立变化。策略模式属于对象行为型模式，主要针对一组算法，将每一个算法封装到具有共同接口的独立的类中，从而使得它们可以相互替换。策略模式使得算法可以在不影响到客户端的情况下发生变化。通常，策略模式适用于当一个应用程序需要实现一种特定的服务或者功能，而且该...
2015-04-16 10:28:26
61
原创 结构型模式比较
结构型模式概述 结构型模式，顾名思义讨论的是类和对象的结构，它采用继承机制来组合接口或实现（类结构型模式），或者通过组合一些对象，从而实现新的功能（对象结构型模式）。这些结构型模式，它们在某些方面具有很大的相似性，仔细推敲，侧重点却各有不同。 Adapter模式通过类的继承或者对象的组合侧重于转换已有的接口；Bridge模式通过将抽象和实现相分离，让它们可以分别独立的...
2015-04-16 09:54:29
386
原创 结构型-享元模式
定义 享元模式以共享的方式高效的支持大量的细粒度对象。它使用共享物件，用来尽可能减少内存使用量以及分享资讯给尽可能多的相似物件；它适合用于只是因重复而导致使用无法令人接受的大量内存的大量物件。通常物件中的部分状态是可以分享。常见做法是把它们放在外部数据结构，当需要使用时再将它们传递给享元。 内蕴状态存储在享元内部，不会随环境的改变而有所不同，是可以共享的 外...
2015-04-16 09:28:42
47
原创 结构型-组合模式
定义 将对象组合成树形结构以表示“部分整体”的层次结构。组合模式使得用户对单个对象和组合对象的使用具有一致性。有时候又叫做部分-整体模式，它使我们树型结构的问题中，模糊了简单元素和复杂元素的概念，客户程序可以像处理简单元素一样来处理复杂元素,从而使得客户程序与复杂元素的内部结构解耦。组合模式让你可以优化处理递归或分级数据结构。有许多关于分级数据结构的例子，使得组合模式...
2015-04-15 16:58:52
153
原创 结构型-桥接模式
定义【GOF95】在提出桥梁模式的时候指出，桥梁模式的用意是"将抽象化(Abstraction)与实现化脱耦，使得二者可以独立地变化"。这句话有三个关键词，也就是抽象化、实现化和脱耦。抽象化：存在于多个实体中的共同的概念性联系，就是抽象化。作为一个过程，抽象化就是忽略一些信息，从而把不同的实体当做同样的实体对待【LISKOV94】。实现化：抽象化给出的具体实现，就是实现化。脱耦...
2015-04-15 16:06:29
67
原创 结构型-代理模式
定义为其他对象提供一种代理以控制对这个对象的访问。在某些情况下，一个对象不适合或者不能直接引用另一个对象，而代理对象可以在客户端和目标对象之间起到中介的作用。UML 抽象角色:通过接口或抽象类声明真实角色实现的业务方法。代理角色：实现抽象角色，是真实角色的代理，通过真实角色的业务逻辑方法来实现抽象方法，并可以附加自己的操作。（最简单的比如打印日志）真实角色：实现抽象角色，定...
2015-04-15 11:29:09
38
原创 结构型-装饰者模式
装饰者模式定义动态地将责任附加到对象上，若要扩展功能功能装饰者提供了比继承更有弹性的替代方案。UML（1）抽象构件（Component）角色：给出一个抽象接口，以规范准备接收附加责任的对象。（2）具体构件（Concrete Component）角色：定义一个将要接收附加责任的类。（3）装饰（Decorator）角色：持有一个构件（Component）对象的实例，并实现一个与抽象构...
2015-04-15 09:16:40
69
原创 结构型-外观模式
定义外观模式（Facade），为子系统中的一组接口提供一个一致的界面，定义一个高层接口，这个接口使得这一子系统更加容易使用。 UMLFacade：这个外观类为子系统提供一个共同的对外接口Clients：客户对象通过一个外观接口读写子系统中各接口的数据资源。 实例1.比如一个家庭影院，我们需要看电影，肯需要先打开电视机，音响，调节灯光，炸爆米花，准备可乐等一系列的...
2015-04-14 17:46:25
131
原创 结构型-适配器模式
定义将一个类的接口，转换成客户期望的另一个类的接口。适配器让原本接口不兼容的类可以合作无间。说通俗点其实就是一个东西不适用的时候给它包裹一层让他能够适配使用又不改变他本身。 分类（1）类适配器：当客户在接口中定义了他期望的行为时，我们就可以应用适配器模式，提供一个实现该接口的类，并且扩展已有的类，通过创建子类来实现适配。 public interface Targe...
2015-04-14 16:50:49
68
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人