- 博客(27)
- 收藏
- 关注
RSS订阅转载 commons-io之FileUtils、IOUtils
commons-io简单说明：Common IO 是一个工具库，用来帮助开发IO功能 它包括6个主要部分：一些工具类：包括一些静态方法来执行常用任务。输入：InputStream 和 Reader 实现。输出：OutputStream 和 Writer 实现。过滤器：多种文件过滤器实现(定义了 IOFileFilter接口，同时继承了 FileFilter 和 FilenameFi...
2019-07-24 10:59:21
196
转载 HTML5学习之FileReader接口
HTML5学习之FileReader接口 用来把文件读入内存，并且读取文件中的数据。FileReader接口提供了一个异步API，使用该API可以在浏览器主线程中异步访问文件系统，读取文件中的数据。到目前文职，只有FF3.6+和Chrome6.0+实现了FileReader接口。 1、FileReader接口的方法FileReader接口...
2019-07-24 09:32:53
264
转载 单点登录的三种实现方式
单点登录SSO（Single Sign On）说得简单点就是在一个多系统共存的环境下，用户在一处登录后，就不用在其他系统中登录，也就是用户的一次登录能得到其他所有系统的信任。单点登录在大型网站里使用得非常频繁，例如像阿里巴巴这样的网站，在网站的背后是成百上千的子系统，用户一次操作或交易可能涉及到几十个子系统的协作，如果每个子系统都需要用户认证，不仅用户会疯掉，各子系统也会为这种重复认证授权的逻辑搞...
2019-07-22 09:35:53
223
原创 权限管理--常见模块设计
文章目录1.基于 RBAC（Role-based Access Control）权限访问控制2.最简单版本3.用户组模式4.权限分类5.完整版1.基于 RBAC（Role-based Access Control）权限访问控制也就是说一个用户可以有多个角色，一个角色可以有多个权限，通过将角色和权限分离开来提高设计的可扩展性，通常一个用户有多个角色，一个角色也会属于多个用户（多对多），一个角色有...
2018-12-21 09:34:59
576
原创 Spark运行在yarn集群上的两种提交方式
文章目录Spark集群简单介绍yarn集群的两种提交方式client执行原理执行流程cluster提交命令（两种）执行原理执行流程Spark集群简单介绍如前面几篇博客介绍的Spark集群分为四种：localstand aloneyarnmesos这里我们就拿yarn来介绍。yarn集群的两种提交方式首先spark跑在yarn集群上，必须要开启HDFS，因为包要上传到HDFS...
2018-11-24 16:27:32
1920
原创 kafka集群搭建
文章目录集群规划集群搭建1. 下载kafka安装包2. 修改配置文件3. 问题总结集群规划主机名NameNode1NameNode2DataNodeZKFCJNNRSNodeManagerzookeeperkafkanode01√√√√node02√√√√node03√√√node04
2018-11-19 20:30:25
188
原创 Spark的Shuffle过程
文章目录1. Spark Shuffle概述2. Shuffle的作用3. Spark Shuffle的运行时机4. Spark Shuffle的运行机理及图解MR Shuffle过程4.1 HashShuffle4.1.1 HashShuffle概述4.1.2 优化前的Hash shuffle机制4.1.3 优化后的Hash shuffle机制4.2 SortShuffle4.2.1 普通运行机...
2018-11-18 18:49:33
795
原创 任务调度+资源调度整合（学习笔记）
文章目录任务调度+资源调度大体流程轮训启动为什么要用轮训启动这种设计模式？轮训方式启动Executor的公式Works集合为什么要使用Hashset？Driver进程是怎么启动起来的？挣扎的（掉队的）任务推测执行机制推测执行机制的判断标准配置信息的使用重试机制任务调度+资源调度大体流程1，Worker启动成功向master注册2，提交App spark-submit --master --c...
2018-11-16 08:27:43
1854
原创 资源调度（学习笔记）
文章目录资源调度流程1，当集群启动时，各个worker向master汇报信息，封装到workerInfo类中，放入workers集合。2，当客户端向集群提交Application时，首先会在客户端启动一个sparksubmit进程3，为driver向Master申请资源，此时遍历workers集合，随机找一台资源充沛的worker节点，启动driver进程。4，Driver启动成功后，向M...
2018-11-12 18:18:32
3313
原创 高可用的Spark集群搭建
文章目录1，集群介绍2，普通Spark集群介绍3，高可用Spark集群介绍4，高可用Spark集群的搭建流程1，集群介绍在之前Spark集群搭建博客中介绍了Spark的四种运行模式以及搭建。localstandaloneyarnmesos目前接触的只有前三种，由于yarn集群本身就是高可用的，所以下面就只对standalone集群进行高可用搭建。2，普通Spark集群介绍如...
2018-11-10 16:12:19
431
原创 Spark的任务调度（学习笔记一）
文章目录一、spark任务调度知识点1、Spark中的一些专业术语1.1、任务相关1.2、资源相关2、RDD的依赖关系2.1、窄依赖2.2、宽依赖2.3、宽窄依赖的作用2.4、为什么我们需要把job切割成stage？二、任务调度流程三、问题思考3.1、stage中的每一个task（管道计算模式）会在什么时候落地磁盘？3.2、Spark在计算的过程中，是不是特别消耗内存？3.3、什么样的场景最耗内存...
2018-11-05 22:57:06
266
原创 Spark集群搭建
文章目录Spark的四种运行模式standalone 集群的搭建standalone集群的大体框架standalone集群步骤1，在node01节点上下载spark安装包2，解压spark-1.6.3-bin-hadoop2.6.tgz安装包3，修改spark配置文件4，将配置好的spark安装包发送到各个节点上5，将启动命令改名6，启动spark7，jps查看各个节点开启的进程Spark的四种...
2018-11-03 18:31:51
259
原创 Spark学习笔记
文章目录Spark简介Spark的历史spark开发者spark比MR快的原因Spark的四种运行模式开发Spark的语言RDD（弹性分布式数据集）RDD简介RDD五大特性RDD的三种算子Transformation类算子Action类算子控制类算子RDD的大体流程Spark集群搭建Spark简介Spark的历史Spark在2012开源，距今长达6年时间，hadoop已经有12年的历史了。S...
2018-11-03 17:53:37
654
原创 Scala学习笔记
文章目录Scala介绍Scala六大特征Scala的安装与配置Scala基础1，数据类型2，变量与常量的声明3，类和对象4，if else的使用5，for ,while,do…while的使用6，创建for循环7，创建多层for循环8，带判断条件的for循环9. scala中不能使用count++，count—只能使用count = count+1 ，count += 110. for循环用yie...
2018-10-29 22:57:10
360
原创 Hive表结构总结
Hive五种表结构特性1，内部表：当删除内部表时，HDFS上的数据以及元数据都会被删除2，外部表：但删除外部表时，HDFS上的源数据不会被删除但元数据会被删除3，临时表：在当前会话期间存在，会话结束时自动消失。4，分区表：将一批数据按照一定的字段或关键字分为多个目录进行存储5，分桶表：将一批数据按照指定好的字段和桶的数量，对指定字段的数据取模运算，分成不同的桶进行存储，方便随机取样以及j...
2018-10-25 16:57:45
661
原创 Hive原理及Hive的搭建
Hive简介什么是Hivehive是基于Hadoop的一个数据仓储工具，可以将结构化的数据文件映射为一张数据表，并提供SQL查询功能，可以将SQL语句转化为MapReduce任务进行执行。hive是基于Hadoop的一个数据仓储工具，可以将结构化的数据文件映射为一张数据表，并提供SQL查询功能，可以将SQL语句转化为MapReduce任务进行执行。Hive的优点学习成本年低，可以通过类S...
2018-10-25 16:28:34
315
原创 Yarn集群规划和搭建
一、hadoop集群搭建请参考前面几篇博客，下面我们就在前面集群的基础上进行yarn集群搭建。二、规划NN1NN2DNZKZKFCJNNRSNMnode01√√√node02√√√√√√node03√√√√√node04√√√√三、要修改的配置文件ya
2018-10-19 17:15:49
375
原创 MapReduce的原理及执行过程
MapReduce简介        Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上
2018-10-17 11:30:53
995
原创 Eclipse配置Hadoop开发环境+HDFS Java API测试
1. 添加插件下载在Windows Eclipse上需要的一些额外的文件：hadoop-eclipse-plugin-2.6.0.jar在eclipse安装目录的dropins目录下新建plugin文件目录，把上面下载的jar包放入plugin文件夹下。2. 在Windows上安装Hadoop2.6.0（1）在本地安装Hadoop注意本机安装的hadoop运行环境要和自己搭建的集群一致...
2018-10-16 00:15:24
1564
原创 高可用完全分布式搭建
高可用的完全分布式搭建HA HDFS结构图这种设计模式的特点：①采用了两个namenode,一个对外提供服务，一个同步备份namenode元数据以待切换，防止发生异常，导致namenode挂掉。②所有的datenode同时向两个NameNode汇报数据块信息。③JN集群用于备份传递ANN的信息和文件④两个NN，启动时一个会处于activity，一个会处于standby状态⑤处于st...
2018-10-12 08:28:08
462
原创 HDFS 伪分布式的搭建
三种分布式介绍1，伪分布式在一台服务器上，启动多个进程，分别表示各个角色2，完全分布式在多台服务器上，每台服务器启动不同角色的进程，使用多台服务器组成HDFS集群node01：namenodenode02：secondarynamenode datanodenode03：datanodenode04：datanoode3，高可用性的完全分布式node01：namenodeno...
2018-10-11 12:27:56
192
原创 HDFS完全分布式的搭建
HDFS完全分布式的搭建1，同步时间上网找一个最新的时间服务器，同步时间，保证整个集群的每台机器时间都一样。yum install ntp //在各个节点安装ntp命令ntpdate ntp1.aliyun.com //同步时间2，配置免密登录node01-->node01node01-->node02node01-->node03node01-->
2018-10-11 11:12:44
709
原创 HDFS原理（笔记二）
1，HDFS集群存储流程图流程图解析1，系统启动过程步骤①当集群启动时，DN向NN发送一些信息（Block的位置信息、每一个DN的位置信息、DN的心跳信息（DNID）等）②客户端汇报当前要上传的文件信息（block数量、文件的上传时间、权限、拥有者）③NameNode向客户端发送ID号、请求存放block的位置④客户端根据ID号和block的位置进行存储安全模式1，加载fsima...
2018-10-09 20:26:14
148
原创 大数据初接触（笔记一）
1,什么是大数据       简单的说：就是短时间内快速的、产生海量的、多种多样的、有价值的数据。2,大数据技术：分布式存储分布式计算1，分布式批处理攒一段时间的数据，然后在未来的某一个时间来处理这些数据2，分布式流处理数据不需要攒，直接处理每产生一条数据，立马对数据作出处理，将数据推送到前台界面和存储到数据库中形成报表发个老板。例如：天
2018-10-09 19:42:09
181
原创 Servlet登录小实例
1，目录 2，登录界面<%@page contentType="text/html;charset=utf-8"%><!DOCTYPE html><html lang="en"><h
2018-08-30 12:57:08
585
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人