- 博客(16)
- 收藏
- 关注
RSS订阅原创 大数据学习之路~Hadoop~详解mp的Shuffle过程
MapReduce的shuffle过程详解https://blog.csdn.net/asn_forever/article/details/81233547
2020-12-03 17:26:09
198
原创 大数据学习之路~Hadoop~yarn工作原理与架构
一.Yarn的工作原理YARN的作业运行，主要由以下几个步骤组成：（1）作业提交第0步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。第1步：Client向RM申请一个作业id。第2步：RM给Client返回该job资源的提交路径和作业id。如果申请成功就会生成一个applicationId,ResourceManager是允许HDFS的temp 目录下面生成一个路径,这个路径名字是以你当前任务的applicationId命名.
2020-12-02 15:22:16
490
原创 大数据学习之路~Spark
Spark学习之路 （一）Spark初识一、官网介绍 1、什么是Spark 二、Spark的四大特性 1、高效性 2、易用性 3、通用性 4、兼容性 三、Spark的组成 四、应用场景Spark学习之路 （二）Spark2.3 HA集群的分布式安装一、下载Spark安装包 1、从官网下载 2、从微软的镜像站下载 3、从清华的镜像站下载 二、安装基础 三、Spark安装过程 1、上传并解压缩 2、为安装包创建一个软连接 3、进入spar.
2020-12-01 19:48:11
189
原创 大数据学习之路~Hadoop
Hadoop学习之路（一）理论基础和逻辑思维三个题目第一题 第二题 第三题Hadoop学习之路（二）Hadoop发展背景Hadoop产生的背景 Hadoop是啥 HADOOP在大数据、云计算中的位置和关系 Hadoop的技术应用 HADOOP生态圈以及各组成部分的简介 获取数据的三种方式 国内HADOOP的就业情况分析 1、HADOOP就业整体情况 2、HADOOP就业职位要求 Hadoop学习之路（三）Hadoop-2.7.5在CentOS-6.7上的编译下载.
2020-11-28 15:27:30
168
1
原创 大数据学习之路~Hive
目录Hive学习之路 （一）Hive初识Hive学习之路 （二）Hive安装Hive学习之路 （三）Hive元数据信息对应MySQL数据库表Hive学习之路 （四）Hive的连接3种连接方式Hive学习之路 （五）DbVisualizer配置连接hiveHive学习之路 （六）Hive SQL之数据类型和存储格式Hive学习之路 （七）Hive的DDL操作Hive学习之路 （八）Hive中文乱码Hive学习之路 （九）Hive的内置函数Hive学习之路 （十）H.
2020-11-27 16:05:48
120
原创 Zookeeper学习之路 （三）shell命令
1、Zookeeper的shell操作1.1 Zookeeper命令工具在启动Zookeeper服务之后，输入以下命令，连接到Zookeeper服务：[hadoop@hadoop1 ~]$ zkCli.sh -server hadoop2:2181[hadoop@hadoop1 ~]$ zkCli.sh -server hadoop2:2181Connecting to hadoop2:21812018-03-21 19:55:53,744 [myid:] - INFO [main
2020-11-26 14:51:52
248
转载 Zookeeper学习之路 （二）集群搭建
目录1、ZooKeeper 软件安装须知2、ZooKeeper 的集群安装2.1 ZooKeeper 的下载2.2 解压安装到自己的目录2.3 修改配置文件2.3.1 基本配置2.3.2高级配置2.3.3集群配置选项2.3.4ZK的不安全配置项2.4 将配置文件分发到集群其他机器中2.5配置环境变量3、启动软件，并验证安装是否成功1、ZooKeeper 软件安装须知鉴于 ZooKeeper 本身的特点，服务器集群的节点数推荐设置为奇...
2020-11-26 14:13:00
243
转载 Zookeeper学习之路 （一）初识
目录1、引言2、分布式协调技术3、分布式锁的实现3.1 面临的问题3.2 分布式锁的实现者4、ZooKeeper概述5、ZooKeeper数据模型5.1Znode5.2 ZooKeeper中的时间5.3ZooKeeper节点属性6、ZooKeeper服务中操作7、监听机制7.1watch触发器7.2监听工作原理8、ZooKeeper应用举例8.1 分布式锁应用场景8.2 传统解决方案8.3ZooKeeper解决方案1...
2020-11-26 11:45:46
73
转载 Kafka学习之路 （四）Kafka的安装
一、下载下载地址：http://kafka.apache.org/downloads.htmlhttp://mirrors.hust.edu.cn/apache/二、安装前提（zookeeper安装）参考http://www.cnblogs.com/qingyunzong/p/8634335.html#_label4_0三、安装此处使用版本为kafka_2.11-0.8.2.0.tgz2.1 上传解压缩[hadoop@hadoop1 ~]$ tar -zxvf kafk
2020-11-25 11:28:49
270
转载 Kafka学习之路 （三）Kafka的高可用
目录一、高可用的由来1.1 为何需要Replication1.2 Leader Election二、Kafka HA设计解析2.1 如何将所有Replica均匀分布到整个集群2.2 Data Replication（副本策略）2.2.1 消息传递同步策略2.2.2 ACK前需要保证有多少个备份2.2.3 Leader Election算法2.2.4 如何处理所有Replica都不工作2.2.5 选举Leader三、HA相关ZooKeeper结构3.1 ad
2020-11-25 11:05:08
448
转载 Kafka学习之路 （二）Kafka的架构
一、Kafka的架构如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到b
2020-11-25 09:48:54
624
转载 Kafka学习之路 （一）Kafka的简介
目录一、简介1.1 概述1.2 消息系统介绍1.3 点对点消息传递模式1.4 发布-订阅消息传递模式二、Kafka的优点2.1 解耦2.2 冗余（副本）2.3 扩展性2.4 灵活性&峰值处理能力2.5 可恢复性2.6 顺序保证2.7 缓冲2.8 异步通信三、常用Message Queue对比3.1 RabbitMQ3.2 Redis3.3 ZeroMQ3.4 ActiveMQ3.5 Kafka/Jafka四、K.
2020-11-24 20:55:01
90
原创 Spring 事务
1.不要在接口上声明@Transactional ，而要在具体类的方法上使用 @Transactional 注解，否则注解可能无效。2.不建议将@Transactional放置在类级的声明中，放在类级声明中会使得所有方法都有事务。故@Transactional应该放在方法级别，不需要使用事务的方法就不要放置事务，比如查询方法，否则对性能是有影响的。3.@Transactional 注解只能...
2020-03-18 22:35:02
108
原创 java实现冒泡排序和选择排序算法
package example.xml;import java.util.Random;public class SortDemo { public static int[] arrays = new int[10]; public static int swapTimes = 0; //冒泡排序 交换次数 public static void main(String[] ar
2014-07-21 14:22:03
438
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人