liangqilang的专栏

Hadoop RPC 源码分析

Hadoop RPC 源码分析

原创 第三章：小朱笔记hadoop之conf分析:Reconfigurable相关

原创 第三章：小朱笔记hadoop之conf分析:Reconfigurable相关

原创 线上JVM 优化调试(1)

a虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。 基本类型包括：byte、short、int、long、char、float、double、Boolean、returnAddress 引用类型包括：类类型、接口类型、数组   2 堆和栈 堆和栈是程序运行的关键，很有必要把他们的关系说清楚。

原创 线上JVM 优化调试(1)

a虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。 基本类型包括：byte、short、int、long、char、float、double、Boolean、returnAddress 引用类型包括：类类型、接口类型、数组   2 堆和栈 堆和栈是程序运行的关键，很有必要把他们的关系说清楚。

原创 kafka源码分析（1）KafkaServer

原创 kafka源码分析（1）KafkaServer

第七章：小朱笔记hadoop之源码分析-hdfs分析 DataNode 数据读写分析

因为RPC是一个命令式的接口,而DataNode的数据处理是一种流式机制。    DataXceiverServer和DataXceiver 就是这个机制的实现。其中,DataXceiver依赖于两个辅助：BlockSender和 BlockReceiver。    DataXceviverServer:    用于监听来自客户或其他DataNodes的请求。监听块传输连接请求，同时控制进行的块传输请求数(同一时刻的传输数不能超过maxXceiverCount)和带宽耗费情况(块传输时耗费带宽不能超过预定值

第七章：小朱笔记hadoop之源码分析-hdfs分析 DataNode 数据读写分析

因为RPC是一个命令式的接口,而DataNode的数据处理是一种流式机制。    DataXceiverServer和DataXceiver 就是这个机制的实现。其中,DataXceiver依赖于两个辅助：BlockSender和 BlockReceiver。    DataXceviverServer:    用于监听来自客户或其他DataNodes的请求。监听块传输连接请求，同时控制进行的块传输请求数(同一时刻的传输数不能超过maxXceiverCount)和带宽耗费情况(块传输时耗费带宽不能超过预定值

第七章：小朱笔记hadoop之源码分析-hdfs分析 DataBlockScanner 文件校验

的数据处理不慎而出现错误，所以HDFS提供了下面两种数据检验方式，以此来保证数据的完整性，而且这两种检验方式在DataNode节点上是同时工作的： （1）校验和 检测损坏数据的常用方法是在第一次进行系统时计算数据的校验和，在通道传输过程中，如果新生成的校验和不完全匹配原始的校验和，那么数据就会被认为是被损坏的。 （2）数据块检测程序(DataBlockScanner) 在DataNode节点上开启一个后台线程，来定期验证存储在它上所有块，这个是防止物理介质出现损减情况而造成的

第七章：小朱笔记hadoop之源码分析-hdfs分析 DataBlockScanner 文件校验

的数据处理不慎而出现错误，所以HDFS提供了下面两种数据检验方式，以此来保证数据的完整性，而且这两种检验方式在DataNode节点上是同时工作的： （1）校验和 检测损坏数据的常用方法是在第一次进行系统时计算数据的校验和，在通道传输过程中，如果新生成的校验和不完全匹配原始的校验和，那么数据就会被认为是被损坏的。 （2）数据块检测程序(DataBlockScanner) 在DataNode节点上开启一个后台线程，来定期验证存储在它上所有块，这个是防止物理介质出现损减情况而造成的

第七章：小朱笔记hadoop之源码分析-hdfs分析 Datanode 注册分析

第七章：小朱笔记hadoop之源码分析-hdfs分析 Datanode 注册分析

第七章：小朱笔记hadoop之源码分析-hdfs分析 Datanode 心跳分析

node发送心跳报告，内容是dfs的容量、剩余的空间和DataXceiverServer的数量等，调用processCommand方法处理namenode返回的命令 (b)通知namenode已经接收的块 (c)检查块报告间隔是否超时，如是向namenode发送块报告，调用processCommand方法处理namenode返回的命令 (d)如果没到下个发送心跳的时候，休眠  /** * Main loop for the DataNode. Runs until shut

第七章：小朱笔记hadoop之源码分析-hdfs分析 Datanode 心跳分析

node发送心跳报告，内容是dfs的容量、剩余的空间和DataXceiverServer的数量等，调用processCommand方法处理namenode返回的命令 (b)通知namenode已经接收的块 (c)检查块报告间隔是否超时，如是向namenode发送块报告，调用processCommand方法处理namenode返回的命令 (d)如果没到下个发送心跳的时候，休眠  /** * Main loop for the DataNode. Runs until shut

第七章：小朱笔记hadoop之源码分析-hdfs分析 Datanode 启动过程分析

--config $HADOOP_CONF_DIR start datanode $dataStartOpt  （2）main()函数启动分析        主线程阻塞，让DataNode的任务循环执行，调用createDataNode方法创建datanode,等datanode线程结束 。 //主线程阻塞，让DataNode的任务循环执行 public static void secureMain(String [] args, SecureResources re

第七章：小朱笔记hadoop之源码分析-hdfs分析 Datanode 启动过程分析

--config $HADOOP_CONF_DIR start datanode $dataStartOpt  （2）main()函数启动分析        主线程阻塞，让DataNode的任务循环执行，调用createDataNode方法创建datanode,等datanode线程结束 。 //主线程阻塞，让DataNode的任务循环执行 public static void secureMain(String [] args, SecureResources re

第七章：小朱笔记hadoop之源码分析-hdfs分析 第三节：hdfs实现分析

第七章：小朱笔记hadoop之源码分析-hdfs分析 第三节：hdfs实现分析

第七章：小朱笔记hadoop之源码分析-hdfs分析 第三节：hdfs实现分析

第七章：小朱笔记hadoop之源码分析-hdfs分析 第三节：hdfs实现分析

第七章：小朱笔记hadoop之源码分析-hdfs分析 第三节：hdfs实现分析

信网络了解清楚，那么对于Hadoop的整体框架理解会有很大帮助。 HDFS中有5种协议： DatanodeProtocol ( DataNode && NameNode)InterDatanodeProtocol ( DataNode && DataNode) ClientDatanodeProtocol (Client && DataNode) ClientProtocol (Client

第七章：小朱笔记hadoop之源码分析-hdfs分析 第三节：hdfs实现分析

信网络了解清楚，那么对于Hadoop的整体框架理解会有很大帮助。 HDFS中有5种协议： DatanodeProtocol ( DataNode && NameNode)InterDatanodeProtocol ( DataNode && DataNode) ClientDatanodeProtocol (Client && DataNode) ClientProtocol (Client

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第三节：hdfs实现分析

meNode和若干个DataNode组成的。其中NameNode作为主服务器， 管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。HDFS允许用户以文件的形式存储数据。从内部来看，文件被分成若干个数据块，而且这若干个数据块存放在一组DataNode上。NameNode执行文件系统的命名空间操作，比如打开、关闭、重命名文件或目录 等，它也负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的文件读写请求，并在NameNode的统一调度下进行数据块

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第三节：hdfs实现分析

meNode和若干个DataNode组成的。其中NameNode作为主服务器， 管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。HDFS允许用户以文件的形式存储数据。从内部来看，文件被分成若干个数据块，而且这若干个数据块存放在一组DataNode上。NameNode执行文件系统的命名空间操作，比如打开、关闭、重命名文件或目录 等，它也负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的文件读写请求，并在NameNode的统一调度下进行数据块

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第一节：基本概念

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第一节：基本概念

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第四节：namenode分析-Trash

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第四节：namenode分析-Trash

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第五节：Datanode 分析

验 5.5 DataNode 数据块接受/发送  5.1 Datanode 启动过程分析（1）shell脚本启动DataNode   start-dfs.sh "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR start datanode $dataStartOpt   （2）main()函数启动分析        主线程阻塞，让DataNode的任务循环执行，调用create

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第五节：Datanode 分析

验 5.5 DataNode 数据块接受/发送  5.1 Datanode 启动过程分析（1）shell脚本启动DataNode   start-dfs.sh "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR start datanode $dataStartOpt   （2）main()函数启动分析        主线程阻塞，让DataNode的任务循环执行，调用create

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第六节：SecondaryNameNode分析

t恢复数据    6.1 架构分析         SecondaryNameNode(snn)不是NameNode(nn)的热备进程。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。对于hadoop进程中 ，要配置好并正确的使用 snn，还是需要做一些工作的。       hadoop的默认配置中让snn进程默认运行在了na

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第六节：SecondaryNameNode分析

t恢复数据    6.1 架构分析         SecondaryNameNode(snn)不是NameNode(nn)的热备进程。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。对于hadoop进程中 ，要配置好并正确的使用 snn，还是需要做一些工作的。       hadoop的默认配置中让snn进程默认运行在了na

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第四节：namenode分析-namenode启动

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第四节：namenode分析-namenode启动

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第四节：namenode分析-format过程分

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第四节：namenode分析-format过程分

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第四节：namenode-ReplicationMonitor

择冗余的target节点，等待DN节点下次心跳将这些工作带回给相应的DN执行块冗余操作。（2）将各个数据节点上无效的数据块副本加入无效集合，等待下次心跳将这些工作带回给相应的DataNode执行删除无效块操作。默认每3s执行一次，可以通过修改dfs.replication.interval来调整执行间隔（1）computeDatanodeWork    计算datanode需要处理的replication数量，主要包括当前超时挂起的replication，需要进行复制的replication，计 划处理的r

原创 第七章：小朱笔记hadoop之源码分析-hdfs分析 第四节：namenode-ReplicationMonitor

择冗余的target节点，等待DN节点下次心跳将这些工作带回给相应的DN执行块冗余操作。（2）将各个数据节点上无效的数据块副本加入无效集合，等待下次心跳将这些工作带回给相应的DataNode执行删除无效块操作。默认每3s执行一次，可以通过修改dfs.replication.interval来调整执行间隔（1）computeDatanodeWork    计算datanode需要处理的replication数量，主要包括当前超时挂起的replication，需要进行复制的replication，计 划处理的r