- 博客(9)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 HDFS 主从结构以及读写策略探究
一、HDFS的一些基本概念： 数据块（block）：大文件会被分割成多个block进行存储，block大小默认为64MB。每一个block会在多个datanode上存储多份副本，默认是3份。namenode：namenode负责管理文件目录、文件和block的对应关系以及block和datanode的对应关系。datanode：datanode就负责存储了，当然大部分容错机制都是在datanode...
2018-03-01 21:52:16
448
转载 初步掌握HDFS的架构及原理
目录 HDFS 是做什么的HDFS 从何而来为什么选择 HDFS 存储数据HDFS 如何存储数据HDFS 如何读取文件HDFS 如何写入文件HDFS 副本存放策略Hadoop2.x新特性1、HDFS 是做什么的 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发...
2018-03-01 21:51:22
516
转载 两个节点recovering,一个节点SECONDARY，如何恢复为primary
replica sets 两个节点意外recovering,一个primary,关闭两个recovering节点后，primary节点变为SECONDARY用以下步骤恢复到primaryreplset:SECONDARY> cfg = rs.conf()replset:SECONDARY> conf = {_id:cfg._id,version: cfg.version + 1,mem...
2018-03-01 21:50:11
546
转载 Paxos 算法
Paxos算法是莱斯利·兰伯特（Leslie Lamport，就是 LaTeX 中的"La"，此人现在在微软研究院）于1990年提出的一种基于消息传递的一致性算法。这个算法被认为是类似算法中最有效的。中文名Paxos 算法 创作者莱斯利·兰伯特 时 间1990年 地 位被认为类似算法中最有效的。 目录1 概述 2 背景 3 数学问题 ▪ 问题描述 ▪ 数学基础 4 几个协议 ▪ 初始协...
2018-03-01 21:48:21
276
转载 数据处理
数据（Data）是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理（data processing）是对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产...
2018-03-01 21:47:32
856
转载 大数据课程体系-学习笔记-第一阶段-Linux Base
Linux简单介绍版本选择最常用版本介绍二者的区别参考资料结论安装常用命令归纳cd命令ls命令grep命令例如取出文件etcmanconfig中包含MANPATH的行并把找到的关键字加上颜色把ls -l的输出中包含字母file不区分大小写的内容输出find命令cp命令例如 mv命令例如rm命令例如mkdir命令file命令tar命令cat命令vim命令权限问题基本权限chgrp命令例如chown命...
2018-03-01 21:45:23
317
转载 CAP原则
CAP原则又称CAP定理，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可得兼[1] 。中文名CAP原则外文名CAP Theorem类 属NOSQL数据库特 性一致性应 用web2.0网站目录1介绍2理论3与可用的决择4与NoSQL的关系5与BASE的关系介绍编辑CAP...
2018-03-01 21:43:27
228
转载 大数据综述
随着移动互联网､物联网和云计算技术的迅速发展，开启了移动云时代的序幕，大数据（BigData）也越来越吸引人们的视线｡正如1982年世界预测大师､未来学家约翰.奈斯比特（John.Naisbitt）在他的著作中所提到的：“我们现在大量生产信息，正如过去我们大量生产汽车一样”､“人类正被信息淹没，却饥渴知识”，等等诸的预言均在当下得到了充分的证实，这也恰恰说明，世界正处一个信息爆照的时代｡Inter...
2018-03-01 10:10:05
4016
java中如何取字符串并排序
2009-08-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人