- 博客(6)
- 收藏
- 关注
RSS订阅转载 HDFS的读取
概述文章来源于：https://blog.csdn.net/whdxjbw/article/details/81072207开始之前先看看其基本属性，HDFS（Hadoop Distributed File System）是GFS的开源实现。特点如下：能够运行在廉价机器上，硬件出错常态，需要具备高容错性 流式数据访问，而不是随机读写 面向大规模数据集，能够进行批处理、能够横向扩展 简单一致性模型，假定文件是一次写入、多次读取缺点：不支持低延迟数据访问 不适合大量小文件存储（因为
2020-09-07 03:14:27
229
2
原创 HDFS节点说明
知识点说明：在hdfs当中，会讲文件以块为单位进行划分。1，hdfs 的默认块大小是128M（hdfs2） hdfs1 中默认块的大小是64m 块的大小可以自定义。2 ，块是如何占磁盘空间的？先从头切128M的块，后面小于128按实际大小来存储。3，在hdfs 中 dn节点主要干的事情是：储存所有的块信息。 注意： 一台服务器只允许有一个dn4，为了保证数据的完整性，那以在hdfs当中会采用副本机制来进行处理（hdfs副本...
2020-09-06 11:40:43
943
原创 ccurred while trying to request /api/front/getGurrentUserInfo form localhost:8090...
出现出现上面这个问题是因为前后端的端口号不一致。解决办法：第一步，在后端的application.properties里面查看端口号第二步：在前端config/index中查看端口号是否一致。我是已经改好了，所以是一样的。...
2019-06-11 18:02:32
1305
翻译 Springboot简介
springboot 简介springboot 框架抛弃了繁琐的xml的配置过程，采用大量的默认配置简化了我们的开发过程。所以采用springboot可以非常容易和快速地创建基于spring框架的应用程序，让他编码变得简单了，配置变简单了，部署变简单了，监控变简单了。说得直白一些，使用springboot之后就不用像以前使用ssm的时候添加那么多的配置文件，springboot 除了支持ss...
2019-05-23 10:32:57
138
原创 大数据平台系统的关系
平台与大数据之间的关系？平台：一套独立的产品系统：某一个J2EE项目+某些大数据组件+ssm+redis：那么大数据平台主要是做的什么，数据是从什么地放来的。现在我就来说明上面图片上的问题：1，数据的来源，图片上已经展示了2，数据丢失。当磁盘坏了，或者其他情况下引起数据的丢失我们应该怎么办？3，清洗，当有些数据不是我们需要的就要清洗转换。4，计算，分析，统计。将清洗转换之后，我们...
2019-05-16 14:22:04
773
原创 什么是大数据
什么是大数据大数据：是值大小超出传统数据库工具，软件，抓取，存储和分析的数据群，大数据一般在10tb左右，多用户将多个数据集成在一起，形成pb级的数据的量，同时。这些数据来自多个数据源，并且实时，迭代的方式来实现大量话，多样化，快速化，是大数据的主要特征。举一个例子来说明，大数据的应用场景，某城市1天的卡口数据：4000W+条记录，1+亿张照片，大约为1TB的数据，如果是用传统的数据库，模糊...
2019-05-16 14:02:51
126
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人