- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 flume入门
Flume1.5.0入门：安装、部署、及flume的案例 1.什么是flume 2.flume的官方网站在哪里？ 3.flume有哪些术语？ 4.如何配置flume数据源码？ 一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original gene
2017-02-09 10:45:19
570
转载 hadoop3新特性
Apache hadoop 项目组最新消息，hadoop3.x以后将会调整方案架构，将Mapreduce 基于内存+io+磁盘，共同处理数据。 其实最大改变的是hdfs,hdfs 通过最近black块计算，根据最近计算原则，本地black块，加入到内存，先计算，通过IO，共享内存计算区域，最后快速形成计算结果。 1. Hadoop 3.0简介 Hadoop 2.0是基于JDK 1.7开发的
2017-02-07 10:28:59
4083
转载 hadoop3重要新特性——擦除编码解释
新型可扩展的数据保护方式——擦除编码 一、概述 在之前存储系统中，一般都采用RAID技术来对数据进行保护，一旦阵列中某块硬盘损坏，可通过RAID技术所形成的镜像来对丢失数据进行恢复。但随着海量数据问题的出现，RAID越来越难发挥其作用。如采用2TB的硬盘作为存储介质，某块硬盘故障，使用镜像对其进行恢复，大概需要4个小时，而这还是将恢复作为最高优先级的情况下才能实现的数据恢复时间。但在实际情
2017-02-07 10:03:37
2242
1
转载 linux内存清理
1.清理前内存使用情况 free -m 2.开始清理 echo 1 > /proc/sys/vm/drop_caches 3.清理后内存使用情况 free -m 4.完成! 查看内存条数命令： dmidecode | grep -A16 "Memory Device$" +++++++++++++++
2016-12-02 10:12:27
457
原创 manager大数据架构
越来越火的大数据时代，人工智能开创的时代，如何管理大数据集群成为一个非常重要的问题，现今通用的大数据平台大致的架构我简单说一下，希望对大家有帮助。 大数据集群架构大概分为3层 1、管理层（也就是所谓的manager界面），这一层主要是对集群服务的管理（比如说hdfs、yarn、hive、spark、hbase、solr、hue、oozie、zookeeper等），在这一层，可以对服务进行配
2016-12-01 14:04:51
525
原创 批量上传非结构化数据到HBase
package com.huawei.hadoop.hbase.example; import java.util.List; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.nio.Byt
2016-11-08 10:03:06
2189
对公数据集市项目培训材料.pdf
2019-11-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人