- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅
转载 Spark集群运行问题
spark输出太多warning messagesWARN Executor: 2 block locks were not released by TID =Lock release errors occur frequently in executor logs原因：If there are any releasedLocks (after calling BlockManager
2017-10-18 10:52:05
1469
1
翻译 HAdoop基本原理1
转载记不清原著是哪里了Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等.这里详细分解这里面的概念让大家通过这篇文章了解到底是什么ha
2017-10-22 20:35:39
495
翻译 Hadoop与eclipse连接
上一篇在win7虚拟机下搭建了hadoop2.6.0伪分布式环境。为了开发调试方便，本文介绍在eclipse下搭建开发环境，连接和提交任务到hadoop集群。1. 环境Eclipse版本Luna 4.4.1安装插件hadoop-eclipse-plugin-2.6.0.jar，下载后放到
2017-10-22 20:21:01
746
转载 基于mapreduce的两个简单例子
Mapreudce开发：（对路由数据进行过滤，只保留想要的几项。只有map没有reduce）import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path
2017-10-22 20:10:47
2269
转载 HDFS基本操作 javaApi
上传文件到HDFS：（对HDFS的操作，注意config的配置）import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class trytry {
2017-10-22 20:07:56
284
转载 Hadoop集群配置
本文为笔者安装配置过程中详细记录的笔记1． 下载hadoop hadoop-2.7.1.tar.gzhadoop-2.7.1-src.tar.gz 64位linux需要重新编译本地库2． 准备环境 Centos6.4 64位，3台hadoop0 192.168.1.151 namenodehadoop1 192.168.1.152
2017-10-22 20:06:36
213
原创 id3 学习网址
http://d3.decembercafe.org/pages/movie/index.html 十二月咖啡馆http://blog.csdn.net/zhang__tianxu/article/category/1623437 司机大傻的博客http://www.cnblogs.com/winleisure/tag/D3.js/ / 楚狂人的博客https://github.
2017-10-18 10:58:03
195
Hadoop学习文档笔记，基本原理 HDFS
2017-10-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人