大讲台内测员-CSDN博客

原创分享下我成为大讲台自适应学习系统内测员的经验

互联网行业这段时间内最火的技术莫过于大数据了,各大招聘网站大数据行业招聘信息很多,而且人才稀缺、薪资很高。所以，本人打算学习大数据技术，尤其是hadoop技术。开始时，加了很多技术交流群，在某个交流群中，无意中发现大象之舞发放的福利“大讲台自适应学习平台正在招募内测人员”的消息。看到大象之舞发布的消息，我立即咨询了他申请内测员的流程，整个流程是这样

2015-08-04 09:45:51 658

转载大讲台分享:2015 Hadoop Summit见闻

大讲台分享:2015 Hadoop Summit见闻2015年6月9-11日，我在美国加州硅谷参加了第八届全球Hadoop技术峰会(Hadoop Summit 2015)。在短短的3天时间里我既见识到了Hortonwork、Cloudera、SAP、IBM、惠普、雅虎等25+数据服务技术提供商围绕大数据设计开发的产品，也聆听了Schlumberger（能源巨头）、verizon（通信巨头）

2015-09-11 16:38:33 688

转载大讲台分享：怎么看Hadoop Summit 2015和Spark Summit 2015？

大讲台分享：怎么看Hadoop Summit 2015和Spark Summit 2015？摘要：Dropbox研发经理邵铮刚刚参加了Hadoop Summit 2015和SparkSummit 2015。他从会议规模、趋势、关注的技术等方面对这两场技术届有名的会议进行了深入比较，并提出他所关注的技术重点和学习建议。【编者按】Dropbox研发经理邵铮，是我们2014中国大数据技术大会的

2015-09-10 15:11:37 564

原创 Hadoop常见错误及解决办法汇总

Hadoop常见错误及解决办法汇总 1，错误一：java.io.IOException: Incompatible clusterIDs时常出现在namenode重新格式化之后9 `7 k# I: L2 |9 U* @6 d2014-04-29 14:32:53,877 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode:

2015-08-31 11:10:07 1735

原创大讲台谈Hadoop启动常见的问题及解决方案(二)

大讲台谈Hadoop启动常见的问题及解决方案(二)本文中所涉及到的问题均来自大讲台Hadoop学员的提问，下面是具体问题描述及解决方案，希望对正在学hadoop的学子有所帮助。问题1：hadoop启动?问题描述：前序步奏已经完成，然后使用命令 start-all.sh 启动 hadoop 的时候出现这个问题，请问怎么解决？解决方案：ssh 没有配置成功。按照环境安装课

2015-08-13 11:02:05 452

原创大讲台谈Hadoop启动常见的问题及解决方案(一)

本文中所涉及到的问题均来自大讲台Hadoop学员的提问，下面是具体问题描述及解决方案，希望对正在学hadoop的学子有所帮助。问题1：启动Hadoop后发现datanode无法启动?问题描述：我启动hadoop的时候，datanode 启动不了，发现日志里面报错：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io

2015-08-12 18:52:24 539

原创大讲台谈hive（后篇二）

桶操作Hive 中 table 可以拆分成Partition table 和桶（BUCKET），桶操作是通过 Partition 的 CLUSTERED BY 实现的，BUCKET 中的数据可以通过 SORT BY 排序。BUCKET 主要作用如下。1)数据 sampling；2)提升某些查询操作效率，例如 Map-Side Join。需要特别主要的是，CLUSTERED B

2015-08-10 15:50:48 367

原创大讲台谈搭建Hadoop环境常见的问题及解决方案(二)

本文中所涉及到的问题均来自大讲台Hadoop学员的提问，下面是具体问题描述及解决方案，希望对正在学hadoop的学子有所帮助。问题1：hadoop启动？问题描述：前序步奏已经完成，然后使用命令 start-all.sh 启动 hadoop 的时候出现这个问题，请问怎么解决？解决方案：ssh 没有配置成功。按照环境安装课件中的ssh配置步骤，再完整操作一次就可以了。问题

2015-08-10 15:48:46 414 1

原创大讲台谈Hive常见的问题及解决方案(二)

大讲台谈Hive常见的问题及解决方案(二)本文中所涉及到的问题均来自大讲台Hadoop学员的提问，下面是具体问题描述及解决方案，希望对正在学hadoop的学子有所帮助问题1：hive 中如何处理外部文件中的字段值被双引号包围？问题描述：现有外部文本文件，字段间以逗号分隔，每个字段被双引号包住，在创表的时候指定什么存储方式可以让hive在读数据时将双引号不读出来：外部文本格式：“

2015-08-06 13:55:52 693

原创大讲台谈hive（中篇）

Hive文件格式hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接从本地文件导入数据，数据要先导入到t

2015-08-06 13:54:19 469

原创大讲台谈hive（初篇）

认识 HiveHive 是基于 Hadoop 构建的一套数据仓库分析系统，它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去查询分析需要的内容，这套 SQL 简称 Hive SQL，使不熟悉 MapR

2015-08-05 14:41:56 441

原创大讲台分享：关于Hive常见的问题及解决方案(一)

本文中所涉及到的问题均来自大讲台Hadoop学员的提问，下面是具体问题描述及解决方案。问题1：运行hvie 虽然能启动，但是报警告，看着很烦人，希望老师帮我解决下？问题描述：我启动hive 报下面的警告：WARNING:org.apache.hadoop.metrics.jvm.EventCounteris deprecated。please use org.apache.hadoo

2015-08-05 14:40:10 614

原创大讲台分享:关于MapReduce常见的问题及解决方案

本文中所涉及到的问题均来自大讲台Hadoop学员的提问，下面是具体问题描述及解决方案。问题1：MapReduce和Yarn是什么关系？问题描述：课件中说Hadoop框架的核心是HDFS和MapReduce，这课程主要讲的2.2版本，2版本中不是用Yarn了吗。我看书上和网上有些人说Yarn是MapReduce二代，改进了MapReduce一代的一些弊端。但我看Hadoop2.2中有

2015-08-04 18:15:18 1656

大讲台内测员的博客