- 博客(38)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Hive code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask问题修复
概述当CDH升级到5.7.1时候引入HIVE BUG。具体情况如下：对于一个存储格式为ORC的分区表，并且该表在填入数据以后还新增加了列。场景如下：create table foobar ( foo string, bar string ) partitioned by (dt string) stored as orc;alter table foobar add partition( dt='
2016-07-04 17:24:50
21657
8
原创 Cloudera升级那些事
概述我们是采用的纯本地升级方案，所以无需开启外网（本身也非常非常不建议开外网，因为Hadoop没有配置任何的攻击防御能力）这里我是从5.4.4版本升级到最新的5.7.1。升级途中还算一路顺分，但也少不了坎坎坷坷的事情。这里一一列举下。一、Cloudera提供的两种升级方案全自动升级 也就是说所有的依赖啥的都由Cloudera帮你处理好即可，我们不需要中途再去每个服务手动升级了手动升级 按照C
2016-07-04 09:53:19
1809
原创 Hive源码编译注意事项
Hive源码编译注意事项指定Hadoop版本关于部分引用JAR找不到问题虽然这个错误不会影响到整个编译的正常执行编译进度缓慢
2016-07-04 09:12:40
3647
1
原创 ORA-00600: internal error code, arguments: [13013], [5001], [267], [8455677], [0], [8455677], [17],
数据库重启后不定期的发生ORA-00600: internal error code, arguments: [13013], [5001], [267], [8455677], [0], [8455677], [17], [], [], [], [], []错误。这里小计一下解决办法一、查看实例日志在alter_sid.log中找到最近一次的错误信息Wed Jun 08 22:28:15 20
2016-06-08 14:38:49
2507
原创 Greenplum update语法
语法和PostreSQL一致语法UPDATE [ONLY] table [[AS] alias] SET {column = {expression | DEFAULT} | (column [, ...]) = ({expression | DEFAULT} [, ...])} [, ...] [FROM fromlist] [WHERE condition | WHER
2016-06-08 11:29:05
9319
2
原创 hadoop fsck
Runs a HDFS filesystem checking utilityUsage: hdfs fsck [GENERIC_OPTIONS] [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]] [-includeSnapshots]这工具是
2016-06-06 15:27:57
1071
原创 Cloudera升级☞第一篇Cloudera Manager升级
概述 我们升级是从5.5.3升级到最新的5.7.0-1版本。升级Cloudera Manager Server升级Cloudera Manager Agent完全离线方式升级cloudera
2016-06-03 16:08:49
9183
原创 解决DataNode Volume Failures故障
hadoop集群有一台DataNode节点发生硬件故障，由于后需需要长时间的处理，所以从Cloudera集群中剔除了该节点，在重新将该节点添加到集群时候发现DataNode节点爆DataNode 卷故障阈值警告二、解决过程2.1、排查故障排查DataNode日志发现如下错误：org.apache.hadoop.hdfs.server.datanode.DataNode: Failed to add volume:
2016-06-02 13:42:11
9977
原创 Cloudera 向集群添加主机
本文将概述使用Cloudera Manager向集群中添加主机的操作。首先，我们这里是采用的离线安装模式安装的，所以对于你新的主机你必须配置好如下几个内容：安装好JDK安装好Cloudera Manager Agent配置Agent指向Server操作流程Created with Raphaël 2.1.0添加节点在CM界面选择主机向集群添加新主机选择管理的主机(确保你已经配好了Agent服
2016-06-02 11:15:36
4813
原创 Cloudera Hadoop集群添加
概述本文将详细概述使用Cloudera Manager进行Hadoop集群动态添加和删除节点注意我们这里采用的Cloudera 的C方案进行安装集群的，所以在添加节点之前务必在新增节点添加Agent服务和JDK一、准备环境cloudera-manager-daemons，cloudera-scm-agent
2016-05-24 16:04:03
2357
原创 Cloudera Manager ☞ Role&Role Instance &Role Group&Service关系
简述在Cloudera Manager中 角色实例，角色，角色组，服务几者之间的关系
2016-05-12 15:57:59
1713
原创 Cloudera namenode 重启失败
Service did not start successfully; not all of the required roles started: Service has only 0 NameNode roles running instead of minimum required 1.Command aborted because of exception: Command timed-out aft
2016-05-12 11:49:19
10727
原创 Cloudera 安装概述
参照官方文档Installation Overview包含的组件Oracle JDKCloudera Manager Server 和Agent 包元数据库软件CDH和相关的管理服务软件。This section describes the three main installation paths for creating a new Cloudera Manager deployme
2016-04-15 20:27:01
708
原创 CDH5 安装需求和相关软件支持的版本信息
说明： 该文章只具有简单参照意义，具体你要根据你所准备安装版本查看官方文档。 本文基于CDH 5.7 Cloudera Manager 5 Requirements and Supported Versions数据库MySQL一定要用InnoDB作为存储MySQL如果启用主从复制(GTID-based)会导致Cloudera Manager安装失败JDK现在已经不支持1.6了网络同
2016-04-15 20:11:57
1513
原创 在Sublime中采用markdown语法并发送笔记到Evernote中
由于Evernote笔记不支持Markdown语法。Google发现一神器。 只需要强大的sublime即可完成各种功能。插件下载Sublime Evernote插件： SublimeEvernote部署参考：Sublime Text 变身 Evernote 大咖sublime markdown常用插件 简书Sublime插件：Markdown篇MarkDown Editing
2016-04-02 16:48:46
622
原创 Hadoop 2.7.2 源码导入eclipse
概述相关软件一定参照需求，JDK1.7，ProtocolBuffer 2.5.0参照BUILDING.txt提前安装相关libOracle JDK 1.7 $ sudo apt-get purge openjdk* $ sudo apt-get install software-properties-common $ sudo add-apt-repository ppa:webupd8
2016-03-22 23:41:10
1748
原创 hadoop 2.7.2开发环境配置
概述本文基于ubuntu15 + eclipse4.5.2配置完成。 由于hadoop最新源码基于windows平台编译非常非常费劲，所以直接搞成ubuntu简单快捷省去N多麻烦事环境ubuntu 15 x64eclipse 4.5.2Oracle JDK 1.8Maven 3.3参考Hadoop2.7.2 Source Codehadoop-2.7.2-src/BUILDING.tx
2016-03-15 23:15:28
779
原创 【spider】之 Scrapy初次体验
基本结构： scrapy.cfg tutorial: settings.py pipelines.py spiders/ demz_spider.py items.py上图是基本的结构 - scrapy.cfg：存储项目信息，表示这个tutorial是一个scrapy项目 - settings.py:全局配置文件 - pipelines.p
2016-02-19 18:48:24
1494
原创 Cloudera 之旅 ☞ 【一】环境熟悉
Cloudera 之旅Cloudera Manager术语动态资源池 配置及用于在池中运行的 YARN 应用程序或 Impala 查询之间安排资源的策略服务 如：MapReduce、HDFS、YARN、Spark 和 Accumulo服务实例 例如HDFS会有多个实例，运行在集群中的多台机器上面角色 服务的具体类别。如，HDFS包含如下角色：NameNode、SecondaryNam
2016-01-20 10:55:21
3566
原创 Hadoop 2.7.1 集群模式安装【三】环境配置实战
基于hadoop2.7.1的详细安装，参照官方集群配置手册对hadoop进行了详细的安装配置说明。这里并没有涉及到高可用，高可用在接下来的一章中进一步详细说明
2015-12-11 13:53:31
1144
原创 Hadoop 2.7.1 集群模式安装【二】环境配置
配置守护进程参数 守护进程 环境参数 脚本文件 NameNode HADOOP_NAMENODE_OPTS hadoop-env DataNode HADOOP_DATANODE_OPTS hadoop-env Secondary NameNode HADOOP_SECONDARYNAMENODE_OPTS hadoop-env ResourceMa
2015-12-07 15:09:58
1196
翻译 Hive home【Hive文档首页】
Apache HiveApache Hive是一个建立在Apache Hadoop之上的数据仓库管理和查询软件。它提供了如下功能:对数据轻松进行ETL（extract/transform/load）的工具提供一种对各种结构数据的管理机制直接访问存储在HDFS或者其他数据存储系统之上的文件。例如Apache HBase通过查询语句执行MapReducer
2015-12-04 16:54:30
793
翻译 Hive Design【Hive 架构】
概述本文主要包含了Hive的细节设计和体系结构。 Figure 1（CSDN图太小了，建议大家放大看） Hive Architecture在图一中描述了使用Hive的主要组件和Hadoop进行交互。如图所示，Hive的主要组件包括：UI 用户提交查询和其他系统进行操作的用户接口。在2011年的时候该系统就有了一个命令行接口和一个基于GUI开发的web接口Driver - 该组件用于接收查询。
2015-12-04 13:11:43
603
原创 Ubuntu Server Guide ☞ 联网 ☞ 网络配置
网络配置Ethernet Interfaces以太网接口以太网通常通过系统默认的命名规范ethX来进行命名识别的。其中X表示第几块网卡。 通常第一块网卡是eth0，第二块是eth1，以此类推 快速识别以太网接口ifconfig -a | grep etheth0 Link encap:Ethernet HWaddr 00:15:c5:4a:16:5a另外一种方式sudo lshw
2015-11-30 18:57:51
868
翻译 Ubuntu Server Guide ☞ 包管理 ☞ dpkg
概述dpkg 是一个Debian 上面的包管理器，它能够对包进行安装、删除、并且建立包，但是他不能够像其他系统的包管理工具，他不能自动的下载和安装包和处理他们的依赖关系。 列出安装的包 dpkg -l管道过滤 dpkg -l | grep apache2列出包安装的目录文件 dpkg -L ufw如果你不知道是哪个包安装的文件，你可以使用 dpkg -S命令 dpkg -S
2015-11-30 17:54:07
519
翻译 Elasticsearch [2.0] ☞ Java Client API ☞ Query DSL
elasticsearch 提供一个使用java实现的REST Query DSL查询。查询的工厂方法是QueryBuilders。一旦你准备好了你就可以使用Search API. import static org.elasticsearch.index.query.QueryBuilders.*;
2015-11-24 23:08:38
1405
翻译 Elasticsearch[2.0] ☞ Java Client API ☞ Percolate API
The percolator allows one to register queries against an index, and then send percolate requests which include a doc, getting back the queries that match on that doc out of the set of registered querie
2015-11-17 21:39:34
609
翻译 Elasticsearch[2.0] ☞ Java Client API
Elasticsearch 2.0 ☞ Java Client APIElasticsearch 20 Java Client APIPreface 前言Maven Repository Maven资料库Deploying in JBoss EAP6 module 部署在JBoss EAP6 模块Client 客户端Node Client 节点客户端Transport Client 传
2015-11-07 10:06:25
3023
原创 JavaScript ☞ JavaScript对象
JavaScript 对象*摘自:www.w3school.com.cn本文这是为了个人笔记不具备参考价值，学习请参阅w3school内置对象创建对象使用对象构造器JavaScript正则对象RegExp总结概述 JavaScript 中的所有事物都是对象：字符串、数值、数组、函数… 此外，JavaScript 允许自定义对象。内置对象String 、Data、Array等等创
2015-11-05 23:22:26
559
原创 JavaScript 之 HTML DOM快速入门
HTML DOM文档对象模型查找HTML元素如何改变HTML元素的内容innerHTML如何改变 HTML 元素的样式 CSS如何对 HTML DOM 事件对做出反应使用HTML DOM 来分配事件如何添加或删除 HTML 元素创建新的HTML元素删除已有的HTML元素HTML DOM（文档对象模型）当网页被加载时，浏览器会创建页面的文档对象模型 通过可编程对象模型，JavaScr
2015-11-05 22:56:26
652
1
原创 Flume-ng 监控介绍
Flume-ng 监控介绍说明： 这里主要介绍http接口的监控增量方式介绍 获取到的监控参数：{ "SOURCE.r1": { "OpenConnectionCount": "0", 当前有效的连接数 "Type": "SOURCE", 组件类型 "AppendBatchAcce
2015-03-09 14:26:55
2831
原创 PL/SQL程序设计
创建一个判断你幸福指数的函数1、创建一个个人信息表Happiness2、创建一个带有显式游标的函数Set serveroutput On;Function Happiness_judge(Name_in In Happiness.Name%Type) Return NumberAs Cursor happiness_degree
2012-03-15 09:49:19
527
Spark RDD和HDFS数据一致性问题
2016-06-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人