- 博客(60)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 hive学习笔记-函数篇
Hive 查看函数：show functions;desc functions 函数名parse_urlparse_url(url, partToExtract[, key]) - extracts a part from a URL解析URL字符串，partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AU
2016-10-31 16:52:41
352
转载 Mysql支持的数据类型(总结)
一.数值类型Mysql支持所有标准SQL中的数值类型，其中包括严格数据类型(INTEGER,SMALLINT,DECIMAL,NUMBERIC)，以及近似数值数据类型(FLOAT,REAL,DOUBLE PRESISION),并在此基础上进行扩展。扩展后增加了TINYINT,MEDIUMINT,BIGINT这3种长度不同的整形，并增加了BIT类型，用来存放位数据。整数类型
2016-10-28 09:45:13
286
转载 Hive学习之Hive数据类型
Hive到0.13.0版本为止已经支持越来越多的数据类型，像传统数据库中的VCHAR、CHAR、DATE以及所特有的复合类型MAP、STRUCT等。Hive中的数据类型可以分为数值类型、字符串类型、日期时间类型、复合类型以及其它类型，下面分别予以介绍。数值类型 Hive中的数值类型与Java中的数值类型很相似，区别在于有些类型的名称不一样，可以概括为如下的表格：
2016-10-27 18:08:28
630
转载 CASE WHEN 及 SELECT CASE WHEN的用法
Case具有两种格式。简单Case函数和Case搜索函数。简单Case函数CASE sexWHEN'1' THEN '男'WHEN'2' THEN '女'ELSE'其他' END --Case搜索函数 CASEWHEN sex = '1'THEN '男' WHEN sex ='2' THEN '女' ELSE'其他'
2016-10-26 13:12:07
329
转载 SecureCRT的使用方法和技巧(详细使用教程)
VanDyke CRT 和 VanDyke SecureCRT是最常用的终端仿真程序，简单的说就是Windows下登录UNIX或Liunx服务器主机的软件。二者不同的是SecureCRT支持SSH（SSH1和SSH2）。本文主要介绍SecureCRT的使用方法和技巧。概念解释什么是SSH一基本设置1退出主机自动关闭窗口2修改默认卷屏行数3修改SFTP
2016-10-21 13:37:35
1275
转载 telnet仿真终端工具secureCRT的配置
由于工作相关，经常要使用的telnet的仿真终端工具，感觉secureCRT又非常的好用，尤其是配置的好，会让你的工作事半功倍，在上班的时候写了篇经验文档供其他同事参考，因此是e文的，用我的CET4拼凑了一篇，下班了也顺便贴在blog上来，希望对别人有帮助。 注：我使用的是5.2.2版本的，属于低版本，另外侧重于telnet，其他ssh/xmodem等功能都无视~ Here we
2016-10-21 13:07:37
5424
1
转载 SecureCRT 终端仿真工具软件说明
SecureCRT 5.1.0 Build 263VanDyke Software, Inc.官方主页：http://www.vandyke.com发布日期：2006 年 3 月 28 日----------------------------------------------------------------SecureCRT 是高度可定制的终端仿真器，适用于 I
2016-10-21 12:47:42
1359
原创 securecrt快捷键
Alt + Enter -- 全屏 Alt + B --打开新的连接 Alt + 1/2/3/4/5.../9 -- 切换到第1/2/3/4/5.../9个标签 Ctrl + A -- 光标移至行首。 Ctrl + B -- 光标前移1个字符 Ctrl + D -- 删除光标后1个字符 Ctrl + E -- 光标移至行末 Ctrl + F -- 光标后移1个字符 Ctrl + H
2016-10-21 12:41:48
447
转载 HIVE中join、semi join、outer join举例详解
举例子：hive> select * from zz0; 111111 222222 888888 hive> select * from zz1; 111111 333333 444444 888888 hive> select * from zz0 join zz1 on zz0.uid = zz1.uid; 111111 111111 888
2016-10-20 15:31:34
283
转载 21分钟 MySQL 入门教程
目录一、MySQL的相关概念介绍二、Windows下MySQL的配置配置步骤MySQL服务的启动、停止与卸载三、MySQL脚本的基本组成四、MySQL中的数据类型五、使用MySQL数据库登录到MySQL创建一个数据库选择所要操作的数据库创建数据库表六、操作MySQL数据库向表中插入数据查询表中的数据更新表中的数据删除表中的数据七、创建后的修改添加
2016-10-19 14:07:29
226
转载 mysql 数据类型
resource:http://www.cnblogs.com/zbseoag/archive/2013/03/19/2970004.html1、整型MySQL数据类型含义（有符号）tinyint(m)1个字节 范围(-128~127)smallint(m)2个字节 范围(-32768~32767)mediumint(m)
2016-10-19 14:02:52
194
转载 MYSQL IFNULL函数的使用
下文对MYSQL IFNULL函数的使用进行了详细的叙述，供您参考学习，如果您在MYSQL IFNULL函数使用方面遇到过类似的问题，不妨一看。MYSQL IFNULL(expr1,expr2) 如果expr1不是NULL，IFNULL()返回expr1，否则它返回expr2。IFNULL()返回一个数字或字符串值，取决于它被使用的上下文环境。 m
2016-10-17 18:31:05
314
转载 MySQL IFNULL()函数用法
用法说明1IFNULL(expr1,expr2) 如果 expr1 不是 NULL，IFNULL() 返回 expr1，否则它返回 expr2。IFNULL()返回一个数字或字符串值，取决于它被使用的上下文环境。我们先举一些例子：1mysql> SELECTIFNULL(1,0);
2016-10-17 18:30:09
285
转载 MySql 里的IFNULL、NULLIF和ISNULL用法
今天用到了MySql里的isnull才发现他和MSSQL里的还是有点区别，现在简单总结一下：mysql中isnull,ifnull,nullif的用法如下：isnull(expr) 的用法：如expr 为null，那么isnull() 的返回值为 1，否则返回值为 0。mysql> select isnull(1+1);-> 0mysql> select isnull(
2016-10-17 18:29:17
208
转载 mysql 里面的isnull（）和ifnull（） is null 和 is not null
usergrade表2.找到里面username是null的行SELECT * FROM usergrade WHERE ISNULL(USERNAME)SELECT * FROM usergrade WHERE USERNAME IS NULL3.找到里面username不是null的行SELECT * FROM usergrad
2016-10-17 18:24:11
216
转载 mysql ifnull函数使用详解
用法说明1 IFNULL(expr1,expr2)如果 expr1 不是 NULL，IFNULL() 返回 expr1，否则它返回 expr2。IFNULL()返回一个数字或字符串值，取决于它被使用的上下文环境。例如： 代码如下复制代码select ifnull(col1, 'default-value'), col2 from test;
2016-10-17 18:23:06
1322
转载 SQL语句---nvl 用法
一NVL函数是一个空值转换函数NVL（表达式1，表达式2）如果表达式1为空值，NVL返回值为表达式2的值，否则返回表达式1的值。该函数的目的是把一个空值（null）转换成一个实际的值。其表达式的值可以是数字型、字符型和日期型。但是表达式1和表达式2的数据类型必须为同一个类型。对数字型： NVL（ comm,0);对字符型 NVL( TO_CHAR(comm), 'N
2016-10-17 16:24:24
487
转载 hive调优
一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 举例： a) 假设inpu
2016-10-11 19:13:22
202
转载 Hive中的join
join等连接只有等连接才允许。select a.* from a join b on a.id = b.idselect a.* from a join b on (a.id = b.id and a.department = b.department)不等连接是不允许的。select a.* from a join b on a.id
2016-10-11 19:12:28
359
转载 hive 优化 tips
一、 Hive join优化1. 尽量将小表放在join的左边，我们使用的Hive-0.90,所以是自动转化的，既把小表自动装入内存，执行map side join(性能好), 这是由参数hive.auto.convert.join=true 和hive.smalltable.filesize=25000000L）参数控制（默认是25M），如果表文件大小在25M左右，可以适当调
2016-10-11 15:41:40
251
转载 hive bucket
hive中table可以拆分成partition，table和partition可以通过‘CLUSTERED BY ’进一步分bucket，bucket中的数据可以通过‘SORT BY’排序。bucket主要作用：1. 数据sampling2. 提升某些查询操作效率，例如mapside join需要特别注意的是：clustered by和sorted by不会影响数据的导入，这意味
2016-10-11 15:18:04
223
转载 hive中的bucket table
当数据量比较大，我们需要更快的完成任务，多个map和reduce进程是唯一的选择。但是如果输入文件是一个的话，map任务只能启动一个。此时bucket table是个很好的选择，通过指定CLUSTERED的字段，将文件通过hash打散成多个小文件。create table sunwg_test11(id int,name string)CLUSTERED BY(id) SORTED
2016-10-11 15:09:55
376
转载 hive经验
1.hive的join，不能将 t2 join t3 on t2.id=t3.id外边加括号 hive的多个join，也不能加括号，antlr写的也太次了2.hive的union，不能给 t2 union all t3中的t2.t3加上括号3.hive的column别名，不能取已经存在的column 4.if(x=1 and y=2,1,null) if函数条件只能是and
2016-10-10 19:15:40
317
转载 hive查询导出到hdfs，hive，file
INSERT OVERWRITE LOCAL DIRECTORY '/script/dirk.zhang/test' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select... ...; insert overwrite [local] directory '/data/movielens/100k/output/item_relea
2016-10-10 19:14:47
509
转载 hive not in
当前HIVE 不支持 not in 中包含查询子句的语法，形如如下的HQ语句是不被支持的: 查询在key字段在a表中，但不在b表中的数据 Sql代码 select a.key from a where key not in(select key from b) 可以通过left outer join进行查询,（假设B表中包含另外的一个字段 k
2016-10-10 19:12:02
244
转载 hive join
hive(0.9.0)：1.支持equality joins, outer joins, and left semi joins2.只支持等值条件3.支持多表join原理hive执行引擎会将HQL“翻译”成为map-reduce任务，如果多张表使用同一列做join则将被翻译成一个reduce，否则将被翻译成多个map-reduce任务。eg：SELECT a.val
2016-10-10 19:10:54
221
转载 sqlserver中distinct的用法(不重复的记录)
distinct这个关键字用来过滤掉多余的重复记录只保留一条，但往往只用它来返回不重复记录的条数，而不是用它来返回不重记录的所有值。其原因是distinct只有用二重循环查询来解决，而这样对于一个数据量非常大的站来说，无疑是会直接影响到效率的。下面先来看看例子： table表字段1 字段2 id name 1 a
2016-10-10 18:35:57
532
转载 HDFS小文件处理及解决方案
小文件为什么会成为问题？小文件的解决方案包括哪些？有没有自己的解决方案？Hadoop Archive具体是如何处理小文件的？Sequence file是如何解决小文件的？CombineFileInputFormat是如何解决小文件的？1、 概述小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重
2016-10-10 18:34:30
2720
转载 使用insert子句将查询结果插入到hive表
使用insert子句将查询结果插入到hive表语法标准语法:INSERT OVERWRITETABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)]select_statement1 FROM from_statement;INSERT INTO TABLEtablename1 [PARTITION (partc
2016-09-29 18:31:13
4783
转载 HIVE查询
查询的一些例子：1.queryhive> SELECT name, subordinates[0] FROM employees;John Doe Mary SmithMary Smith Bill KingTodd Jones NULL2.expressionhive> SELECT upper(name), salary, deductions["Federal T
2016-09-29 18:29:49
246
转载 HIVE创建目录和表
创建表目录create database companyscreate database companys location tablecreate database companys location table with dbproperties('name'='kedde','data'='2012-01-02')查看database信息，无法查看当前表目录describ
2016-09-29 18:21:11
1898
转载 Hadoop2.6.3+Hive-1.2.1+mysql5.6.15 问题汇总
问题描述一：Caused by: Java.sql.SQLException: Unable to open a test connection to the given database. JDBC url = jdbc:MySQL://192.168.64.11:3306/hive?characterEncoding=UTF-8, username = hive. Terminating
2016-09-29 17:47:35
404
转载 Hive学习系列-配置mysql元数据
1、首先在ubuntu14.04上安装MySQL，首先尝试的下载mysql的tar包安装，未成功，然后使用在线安装sudo apt-get install mysql-server mysql-client，安装成功。2、登录数据库 a) 创建hive用户，create user hive identified by ‘hive’ b) 授予所有权限grant all pr
2016-09-29 17:44:54
276
转载 hive关系运算详解
关系运算：1. 等值比较: = 语法：A=B 操作类型：所有基本类型 描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive>select 1 from lxw_dual where 1=1;2. 不等值比较: 语法: A 操作类型:
2016-09-29 17:39:18
253
转载 HIVE从入门到精通
1背景应用于工业的商务智能收集分析所需的数据集正在大量增长，使得传统的数据仓库解决方案变得过于昂贵。Hadoop是一个流行的开源map-reduce实现，用于像yahoo, Facebook一类的公司。来存储和处理商用硬件上的大范围数据集。然而map-reduce程序模型还是处于很低级别，即需要开发者来书写客户程序，这些程序往往难于维护与重用。用hbase做数据库，但由于hbase没有类s
2016-09-29 17:32:51
2997
转载 SQL中 decode()函数简介
今天看别人的SQL时看这里面还有decode（）函数，以前从来没接触到，上网查了一下，还挺好用的一个函数，写下来希望对朋友们有帮助哈！ decode()函数简介：主要作用：将查询结果翻译成其他值（即以其他形式表现出来，以下举例说明）；使用方法：Select decode（columnname，值1,翻译值1,值2,翻译值2,...值n,翻译值n,缺省值
2016-09-26 17:32:01
228
转载 SQL中的case when then else end用法
Case具有两种格式。简单Case函数和Case搜索函数。--简单Case函数CASE sex WHEN '1' THEN '男' WHEN '2' THEN '女'ELSE '其他' END--Case搜索函数CASE WHEN sex = '1' THEN '男' WHEN sex = '2' THEN '女'ELSE '其他
2016-09-26 17:30:57
224
转载 case when then else end
sql case when then else end查询生成统计列表：[sql] view plain copy print?SELECT a.managecom, a.subtype, count(*) loadsucc, sum(case when a.state in ('4', '5', '
2016-09-26 17:29:42
281
转载 关于Hive中order by,Sort by,Distribute by和Cluster By介绍
我们在使用Hive的时候经常会使用到order by、Sort by、Distribute by和Cluster By，本文对其含义进行介绍。文章目录 [hide]1 order by2 sort by3 distribute by4 cluster By5 英文解释order by Hive中的order by和数据库中的order by 功能一致，按照某一项或者几
2016-09-23 17:38:48
414
转载 Hive：解决Hive创建文件数过多的问题
将临时表里面的数据按照天分区插入到线上的表中去，出现了Hive创建的文件数大于100000个的情况，我的SQL如下：hive>insert overwrite table test partition(dt) >select * fromiteblog_tmp;iteblog_tmp表里面一共有570多G的数据，
2016-09-23 17:36:14
4518
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人