weixin_39855111的博客

原创 Oracle数据库过滤时间戳筛选条件

一开始尝试截取date类型字段substr(时间戳字段，1，10)=‘2199-12-31’,结果出不来，因为date类型字段转成字符串后于单引号内字符串格式不一致；正确结果是:     `select * from table_name where 时间戳字段 = to_date('2012-06-18','yyyy-mm-dd hh24:mi:ss'));...

原创 Storm学习笔记----stormAPI基本概念

作业=Topology=拓扑 --------

原创 Storm学习笔记----Storm组件、结构、运行流程

 Strom是分布式计算框架 主节点是Nimbus，只负责整体分配工作，不具体干活；从节点是Supervisor，直接管理干活的worker； 

原创 HIVE学习笔记----JAVA客户端操作

JDBC客户端操作--启动Hive远程服务    hive --service hiveserver Hive的JDBC客户端操作打开Eclipse，新建一个JAVA项目，新建一个lib目录，将hive安装目录下的jdbc.jar文件拷贝进来，加载进path路径；新建JDBCUtils类，做一些基础定义；private static String driver = " 填...

原创 HIVE学习笔记----子查询

注意问题：   语法中的括号    合理的书写风格    hive中只支持WHERE和FROM子句中的子查询    主查询和子查询可以不是同一张表，只要子查询查询结果可以被主查询使用即可 子查询中的空值问题，如果子查询查询结果返回空值，不能使用‘not in’ ，而是在子查询中限定结果非空 ...

原创 HIVE学习笔记----表连接

等值连接 非等值连接 外连接         通过外连接可以将对于连接条件不成立的记录依然包含在最后的结果中         左外连接  left outer  join   ----左表为全记录，不符合条件的计数为0         右外连接  right outer join  ----右表为全记录，不符合条件的计数为0自连接        通过表的别名将同一张表视为多张表...

原创 HIVE学习笔记----hive函数的使用

原创 HIVE学习笔记----数据导入

使用load语句     load data [local] inpath 'filepath' [overwrite]       ------(写local是为了表示从操作系统导入，不写则表示从HDFS导入)                                                                                -----（写over...

原创 HIVE学习笔记----hive的管理（Web界面方式）

-启动方式：#hive --service hwi &默认端口9999当提示如下错误时：需要下载hive源代码包，编译web管理工具下载解压后，进入源代码目录下，打包成功后可以部署，拷贝至lib目录下，修改hive-site.xml配置文件，查看hive帮助文档，添加对应参数，监听地址、监听端口、以及war包，重启web网页管理工具，出现如下界面时表示成功...

原创 HIVE学习笔记----hive安装及管理

嵌入模式       元数据信息被存储在hive自带的Derby数据库中       只允许创建一个连接，单一用户操作       多用于Demo本地模式       元数据被存储在MYSQL数据库中       mysql数据库与HIVE运行在同一台物理机上       多用于开发和测试，支持多连接远程模式        HIVE         （运行在不同...

原创 HIVE学习笔记----体系结构、执行过程

- hive的元数据    hive将元数据存储在数据库中（metadata），支持mysql、derby、oracle等数据库，默认derby    hive中的元数据包括表的名、列、属性等、分区、表属性、表数据所在目录等 -hive执行过程    解释器、编译器、优化器等完成HQL查询语句从语法分析、编译、优化、查询计划的生成    生成的查询计划是存储在HDFS中，并...

原创 HIVE学习笔记----数据存储

  -基于HDFS  -没有专门的数据存储格式  -存储结构主要包括：数据库、文件、表、视图  -可以直接加载文本文件（txt  csv等）  -创建表时，指定Hive数据的列分隔符与行分隔符 表： 内部表 /分区表 /外部表 /桶表  -内部表：与数据库中的Tale在概念上类似；                 每一个Table在hive中都有一个相应的目录存储数...

原创 HIVE学习笔记----数据类型

基本数据类型： -tinyint/smallint/int/bigint:整数类型 -float/double：浮点数类型 -boolean：布尔类型 -string:字符串类型 复杂数据类型： -Array 数组类型 由一系列相同数据类型的元素组成 -Map 集合类型 包含key->value键值对 -Struct 结构类型-----数组和结构类型的...

原创 HIVE学习笔记----（基础命令行语句）

ctrl+L   !clear   ---- 清屏show tables     ----查看数据仓库中的表desc table_name   -----查看数据表结构dfs  -ls  /目录      ----查看HDFS上的文件dfs  -lsr  /目录     ----以递归的方式查看目录下的文件包括子目录！命令    ----在hive下执行操作系统下的命令--...

原创 kettle 转换字段遇到问题（couldn't get row from result set unable to get timestamp from resultset at index 9）

kettle imestamp : Unable to get timestamp from resultset at index 22在做ETL的时候，连接MySQL读取含有timestamp类型的表，出现如下错误：经Google，据说是MySQL自身的问题。解决方法也很简单，在Spoon的数据库连接中，打开选项，加入一行命令参数：zeroDateTimeBehavior=co...

原创 db2数据类型转换函数

db2数据类型转换：字段为Integer        Integer ----> char            char(字段)                    char -------> Integer        Integer(trim(char(字段)))                    字段为double(8,2)     double -----&...

原创 Kettle抽取变量表名（系统时间后缀）

使用job kjb如下 完成此需求，如下图，步骤如下： 1  start2 设置表明使用的变量：时间变量（tableName.ktr）3 抽取（即表输入》表输出）()  设置时间变量的转换如下，tableName.ktr：     时间变量设置参考：http://blog.csdn.net/xiaohai798/article/detai...

原创 Kettle全量更新详细说明

       最开始接触kettle,很直白的一种数据更新方式是数据全量更新，使用最简单的两个工具，表输入、插入/更新（曾经天真的以为这就是随着数据源的变化做出相应变化，即数据的增加、修改、删除，后来发现增加、更新可以做到，删除并不能）；                                      后来接触到另一种数据更新方式，会使用主键做KEY值对比，对比剩下的属性值，是否...