cuixiuqin1954-CSDN博客

原创 hive 中的“行”与“列”的转换

本文参考：https://www.cnblogs.com/blogyuhan/p/9274784.htmlhttps://blog.csdn.net/sunnyyoona/article/details/62894761 感谢上述2位原创作者 hive 中的“行”与“列”的转换：--- 行转列desc temp_loan_pzh_out_month_test4;OK...

2019-02-26 21:11:34 275

原创 2017个人工作感悟

1、考虑自己想要什么，在这里我能学到什么，学到的东西在未来能否提高竞争力。2、提高自己 “分配任务”、“总结任务”的能力，提高自己的“语言表达”能力，用最简单的语言表述清楚。3、找到自己的优势。能让领导在清楚你的优势是什么。例如数据库db2 想到yy，hadoop 想到yf。

2017-06-19 14:33:35 928

原创执行 completebulkload 操作报错

近一段时间从事公司hadoop集群升级工作，将原来hadoop2.3 、hbase0.98 升级到 hadoop2.6 、hbase1.2.升级后发现原来执行的 completebulkload 操作出现问题。现在展示一下报错的内容，和解决的过程源执行脚本 hadoop jar /home/hadoop/cdh5/hadoop-2.6.0-cdh5.10.0/share/h

2017-04-13 10:14:49 1841

原创装修不要选实创

提示大家，真心不要在北京实创十里河店，沟通装修事宜。设计师不专业，工长拖延工期，十里河店长和稀泥……还有这客服，投诉反映石沉大海。哎，实创的口碑就这样被臭鱼搞砸了！

2017-01-21 10:48:18 349

原创 2016个人总结

个人总结忙碌的2016年在公司总结大会圆满的画上了句号。自己在csdn上写一些总结。一、上一篇博客记录了去年和领导的一次谈话，领导的批评和教训一点都没有忘记。今年在工作上我认为是有很大进步的，技术得到了提高，自己在专业领域肯专研，在业余时间肯下功夫读专业书籍，这些在工作上都得到了回报。但是我知道自己差距还是很大，非常大。自己还要加倍努力，不能由任何懈怠。想起岳父的一句话

2017-01-17 00:09:09 325

原创领导的需求是最紧急的

领导的需求是最紧急的，也是最为迫切的，她比你看的远，更能感到寒冷和温暖。对于她的要求，一定要快速执行，快速找到方法，快速想好解决的方案。凡是直说问题和解决该问题的方法。要考虑周围的工作量。

2016-12-12 23:24:24 516

转载 hadoop运行原理之shuffle

本文转自 http://www.cnblogs.com/gwgyk/p/3997849.html感谢原创作者！hadoop的核心思想是MapReduce，但shuffle又是MapReduce的核心。shuffle的主要工作是从Map结束到Reduce开始之间的过程。首先看下这张图，就能了解shuffle所处的位置。图中的partitions、copy phase、sort

2016-11-11 11:21:19 395

原创 hive partion 键关联（join）其他表

hive 表中如果需要用partion键进行关联其他表一定不要写在on中，正确写法要将partion键写在from中例如：insert overwrite table dc_temp1_user_scoreselect a.mobile,nvl(b.prov_des,'其他'),nvl(b.zone_des,'其他')from (select * fro

2016-04-08 19:41:07 512

原创工作感悟

今晚和领导谈了一次心，记录下来的目的不是用来分享，而是以后时时提醒自己！下午收到领导的微信，让我找她一趟聊一聊，进门后寒暄直接进入主题。我问：‘您觉得我在2015年的工作，与2014年相比有哪些不足，进步？’领导：‘我觉得以你的年龄和工作经验，应该在团队中独挡一面或者带队伍了，但是你还没有’领导：‘在java开发能力上，你确实很努力但是优势不在’

2016-03-04 23:46:48 503

原创 hive 中的null

今天遇到一个这样的问题：当在sql中写如下时：INSERT OVERWRITE TABLE 表名 partition (version='1.11')selectcase when 条件 then 值 else null endfrom 表名……这时候在插入表对应的hdfs文件中，存储的null值却是\N，但是通过sql查询可以通过查询字段 i

2015-12-09 15:19:25 521

原创条件运算

在java 三目运算符出现过一次错误："funcode"+a == null ? "0" :"1"其实a是null 但是怎么也不走“0”，原因发现 "funcode"+a 已经不等于null 因此三目运算要加上括号 "funcode"+(a == null ? "0" :"1")

2015-12-04 11:20:42 412

原创利用crontab 调用hive

利用crontab 调用hive时，一定要将hive 的环境路径写成全路径

2015-04-10 13:58:21 1336

转载 sqoop 干什么用

sqoop (发音：skup) 是一种开源工具Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

2015-01-16 18:10:45 2212

原创 hive 去重数据

select a.mer_id,a.goods_id,a.goods_name,a.goods_type,a.serv_type,a.price_mode,a.push_inf,a.mt_num,a.cus_phone,a.goods_desc,a.mod_user,a.mod_time,a.in_time,a.statefrom hf_

2013-12-17 20:05:56 4238

转载 hive函数参考手册

hive函数参考手册原文见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无

2013-09-13 13:56:21 3946

转载 CREATE TABLE AS

CREATE TABLE ASNameCREATE TABLE AS — 从一条 SELECT 的结果中创建一个新表CREATE [ TEMPORARY | TEMP ] TABLE table [ (column [, ...] ) ] AS select_clause输入TEMPORARY 或 TEMP如果声明了这个选项,那么该表只

2013-06-06 14:42:32 1231

转载 DB2/Oracle/SQL server判断某个字符串或单个字符在源字符串中出现的位置

Oracle格式：instr('source_string','sub_string' [,n][,m]) n表示从第n个字符开始搜索，缺省视为1，m表示第m次出现，缺省视为1。示例：select instr('ababcde','a',2,1) from dual; 结果：3Db2 格式： Locate('sub','string' [,n]) 从前

2013-05-21 13:51:28 5540

转载大数据如何改变商业？未来五年路线图

今年，大数据和云计算一起作为科技术语出现。大数据意味着非常多的事情，但是被援引的次数太多了，几乎失去了其本来的定义。大数据的定义通常和速率（数据移动得快），体积（数据规模庞大），和种类（非结构化和结构化的信息）三点有关。大数据真的如人们所描述的那样吗？是的。对我来说，大数据代表了科技和商业的一致——也就是首席信息官们始终追求的圣杯（Holy Grail）——成为了一件顺理成章的事情。大

2012-11-28 17:42:35 769

原创 netezza的定位函数

strpos(s, b)：返回b这个字符或字符串在s中出现的位置例如： select strpos('abcdefg1234', '1234') 返回结果： 8

2012-11-20 15:28:49 1655 1

原创 DdVisualizer 8.0.1 小技巧

1、sql提示功能 Tool——》tool properties——》Auto Completion——》Display Automatically(需要选中)

2012-11-08 09:02:51 516

原创 shell 打tar包

tar -cvf xxx.tar ./bin ./sql 解释：xxx.tar 是要形成tar包的名字 ./bin ./sql 是tar包中包含的文件夹

2012-09-20 10:02:50 890

原创解决文件不能是utf-8的问题

iconv -f gbk -t utf-8 t99_budget_actual_conrast_s_sdata_bq_code.sql > t99_budget_actual_conrast_s_sdata_bq_code_.sql --将文件修改成utf-8file t99_budget_actual_conrast_s_sdata_bq_code_.sql -- 查看文件是否存在，rm

2012-08-28 17:50:28 1354

原创将“稀疏数据”变成“稠密数据”的思路

在做项目时我遇到了这样的一个问题：财务给我们的数据并不是每天都有的，由于财务人员并不是每天都记账，造成数据不是连续性。例如：“应收账款”表中的数据为。2012年1月1日有数据；然后就到2012年3月2日出现第二条数据。这样就造成我们数据之间有间隔。我们想要的数据形式为，即使没有发生交易，在财务那里应该将交易额记为0，但现实情况不是这样。解决这样的情况思路为： 1、准备一

2012-08-23 17:38:30 3897

原创 missing field - fillRecord not enabled 错误信息

[8, NVARCHAR(60)] missing field - fillRecord not enabled 明显是因为文件字段，和你所要load表的字段不同导致的。应该对比字段。

2012-08-20 15:00:32 1143

原创 shell 命令小计——工作笔记

查询日志文件的位置：cd /home/dwetl/log/load 查询文件名含有的文件 V_HKZB：ls -l |grep 'V_HKZB'

2012-08-16 17:39:16 434

原创需要将文件导入到sdata层

作业：需要将文件导入到sdata层1、在《作业定义及源数据维护_V4.0.xlsm》中创建作业在Tables Mapping 标签页中新增2条信息。一个为“LD_BQ_KMCODE_A”、另一个为“FILE_BQ_KMCODE_A”2、在Cols Mappings 标签页中增加新增表的字段。3、在Tables Mapping 标签页中点击“生成脚本”的按钮。4、最后在相同路径下

2012-07-31 17:37:33 799

原创 netezza 数据库修改多个字段的方法

update BS_REGIONSERVICELINE set reglevelcode='0000100001'||substr(reglevelcode,21,30),reglevel = '4'where substr(reglevelcode,1,20) = '00001000010000100002' and reglevel = '6'

2012-07-23 15:01:42 1834

原创正则表达式，多个空格的写法

[ ]+

2012-07-20 17:40:14 3182

转载盘点著名CEO们爱读哪些书

1.亚马逊CEO杰夫·贝佐斯(Jeff Bezos)　　美国最大虚拟书店亚马逊及Kindle电子书创始人杰夫·贝佐斯接受FastCompany网站采访时，称其一般每月购买十本书。他最爱的两本书是Jim Collins和Jerry Porras所著的商业书《基业长青》(Built to Last: Successful Habits of Visionary Companies)以及石黑一雄(K

2012-07-13 21:33:34 6973

原创 org.netezza.error.NzSQLException: ERROR: Permission denied on "T99_XXX_REL_CD".

在进行update操作时报这个错误：org.netezza.error.NzSQLException: ERROR: Permission denied on "T99_XXX_REL_CD".原因是：数据库的用户没有权限

2012-07-09 15:55:17 1560

原创 shell netezza数据库—————— 卸数成为文本、加载数据到表

nzsql -t -d iss_testdb -u portal -pw portal -o 'zb.txt' -c "SELECT …… FROM ZB_METRICS" -F '|' nzload -db sdata_dev -u etldev -pw etldev -t ZB_METRICS_20110901 -df zb.txt -delim '|' -encoding utf8

2012-06-13 19:05:10 2886

原创 left join 与 where 的关系

1、test_ibm 表中超1 天津2 天津泰达2 天津松江2 天津瑞意隆1 山东6 山东鲁能6 山东国安7 山东神话1 北京10 北京sb 2、test_ibm_2 表1 中超1 天津1 天津泰达2 天津松江2 天津瑞意隆2 山东3 山东鲁能3 山东国安3 山东神话4 北京4 北京rt

2012-05-17 00:17:03 1546 3

原创 netezza 的代替函数

select translate('2010-09-01','-','') 得到的结果20100901

2012-04-05 17:47:26 1449

原创自然周的判断方法

case when DATE_PART('week', DATE '$etl_date') = '1' then substr('$etl_date',1,4)||'-'||DATE_PART('week', DATE '$etl_date')else (case when substr('$etl_date',5,4)='0101' then substr(substr('$etl_date

2012-04-05 16:40:37 1258

原创自然周的概念

如果本年的1月1日，是周一、周二、周三、周四时那么1月1日是本年的第一周；如果本年的1月1日，是周五、周六、周日时那么1月1日是去年的第后一周；

2012-03-31 16:23:17 3745

原创数据库语句加上一个月 ‘20110101’——》‘201102’

substr(to_char(to_date(a.month_cd||'01','yyyymmdd')+31,'yyyymmdd'),1,6) 经过测试“经久耐用”

2012-03-30 08:46:44 653

转载 2012年最具潜力的工作

以下是Half认为在2012年最具潜力的工作，以及他们的美国薪酬范围:1.移动应用程序开发人员。需要帮助企业针对手机，平板电脑和其它小屏幕量身定制他们的信息。基本工资预计上涨9.1%，2012年在85,000美元至122,500美元之间。2.数据仓库分析师。需要收集、分析、挖掘存储的数据。基本工资预计增长6.7%，2012年在88,000美元至119,000美元之间。3.用户体

2012-02-02 17:43:41 507