qq_36412496的博客

原创 shell中出现“/bin/bash^M: bad interpreter: No such file or directory”

服务器系统: centos7问题描述：在执行shell脚本时出现错误:/bin/bash^M: bad interpreter: No such file or directory解决办法：进入该脚本输入“:set ff=unix”执行，即可解决该问题。

原创 anaconda CondaHTTPError: HTTP 404 NOT FOUND for url

问题：用anaconda创建python虚拟环境 ，报了以下错误解决方法：conda config --remove-key channelsconda config --append channels conda-forge --append channels bioconda --append channels defaults使用上述命令可解决该问题。...

原创 数仓基于表级别的数据血缘分析

1.背景：数据血缘分析在日常的处理过程中非常重要,其分为应用级别、表级别和字段级别三种。在数据处理过程中，需要知道目标表的字段是来源于哪张原始表。对于简单的hsql来说我们很容易可以知道目标表的来源，但是复杂的hsql，想得到原始表不就那么方便了。故需要一个方法来便捷的导到目标表和来源表。2.hive源码中有名为NodeProcessor的接口,可以通过实现该接口来获取表级别的数据血缘分析。...

原创 spark hive2hbase

18/12/13 16:06:28 INFO TaskSetManager: Starting task 4.3 in stage 2.0 (TID 26, hadoop02, executor 1, partition 4, NODE_LOCAL, 4632 bytes)18/12/13 16:08:07 WARN TaskSetManager: Lost task 2.1 in stage ...

原创 hive任务报错数组下标越界异常

1.问题描述：运行了长时间的任务，报了以下错误：2.无法复现该错误，待以后补充，仅以此作为个人笔记。

原创 hive分区表创建不成功

在创建hive分区表时，desc 该表时，分区不存在；重现执行了创表语句后，分区还是不存在；由此，想到了之前hive的元数据表中，删除了一行数据，是关于分区的记录；重新创建了该库该表，分区则存在...

原创 hive创建表字段说明是乱码

cdh的hive创建表后，表中的字段说明为乱码；查看了元数据库后，发现了元数据库的的编码集不是utf-8；在元数据库中，执行：alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8alter table TABLE_PARAMS modify column PARAM_VALUE...

原创 hiveload数据到表中，查询出来全部为null

lload数据成功后，查询出数据均为null。查看创表语句后，文件格式如下：修改后的语句的如下：重新load后，查询结果如下：至此，问题已解决。...

原创 Azkaban集成hive2hbase的过程脚本报错解决过程（位置问题）

上面的信息是azkaban的报错日志；这是hive2hbase的工程结构；通过一番排查后得知，azkaban的里面的路径信息，都是以run.job为基准的相对路径。将azkaban工程打成zip包后的工程代码结构如下：上传到azkaban中运行正常，至此，此次错误已解决完毕。...

原创 用spark将hive数据导入到hbase中

Log Type: stderrLog Upload Time: Thu Dec 13 14:59:19 +0800 2018Log Length: 2873SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/data/yarn/nm/usercache/hado...

原创 hiveshell命令错误

原创 hbase aip使用mapReduce将处理过的数据存入hbase数据出错

错误如图1-1：图1-1核心代码如图1-2，图1-3，图1-4所示：图1-2图1-3图1-4产生该错误的原因是使用了错误的列簇，修改后的代码和效果分别是图1-5和图1-6：图1-5图1-6...

原创 ssm整合

mapper包里面的.xml名称必须和接口名一致

原创 java api连接hbase问题

在window环境变量的用户环境变量中，添加如下图的配置，点击确定。重启elipese即可上hadoop