- 博客(31)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 sas 使用odbc方式访问impala异常
记录一次生产环境sas 访问impala异常.背景描述:当xxx 业务使用sas平台使用odbc 方式去连接impala进行数据查询.sas运行sql的大致过程为 sas平台先是将业务输入的sql进行转换成impala sql 再通过odbc方式去提交给impala 集群,先后都出现了Error while retrieving data from In Impala:[] 以及 [08S01][...
2024-03-27 11:16:04
31
1
原创 离线安装Docker
前言最近在找工作,但是目前真的卷啊,而且云部署是未来的趋势,因此k8s、docker 技能是很多公司要求会的,尤其是像我这样做运维的,没办法继续学习吧，另外建议看到这篇文章的小伙伴,能走开发就走开发,在有选择其他的机会下尽可能的不要干运维,选公司尽可能选大一点的,最起码项目稳定。下面就开始学习Dockerk8s之旅吧(只能卷啊)Docker离线安装步骤如下1、下载dockerhttps:...
2023-11-03 01:00:34
97
原创 提交MR任务到YARN问题记录
简单记录下提交MR任务到YARN的问题记录吧。异常信息关键信息:impl.YarnClientImpl: Application submission is not finished ,submitted application_xxx is still in NEW情况一,使用distcp时可能会遇到这种问题此问题是由一个已知的错误（YARN-3021）引起的。https://issues.ap...
2023-10-27 11:21:07
158
原创 Hadoop RBF API
对于Hadoop RBF API的使用，这个可能是全网独一份了,因为在我找之前，即便墙都翻懒了也都找不到案例,话不多,下面给出了两种方式来实现。方式一:Hadoop工具类实现这种方式本质是命令行的方式实现的,代码示例如下package rbfApi;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.f...
2023-10-17 00:03:49
145
原创 OpenLdap
简述主要介绍Openldap简要概念、部署过程、基础命令以及同步ldap用户到linux主机。一、部署环境说明机器版本:CentOS Linux release 7.6.1810ldap版本: 2.4.44-25.el7_9二、Ldap基础概念目录树概念目录树：在一个目录服务系统中，整个目录信息集可以表示为一个目录信息树，树中的每个节点是一个条目。条目：每个条目就是一条记录，每个条目有自己...
2023-09-11 23:52:19
167
原创 Hive、Impala、Spark DDL DML SQL
分享一下Hive、Impala、Spark常见的 DDL、DML语句。测试版本Hive2.1.1+cdh6.2.1 Impala3.2.0+cdh6.2.1spark-3.3.1 kyuubi-1.6.1以下SQL均可编辑成sql文件，使用beeline... -fxxx.sql执行Hive DDL DML--HIVE SQL DDL DMLsql--##DDL数据库相关操作--...
2023-08-15 00:00:04
182
原创 Java API实现对Kudu操作
因需要迁移准生产环境的Kudu TS角色,需要在测试环境中模拟一些数据来测试角色迁移的可执行性,所以需要使用java api对kudu进行一些基础操作。当然你也可以使用impala,但是上千万的数据使用impala有点浪费资源了。废话不多说了，直接看代码示例吧。maven依赖<dependencies> <dependency> &l...
2023-08-14 22:23:09
130
原创 Java向Parquet文件写数据代码示例
背景在生产环境种数据量每天达到上亿,需要增量存放在hive对应分区种,纯文本数据占用存储还是比较大的,所以存储紧张的情况下需要使用Parquet存储格式去存储数据,下面将给出两个示例,一个是往本地Parquet文件写入数据,一个是往HDFS Parquet文件上写入数据。往本地Parquet文件写入数据示例package com.htsc;import org.apache.hadoop....
2023-07-28 17:12:32
766
原创 HDFS ACL权限的存储与获取源码分析
前言我们都知道HDFS 权限除了基础权限还有ACL权限,但是当我们获取Fsimage镜像文件时只能看到基础权限信息看不到ACL权限信息,那么ACL权限信息是如何获取与存储的呢？大概的总结是:为了节省内存,这里的ACL其实是以整型数组的形式存储在INode节点中的,而且还有单独的user、group的Map对象与之关联,只不过这里面涉及到了一些运算。因hadoop源码非常复杂,下面只解析ACL权...
2023-07-25 15:08:11
148
原创 使用CM API对DataNoe进行解除授权
实现背景生产环境中经常超100台DataNode节点,如果要对DataNode解除授权一个一个点显得很麻烦,所以这里使用Cloudera Manager API方式去执行会更方便一些,下面将介绍实现过程以及脚本的编写。CM API 对DataNode 解除授权执行命令示例curl -X POST -u admin:admin --header 'Content-Type: application...
2023-07-21 16:23:45
82
原创 HDFS快照
在验证确认HDFS快照目录是否会存在open for write文件时,简单了解下HDFS快照，小记一下这个过程吧。快照操作对指定目录启用快照功能[root@cm111 ~]# hdfs dfsadmin -allowSnapshot /htdataAllowing snapshot on /htdata succeeded同理也有禁用功能hdfs dfsadmin -disallowS...
2023-07-11 20:34:52
79
原创 HIVE 中的 CASCADE关键字
“才感春来 忽而已夏????”THE ROMANCE OF SPRING简要解释CASCADE的中文翻译为"级联"，顾名思义就是就是与之有联系的。在针对HIVE也就是不仅变更新分区的表结构（metadata），同时也变更旧分区的表结构。接下来我们要验证这个关键字对分区表新增字段之后有什么影响？背景说明在生产环境中,由于用户对HIVE知识了解不深,在针对分区表时对表新增字段,没有使用cascade关键字...
2023-07-10 22:31:18
731
1
原创 YARN启用Cgroup
“梦想感到一股清凉,在夏日黄昏”环境说明集群测试环境:CDH6.2.1Linux系统:centos7.6 内存15G 物理核数2个(逻辑核4个)未启用CGroup时验证1.1前置准备前置条件1:spark.dynamicAllocation.enabled=false，取消动态资源分配并更新到客户端配置，避免应用程序分配过多的CPU，影响判断。前置条件2:YARN 配置 :yarn.nodeman...
2023-07-08 22:58:53
154
原创 dfs.client.socket-timeout参数
“梦想感到一股清凉在夏日黄昏”背景说明在真正实验了解之前,这个参数一直认为是客户端的参数,只需要在客户端配置即可,事实也是如此。为什么还要探究呢？是因为今天客户那边提问了但是没有较具说服力的证据去证明。在生产环境中,业务方用户明明设置了这个参数,在DataNode日志里面还是显示60s超时。异常如下截图为了更加具有说服力去证明它是客户端生效的,这里不仅参考了社区版的hadoop3.0.0源码,也实...
2023-07-07 23:52:32
494
原创 获取HDFS集群所有目录的扩展属性信息
官网参考链接Extended Attributes in HDFS(简称xattrs)https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/ExtendedAttributes.html本次编写目的是如何获取集群所有目录的扩展属性信息,所以概念相关的请参考官网,这里不做过多赘述。HDFS的扩展属性信息简要解释这个...
2023-07-06 23:21:44
105
原创 Impala角色作用以及刷新操作说明
题外总结1、在impala中对表执行数据插入、增加表字段、增加分区操作,使用其他impala daemon再次查询是不需要执行刷新操作。2、在hive中执行创建表操作,impala需要使用invalidatemetadata 刷新,impala才可以查询出新建的表,refresh不能刷新impala中不存在的表。3、在hive中执行数据插入、增加表字段、增加表分区,在impala中需使用刷新表(...
2023-07-04 23:25:01
526
原创 Python语言连接访问Kerberos认证下的HA HDFS
「目的描述」此篇文章目的是使用Python语言对启用Kerberos、High Availability的HDFS文件系统进行访问，主要介绍KerberosClient、pyarrow、hdfs3三种方式。「环境说明」Python运行环境为3.7.0集群环境为CDH6.2.1(已启用Kerberos认证)Namenode实例所在机器分别为cm111、cm112废话不多说,直接上代码1、HdfsCl...
2023-07-03 10:13:49
1144
原创 使用hive3.x 问题记录
使用 hive3.1.2 问题记录搭建步骤省略...一、HIVE ON MR1、第二次以上插入值insert into table tablename values("xx")；出现错误:1)、metastore.RetryingMetaStoreClient: MetaStoreClient lost connection. Attempting to reconnect (1 of 1) after 1s. setPartitionColumnStatisticsorg.apache.t
2021-07-08 15:24:21
2806
2
原创 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX
我在win10系统安装hadoop3.0.0客户端配置环境变量 无需重启电脑也可以确认环境变量配置无误 执行代码出现java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX错误信息一开始百度 看到还有说修改源码再替换的 还是算了我pom依赖的是 3.1.3 但是我开始配置的是3.0.0的客户端org.apache.hadoophadoop-client3.1.3开始是将3.0.0bin目录下
2021-03-31 00:03:03
1656
原创 scala学习篇-运算符
scala运算符包含算术运算符，关系运算符，赋值运算符，逻辑运算符，位运算符及equals eq ==的比较代码演示:```scala```scalapackage wqg.day1//运算符操作object operational { def main(args: Array[String]): Unit = { //算术运算符 + - * / % 不作详细记录 /* * 注意1 * + 符号 既可以表示两个数字相加 也可以使其两个字符串相
2020-10-29 00:17:09
129
原创 scala学习篇-类型转换
scala类型转换自动转换 byte->short->Int->long->float->double强转使用toString,toByte,toInt,toFloat …等代码演示:```scalapackage wqg.day1object typeConversion2 { def main(args: Array[String]): Unit = { //自动转换 byte->short->Int->long
2020-10-28 22:48:50
283
原创 分析小文件信息
实现内容: hdfs 提取元数据mysql中hive元数据 及hdfs fsimage文件信息用于统计某个表下面有多少文件数 ，文件大小，平均值大小 用于分析小文件脚本内容: #!/bin/bash#设置脚本输出及异常自动退出set -xset -ecurrent_time=`date '+%Y-%m-%d %H:%M:%S'`echo "start time: $current_time"cd /data12/wqg/fsimage/rm -rf /data12/wqg/fsimag
2020-10-20 23:35:10
146
原创 java poi 读取csv 格式数据 向xlsx中插入数据
javaPoi操作csv xlsx区别：用JavaPOI导出Excel时，我们会考虑到Excel版本及数据量的问题。针对不同的Excel版本，要采用不同的工具类。HSSFWorkbook:是操作Excel2003以前（包括2003）的版本，扩展名是.xls；XSSFWorkbook:是操作Excel2007的版本，扩展名是.xlsx；对于不同版本的EXCEL文档要使用不同的工具类，如果使用错了，会提示如下错误信息。org.apache.poi.openxml4j.exceptions.Inval
2020-10-20 23:15:21
3729
原创 hbase 访问副本报错
错误信息当hbase表启用副本大于1时可能会访问到副本数据 当访问到副本数据时会出现下面问题错误信息hbase(main):044:0> get ‘wqg:test_aa’,‘key01’,{CONSISTENCY => ‘TIMELINE’, REGION_REPLICA_ID => 1}COLUMN CELLERROR: java.io.IOException: d33a1259e7df8b5487a
2020-10-12 01:07:14
222
原创 YCSB测试PHOENIX
YCSB测试PHOENIX①下载ycsb tart包或者源码文件再mvn 编译也行 然后将编译好的或者下载好的tar包上传到要测试phoenix的环境https://download.csdn.net/download/sx157559322/12859932 下载链接(自己上传的)②在phoenix建测试表 (默认表名是 usertable 也可以自己定义 )参考链接:https://github.com/brianfrankcooper/YCSB/tree/master/jdbccreate
2020-09-18 19:19:40
559
原创 oracle约束-禁用约束
禁用约束–禁用约束 cascade 可选 如有级联约束的话alter table demo_dept4 disable constraint 约束名字 cascade;–启用约束Alter table demo_dept4 enable constraint 约束名字注意:如果插入的数据违反唯一约束 即便执行也是无效...
2020-07-09 16:34:42
2362
DataNode-Exporter
2022-11-15
ycsb-0.17.0 源码文件需要编译
2020-09-18
ycsb-0.17.0.tar.gz
2020-09-06
spring-tool-suite-3.9.0.RELEASE-e4.7.0-win32-x86_64.zip
2020-08-03
Cloudera Manager使用BDR复制出现了下面异常问题
2022-12-02
hive on mr 产生了空文件（hivesql）
2021-09-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人