_小海_-CSDN博客

原创 hive表开启lastAccessTime参数

1.hive-site.xml 的 Hive 服务高级配置代码段（安全阀）中添加2个参数：hive.security.authorization.sqlstd.confwhitelist=hive.exec.pre.hookshive.exec.pre.hooks=org.apache.hadoop.hive.ql.hooks.UpdateInputAccessTimeHook$PreExec2.重启hive即可...

2022-03-02 17:26:47 1662

原创 Impala查询报错：InternalException: Memory limit exceeded: Error occurred on backend

在HUE执行Impala查询的时候报错：InternalException: Memory limit exceeded: Error occurred on backend....报错原因是impala连接数过多导致的，可以通过修改连接数，或者等其他连接释放

2021-10-28 15:14:08 1245

原创 kudu重启报错：Error creating minidump directory: /var/log/kudu/minidumps/kudu-tserver

问题描述：CDH6.3.2的Kudu，之前安装的时候启动都是正常的，后来因为一些原因停了一段时间，再次启动的时候发现启动失败报错：Error creating minidump directory:/data/var/log/kudu/minidumps/kudu-tserver和Failed to load FS layout: /data/kudu/kudu_server_data/instance经查发现kudu的日志文件和数据文件的所有者出现错误：原...

2021-09-26 11:16:52 566

原创 Cannot validate serde: org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe

hive建表使用多字符分隔符的时候，需要在hive客户端执行:add jar /opt/cloudera/parcels/CDH/lib/opt/cloudera/parcels/CDH/lib/hive/contrib/hive-contrib-2.1.1-cdh6.3.2.jar

2021-06-11 17:23:05 1636 2

原创 cdh parcel分发状态一直卡在无法激活的状态无法关闭

parcel 分发状态一直卡在无法激活的状态，无法重新开始。执行REST Resources：curl -u {admin}:{admin} -X POST http://${cloudera-managerIP}/api/v19/clusters/{clusterName}/parcels/products/{product}/versions/{version}/commands/deactivate...

2020-11-13 20:34:37 1782 2

原创 CDH 角色缺少kerberos kertab

角色缺少kerberos kertab可能需要重新导入凭据。管理》安全》kerberos凭据》导入kerberos Acount Manager 凭据

2020-11-13 20:27:26 380

原创 Kinit :Client ‘‘ not found in Kerberos database while getting initial credentials

kinit admin报错Kinit :Client '' not found in Kerberos database while getting initial credentials密码错误。

2020-11-13 20:06:09 8172

原创 Kerberos 的Kprop服务无法启动

操作系统版本：SUSE12SP2做Kerberos数据同步时Kprop服务无法启动Kprop服务需要kprop.acl文件要在/etc/services里面增加一行：krb5_prop 754

2020-11-13 19:57:09 606

原创 cloudera manager报错 ‘csdManager‘: Invocation of init method failed；

ERROR main:com.cloudera.server.cmf.Main: Server failed.org.springframework.beans.factory.access.BootstrapException: Unable to return specified BeanFactory instance: factory key [rootContext], from group with resource name [classpath:webapp/WEB-INF/spring/

2020-08-10 16:37:32 457

原创 NoClassDefFoundError: com/teradata/jdbc/jdk6/JDK6_SQL_ResultSetMetaData解决办法

环境：TD：Teradata15.00.02.08CDH：CDH5.13.020/07/16 05:16:15 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.13.020/07/16 05:16:15 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.20/07/16 05:

2020-07-16 21:56:17 599

原创 cloudera manager识别parcel校验文件.sha文件不正确会导致parcel识别不了的问题

有时会出现在更多选项里面无论怎么配置，parcel文件始终无法识别，推测原因可能是sha校验文件不正确导致的。解决办法：重新生成一个sha文件执行：sha1sum CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel | cut -d ' ' -f 1 > CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha...

2019-12-31 16:39:55 2101 4

原创 Centos7.5安装mysql5.7.28rpm包报错：postfix-2.10.1-6.el7.x86_64需要：libmysqlclien

执行：[root@public mysql]# yum localinstall mysql-community-common-5.7.28-1.el7.x86_64.rpm mysql-community-libs-5.7.28-1.el7.x86_64.rpm mysql-community-client-5.7.28-1.el7.x86_64.rpm mysql-community-s...

2019-12-31 11:20:59 5624

原创 Sqoop --m（--num-mappers）参数使用及优化

Sqoop并行化是启多个map task实现的，-m(或--num-mappers)参数指定map task数，默认是四个。当指定为1时，可以不用设置split-by参数，不指定num-mappers时，默认为4，当不指定或者num-mappers大于1时，需要指定split-by参数。并行度不是设置的越大越好，map task的启动和销毁都会消耗资源，而且过多的数据库连接对数据库本身也会造成压...

2019-11-14 14:42:18 8572

原创 idea中maven项目遇到pom文件jar包不能下载解决方式

在做graphframes开发过程中遇到pom文件不能下载：<dependency> <groupId>graphframes</groupId> <artifactId>graphframes...

2018-05-30 15:57:42 10184

转载 windows10安装scala出现报错"不应有 \scala\bin\scala.bat"问题解决

安装完毕，配置完换进变量，在dos命令行输入：>scala 报错：“此时不应有 \scala\bin\scala.bat”问题原因：出现上述问题，说明你的PATH与SCALA_HOME都设置正确了，但是可能由于scala尚不完善，这个问题的原因是因为你的安装目录里边含有空格。查看一下你的安装目录，不论安装目录是在C盘还是D盘，默认的都是安装在”Program Files (x86)“与...

2018-05-29 18:10:33 2028 1

转载 Pycharm 的python console 启动'PyDevTerminalInteractiveShell' object has no attribute 'has_readline'

python启动后报错:AttributeError: 'PyDevTerminalInteractiveShell' object has no attribute 'has_readline'这个问题源于pycharm version>2016.1与ipython version 5冲突。解决方法: 将文件pydev_ipython_console_011.py（提取密码：cbv8） ...

2018-05-28 17:23:20 883

转载 VMware14 黑屏

vmware workstation 10升级到vmware workstation 14，发现所有虚拟机打开都黑屏，那么请按照以下方法执行；命令：netsh winsock reset作用：重置winsock网络规范输入命令方法：打开cmd，选择以管理员身份运行。输入：netsh winsock reset运行成功后重启电脑。

2017-12-05 14:31:15 757

原创 sqoop /user/local/jdk1.8.0_131/bin/java:No such file or directory.........

执行sqoop导数到hive的时候报错sqoop xxxx ：UNsupported major.minor version 52.0，是jdk版本冲突（CDH默认安装的是jdk1.7），改掉环境变量之后（将jdk1.8环境变量删除，目录删除）又报错：/user/local/jdk1.8.0_131/bin/java:No such file or directory.........原因

2017-11-22 16:41:42 6091

原创 Check that mysqld is running and that the socket: '/tmp/mysql.sock' exists!

[root@datanode01 bin]# /usr/local/mysql/bin/mysqladmin -u root password 'root'/usr/local/mysql/bin/mysqladmin: connect to server at 'localhost' failederror: 'Can't connect to local MySQL server th

2017-11-22 16:14:53 16503 1

原创 ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)

MySQL启动报错：ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)解决：ln -s /usr/local/mysql/mysql.sock /tmp/mysql.sock

2017-11-22 16:13:16 358

原创 log-error set to '/usr/local/mysql/log/mysqld.log', however file don't exists

mysql启动报错：Starting MySQL.171106 00:55:53 mysqld_safe error: log-error set to '/usr/local/mysql/log/mysqld.log', however file don't exists. Create writable for user 'mysql'.解决：mkdir /us

2017-11-22 16:11:32 18389 2

原创 sqoop xxxx ：UNsupported major.minor version 52.0

在执行sqoop导出某表数据到hive的时候报错：Error xxxx ：UNsupported major.minor version 52.0问题原因：出现该问题是由于cloudera manager和系统的jdk版本不一致导致的，更具体点是cm使用的是低版本的jdk1.7,而操作系统后来又装的版本是高版本的jdk1.8,由于sqoop会自动生成代码并编译程jar然后提交给

2017-11-13 23:37:59 1533

原创 sqoop No columns to generate for ClassWriter

在执行sqoop从oracle导出数据到hive时报错：No columns to generate for ClassWriter问题原因：oracle数据库的IP/用户名/密码/数据库名称错误导致连接不上。

2017-11-13 23:31:22 7250 1

原创 sqoop could not load db driver class:oracle.jdbc.OracleDriver

在使用sqoop从oracle导数到hive，报错：sqoop could not load db driver class:oracle.jdbc.OracleDriver解决：在安装sqoop server的节点上放oracle的驱动包/opt/cloudera/parcels/CDH/lib/sqoop/lib/ojdbc6.jar并且修改权限为777

2017-11-13 23:22:14 6794 1

原创 Permission denied: user=hbase, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

安装完CDH之后，启动Hbase失败，爆出以下错误：Unhandled exception. Starting shutdown.org.apache.hadoop.security.AccessControlException: Permission denied: user=hbase, access=WRITE, inode="/":hdfs:supergroup:drwxr

2017-09-29 15:25:59 6375

原创使用hive OPTION SQL_SELECT_LIMIT=DEFAULT

安装完CDH，使用hive的时候报错：FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:You have an error in your SQL s

2017-09-26 21:11:50 3046 3

转载 Linux CenterOS6/rhel6安装mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz

Linux CenterOS6/rhel6 安装mysql-5.6.12-linux-glibc2.5-x86_64.tar.gzhttp://blog.csdn.net/liu_yulong/article/details/50172499

2017-09-26 13:41:10 587

转载 CentOS7使用firewalld打开关闭防火墙与端口

CentOS7使用firewalld打开关闭防火墙与端口http://www.cnblogs.com/moxiaoan/p/5683743.html

2017-09-22 10:22:01 587

原创 CentOS7下，在安装过mysql5.7后，安装cloudera-scm-server报错：Require:libmysqlclient.so.18(libmysqlclient_18)(64bit

CentOS7下，在安装过mysql5.7后，安装cloudera-scm-server报错：Require:libmysqlclient.so.18(libmysqlclient_18)(64bit)

2017-09-21 14:27:25 2064 1

原创启动cloudera-scm-server报错：unable to load class [com.mysql.jdbc.Driver]

启动cloudera-scm-server时报错：

2017-09-21 11:52:06 3098

转载 linux下命令执行时间统计工具time使用小结

linux下命令执行时间统计工具time使用小结：http://blog.csdn.net/wangjianno2/article/details/50452919

2017-09-11 17:49:31 686

转载 Hadoop之为何不使用RAID

Hadoop之为何不使用RAID--http://www.cnblogs.com/Richardzhu/p/5315064.html

2017-09-11 15:08:37 410

原创 Hbase Table already exists:

CDH重新安装过之后，打开HBase shell，建表的时候报错：表已经存在；list查看，没有表；问题原因：由于在cloudera-manager管理页面上删除CDH集群的时候，默认不会删除zk的数据目录，因此数据依然存在；解决办法：打开zk客户端，删除hbase表信息，解决。参考文章：http://www.cnblogs.com/superhedanto

2017-09-07 10:00:09 773

原创 Cannot create directory /tmp. Name node is in safe mode

CDH启动到HDFS时报错：页面报错：正在创建 HDFS /tmp 目录命令 (1354) 已失败日志详细信息：PriviledgedActionException as:hdfs (auth:SIMPLE) cause:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create

2017-09-06 13:52:18 5051 1

转载 HBase1.2.3架构剖析（七）之 MOB

HBase1.2.3架构剖析（七）之 MOB-http://blog.csdn.net/duyuanhai/article/details/77854378

2017-09-05 17:57:12 781

转载 CDH5.X完全卸载步骤

CDH5.X完全卸载步骤——http://blog.csdn.net/wulantian/article/details/42706777

2017-09-05 17:55:43 740

转载 Hive限制

Hive限制——http://blog.csdn.net/xiaolang85/article/details/7860011

2017-09-05 17:54:13 516

原创 hive小文件问题及hive小文件合并

HDFS块的概念--http://www.cnblogs.com/zlslch/p/5081487.html关于 HDFS 的 file size 和 block size--http://blog.csdn.net/samhacker/article/details/23089157Hive小文件合并--http://blog.csdn.net/yycdaizi/ar

2017-09-05 17:27:09 2509