adshiye-CSDN博客

原创 oozie 4.1 的邮箱功能，不支持 smtps

做个笔记，今天在在oozie配置邮箱支持邮箱的告警的时候，由于提供的smtps协议(一般是465端口)的邮箱服务器，在clouder manager配置后，故意跑一个失败的任务然后发邮件告警，发现告警失败，根据报错日志，找到源码，分析后发现oozie 4.1 邮箱功能，不支持 smtps。ps: 这是我目前分析的出来的结局，如果有问题欢迎指针，如果能解决这个问题就好了。通过报错日志找到源码：...

2019-12-26 15:50:18 317 1

原创 cdh版hue+oozie调度，workflow之shell脚本执行以及日志查看

1、首先准备两个脚本test1.sh#!/bin/shecho "param1=$1"test2.sh#!/bin/bashsh ./test1.sh $1sh test1.sh 2018-11-20 执行结果为：2、将脚本上传到hdfshdfs dfs -mkdir /testhdfs dfs -put test1.sh test2.sh /test3、hue上...

2018-11-20 23:32:31 8032 9

原创 cdh版hue+oozie调度，部署后时区的修改

1. hue修改时区时区修改为: Asia/Chongqing2. oozie修改时区值为：oozie.processing.timezoneGMT+0800不过oozie修改这个参数之后，有个坑爹地方，那就是不能通过hue提交Bundle，会报以下错误，目前还没有解决这个问题。Error submitting bundle My Bundle: E1310: Bundle Jo...

2018-11-13 21:00:20 2142

原创 maven开发，idea、eclipse快速剔除jar子依赖方式

使用maven开发的同学都知道，引用了一个jar的依赖之后，其jar本身的子依赖中无用的jar也会自动添加进来,项目打了之后，几百个jar出现在依赖中，其实其中大部分都是都是无用的jar，最后打包发现部署包几百兆。作为有代码洁癖的程序员，这种情况简直不可忍，下面为大家分别介绍eclipse，idea快速剔除maven中子依赖的方式eclipse剔除方式打开pom.xml文件，切换到Dep...

2018-08-05 18:01:12 5605

原创 cdh内存分配参考文档

基于以下环境提供参考值： 5台内存32G、cpu8核的服务器，操作系统为centos6.8 总内存： 160G 总核数： 40核不同的环境可以根据自己环境的总内存以及总内核和这个参考值得出系数,那么：值= 推荐值 X 系数hdfs 参数解释值 NameNode 的 Java 堆栈大小 Java 进程堆栈内存的最大大小,改Java进程主要是：维...

2018-01-29 16:54:05 8198 2

原创 impala 创建kudu表报错

错误日志：the impalad startup flag -kudu_master_hosts is not used错误原因： kudu不是成功之后，没有将kudu作为impala的服务范围，修改地址如下图，

2017-10-21 13:14:01 2058

原创【笔记】cdh报错记录

报错日志：+ exec /opt/cloudera/parcels/KUDU-1.4.0-1.cdh5.12.0.p0.25/lib/kudu/sbin/kudu-tserver --tserver_master_addrs=cdh-001,cdh-002 --flagfile=/opt/cm-5.12.0/run/cloudera-scm-agent/process/378-kudu-KUDU_T

2017-10-11 14:14:05 1283

原创【笔记】Spark Streaming's Kafka libraries not found in class path 处理

pyspark开发中，sparkStream与kafak整合中，进场出现以下报错原因：缺少spark-streaming-kafka-0-8-assembly_2.11-2.2.0.jar包解决方式如下： linux中，上传以下目录（python的site-package的pyspark目录下），如：/root/anaconda2/lib/python2.7/site-packages/py

2017-09-12 21:17:02 3653 1

原创 hadoop2命令行管理相关命令（笔记）

获取namenode状态hdfs haadmin -getServiceState nn1获取resoucemanager的状态yarn rmadmin -getServiceState rm1两台namenode的active、standby的状态互换hdfs haadmin -transitionToStandby --forcemanual nn2两台resourcemanag

2017-08-07 16:45:25 265

adshiye的博客