benpaodexiaowoniu-CSDN博客

原创 CDH的ngnix问题（记录）

记录：今天群内一小伙伴问“请教大家一个CDH的问题，机器关机、换机房、换IP后cm-server、cm-agent 都启动了，新的ip也配好了。但是主机状态一直是未知运行状态，启动Service Monitor、Host Monitor 也没反应、无报错”，各机器的运行状况，如下图经他猜测“知道原因了，nginx转发了下cdh的ui 点按钮的请求没到后台”。最终他的解决方案：nginx转发，会导致cdh ui的静态文件不能加载sudo vim /usr/share/cmf/webapp/.

2021-07-14 19:25:55 310

原创编译flink1.12.2以适配cdh6.3.2并制作其parcel

前言一步一步地实践已成熟的flink1.12以parcel方式部署cdh6.x。编译下载kafka-avro-serializer-5.3.0和kafka-schema-registry-client-5.5.2注意：不要使用flink源码中的kafka-avro-serializer-5.5.2，因为编译报错如下图：针对上图的解决方案为：[root@master flink-release-1.12.2]# vi ./flink-end-to-end-tests/flink-end-to-e

2021-04-09 05:03:22 4840 10

原创实践：DeltaLake-0.8.0与Spark-3.1.1编译与在cdh6.3.2上应用

前言一次Delta lake 0.8.0 踩坑有感：使用新框架的新版本，一定要尽早关注多多关注社区动态实践环境准备安装sbt，参考：centos 安装sbt[root@master soft]# yum install sbtLoaded plugins: fastestmirror, langpacksDetermining fastest mirrors * base: mirrors.ustc.edu.cn * extras: mirrors.ustc.edu.cn * upd

2021-04-08 00:45:03 473

原创 Hadoop-3.0.0-cdh6.3.2 移植指南（CentOS 7）

实践：Hadoop-3.0.0-cdh6.3.2 移植指南（CentOS 7）前言虽然本文参考了[鲲鹏BoostKit大数据使能套件之Hadoop-3.0.0-cdh6.3.2 移植指南（CentOS 7.6）](https://support.huaweicloud.com/prtg-cdh-kunpengbds/kunpenghadoopcdh632_02_0010.html)和[CentOS 7.2 环境编译 hadoop-2.6.0-cdh5.15.1](https://blog.csdn.n

2021-04-04 23:45:03 1089 1

原创 OpenJdk 15编译HBase并部署到cdh6.3.2中

实践：HBase源码篇 | ZGC初体验——OpenJdk 15编译HBase 1.4.8实践：HBase源码篇 | OpenJdk 15编译HBase并部署测试所需环境一步一步地解决报错实践：HBase源码篇 | OpenJdk 15编译HBase并部署测试原文链接：HBase源码篇 | ZGC初体验——OpenJdk 15编译HBase 1.4.8所需环境Centos7桌面版便于Linux版ideaIU-2020.3.2查看和Debug源码。/etc/profile ，设置如下，【注意】此

2021-03-14 02:18:47 1184

原创 Centos7通过redis_exporter收集并发送到Prometheus以及使用Grafana进行展示并报警到钉钉&邮件

前提：Centos7上安装redis-6.0.1.tar.gz 下载prometheus-2.19.2.linux-amd64.tar.gz、grafana-7.0.6-1.x86_64.rpm、redis_exporter-v1.9.0.linux-amd64.tar.gz [root@cdh632-worker02 soft]# cd /opt/soft[root@cdh632-worker02 soft]# tar -zxvf prometheus-2.19.2.linux-amd64.t

2020-07-11 19:43:02 663 1

原创 cdh6.3.2安装apache-kylin-3.0.2-bin-cdh60

首先，由于本人是cdh6.3.2，故点击下载选择下图cdh60包[root@cdh632-worker03 ~]# cd /opt/soft/[root@cdh632-worker03 soft]# tar zxf apache-kylin-3.0.2-bin-cdh60.tar.gz -C /opt/module/[root@cdh632-worker03 soft]# cd /opt/module/apache-kylin-3.0.2-bin-cdh60/为解决报错01：[root@cdh

2020-06-25 14:28:15 1258 2

原创 cdh6.3.2上Hive on Spark模式下hive无法使用JsonSerDe问题

昨晚群内网友创建hive外部表（图一）后查询（Hive on Spark模式）便报错（图二）：而我在cdh6.3.2上初次尝试建JsonSerDe外部表（参考：hive中创建hive-json格式的表及查询）时报错（图三）：ERROR hive.log: error in initSerDe: java.lang.ClassNotFoundException Class org.apache.hive.hcatalog.data.JsonSerDe not found我的解决方案：

2020-05-19 13:03:43 1388

原创 cdh6.3.2上部署janusgraph0.5.2和atlas2.0.0

一、cdh6.3.2上部署janusgraph0.5.2+hbase2.1.0-cdh6.3.2+elasticsearch6.6.0（通过kibana6.6.0开启了xpack和铂金服务【es不可太高版本】以使用其图算法），参考一：图数据库JanusGraph实战[6]: JanusGraph+HBase+ElasticSearch的环境搭建，其有两个小注意点：1.关于jp官网上所提ssl方式连接es（图一）一直报错kibana的证书无法加载问题（图二），不过可以通过http方式正常使用es（图三）

2020-05-15 12:45:11 2141 1

原创 cdh6.3.2配置Hive on Spark

环境：戴尔xps15（32G内存、1T固态、外接雷电3接口的三星1T移动固态、WD Elements的4T外接机械硬盘）win10三台Centos7虚拟机用于测试cdh6.3.2集群（免费的社区版的最高版本）以及自编译phoenix5.1.0、flink1.10.0、elasticsearch6.6.0等各源码。首先，该集群试用企业版功能到期后，无法启动Reports Manager角色（见...

2020-05-03 04:06:55 5781 2

原创 win10上通过VMwarePro15安装CentOS-7镜像后搭建cdh6.3.2集群

背景：随着Cloudera Enterprise 6.3.3发布再也没有免费版了，于是我便萌生在win10上通过VMwarePro15安装CentOS-7-x86_64-DVD-1810镜像后搭建cdh6.3.2集群。但由于Cloudera仅提供CDH-6.3.1的rpm安装包用于安装CM和CDH-6.3.2的parcel包用于搭建集群，如下：具体安装步骤参考一：如何在Redhat7....

2020-03-06 15:01:07 1276

原创 win10上编译flink1.10.0以运行在cdh6.3.0环境中

在https://github.com/apache/flink/releases处点击下载flink-release-1.10.0.tar包，在win10的apache-maven-3.5.4中配置阿里源虽然阿里源https://maven.aliyun.com/mvn/view可以看到网友普遍使用的下面的库： <mirror> <id>alim...

2020-03-06 13:09:44 1651 2

原创 idea无法识别java类中main方法的参数类型String问题

今天从github上clone代码通过maven导入idea后，遇到的问题描述如文章标题，问题现象如下图：此问题奇葩到这种程度：经查网友无非两种主流解决方式，但于我均无效。无效方式一：https://blog.csdn.net/weixin_30807677/article/details/95206979，即清除idea缓存并重启。无效方式二：由于初次导入idea后maven...

2020-03-05 17:28:57 6857

原创 win10上编译elasticsearch-6.6.0并用idea调试以及修改源码以解决Master卡顿、创建/删除索引耗时过长的问题

点题：由于es各大版本差异较大，调试源码可以更深地学习源码，参考以下三文：windows系统下安装多版本jdk并切换，win10上编译并使用idea调试Elasticsearch 6.3.2源码，elasticsearch-7.x源码编译鉴于此，本文针对我个人的如下环境进行总结：关于文一的问题，不再赘述，可见我在文下三条的评论...

2020-02-26 12:54:15 901 1

原创解决log4j2警告：WARN Unable to instantiate org.fusesource.jansi.WindowsAnsiOutputStream

初识log4j2和log4jimport org.apache.logging.log4j.LogManager;import org.apache.logging.log4j.Logger;public class Log4j2Test { public static void main(String[] args) { System.setProperty(...

2020-02-13 14:56:37 5168

原创在cdh6.3.0上自制flink1.9.x的parcel包（点激活按钮报错）

背景：参考“如何获得Cloudera的Flink Parcel包”，此文：https://mp.weixin.qq.com/s/ajYyEnqCJRr8S645BqKCcg，然后运行安装包下的示例程序“在CDH上运行你的第一个Flink例子”：https://mp.weixin.qq.com/s/gPGVv_2US1eIihVwN4E1sQ。虽成功，但坑人呐！问题描述：我安装到cdh6...

2020-02-04 17:06:46 2503 1

原创 HiveOnSpark报错：Client ‘xxx‘ timed out waiting for connection from the Remote Spark Driver

今天群内看到一个hive on spark报错案例：FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session adecc1e7-9763-4d33-bf4d-7a1...

2020-01-07 13:05:48 9320 5

原创 hbase1.2.0-cdh5.11.2升级到hbase2.1.0-cdh6.3.0遇到的问题之hbase通过MapReduce查看表行数

求解？？？环境描述：五台测试机器，该台机器并非重装linux系统，而是删除原5.11.2集群上的已知目录，然后通过其他四台机器上cdh6.3.0添加新主机。由于只有此台机器配置高，故此台机器上有各种自我安装的软件：phoenix5.0（官网最高只支持hbase2.0）。问题描述：执行以下命令报错[root@worker ~]# hbase org.apache.hadoop.hbase....

2020-01-03 15:25:21 895

原创 neo4j启动时，日志报错：Address xx.xx.xx.xxx:7687 is already in use, cannot bind to it.

总结：neo4j.conf中bolt监听地址由阿里云服务器的“公网ip”改为“内网ip”或0.0.0.0背景：接阿里对阿里云服务器进行升级的通知，对阿里云服务器进行迁移。在重启neo4j时，无论是使用默认7687端口，还是随意改一个提前验证绝对不曾使用的端口，均报错如下：问题有两个：无论什么端口，均报被占用。日志显示的时间既不是系统时间，也不是硬件时间首先针对“时间”问题，做如...

2019-09-12 15:07:27 2701 4

原创解决报错：Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2

-----------------特此说明：全文废话连篇，但是“取经”路上的历程，慎看---------------------tensorflow小白的我，在运行案例时报错如下图，且同此文：https://stackoverflow.com/questions/47068709/your-cpu-supports-instructions-that-this-tensorflow-binar...

2019-08-07 17:27:39 6549

原创 cdh无法启动cloudera-scm-server 通过重装cdh集群修复原cdh集群

1 由于cdh集群突然断电，导致五台服务器中cloudera-scm-server无法运行和某台虚拟机的Centos7系统进不去。虽然利用笔记本上的虚拟机重搭CM和cdh集群导出元数据库脚本，以使原cdh集群的mysql中恢复其元数据库scmdb，但cloudera-scm-server启动后立刻挂掉。1.1 我按照这篇文中的方法：https://stackoverflow.com/quest...

2019-07-01 18:39:21 4286 4

原创 elasticsearch5.5.3：在不知道id的情况下，全文过滤出来某字段为xxx后，取出此条数据

es的需求：在不知道id的情况下，全文过滤出来某字段为xxx后，取出此条数据，使用spark-es非常好做（即https://segmentfault.com/a/1190000015710349?utm_source=tag-newest）我的spark1.6.0,scala2.10，阿里es5.5.3，下文记录一下pom文件中使用不同的版本报错的解决历程。捣鼓半天1.使用<!--...

2019-02-22 20:25:31 795

benpaodexiaowoniu的博客