大海里的一粒星辰-CSDN博客

原创问题记录-003-Cannot run program “**/python“: error=13, Permission denied

python pyspark permisson denied

2022-07-20 18:01:44 1220 1

原创【NIFI】1.11插入/迁移数据爬坑问题记录

Nifi 数据迁移无法插入数据问题记录

2022-04-29 15:06:36 1211

原创 NIFI自定义开发API-HTTP分页功能

此文档目的为：在NIFI ETL中开发自定义HTTP分页查询，通过接口响应回的总条数和总页数，生成多个分页查询的API接口地址，然后逐一进行请求获取响应信息； HTTP分页查询一般为POST查询，此流程第二个组件同时也配置GET请求的分页查询；

2020-08-21 11:45:13 1432 4

原创 linux安装Oracle11g详细教程(redhat6、Centos7)

一、摘要本文是安装Oracle11g的详细步骤；本人已通过此方式，成功安装多次Oracle11g，包含Centos7下安装、redhat6下安装oracle12c、18c和11g安装方式一致，下面安装的有第四章节是18c，12c可以作为参考；另外，除了最终执行runInstaller 安装内容外，安装之前的内容基本的都是安装oracle必须的操作，本人用此步骤成功安装18c、12c和11gR2，两者区别仅是最终安装执行runInstaller 命令稍微不同，以及配置文件不同。二、安装软件及环

2020-08-21 11:35:11 15288 15

原创 nifi自定义开发本地调试

nifi自定义开发本地调试参考：https://community.cloudera.com/t5/Community-Articles/NiFi-Debugging-Tutorial/ta-p/246082此内容能很明确告诉你如何本地调试，英文不太好的，可以右键翻译网页查看。本人比较懒，等有空的时候在整理在这里。...

2020-07-08 19:42:27 830

原创 NIFI自定义开发

NIFI自定义开发NIFI自定义开发组件的结果目标，是能够在NIFI主页Processor里面拖动出来可以使用自己设置的属性，以及自己操作的逻辑处理。NIFI自定义组件的开发，其实就是继承AbstractProcessor 类，实现其方法即可。下面直接放上一个例子进行说明，以及各对象的使用用途说明。自定义开发组件步骤1、maven POM文件中引入nifi对应包；2、resources目录下新建文件夹META-INF.services3、META-INF.services下新建一个Fileo

2020-07-08 19:33:09 3413

原创 centos7安装oracle18c、12c和11gR2

摘要oracle12c安装步骤和18c一样，下面安装的是18c，12c可以作为参考；另外，除了最终执行runInstaller 安装内容外，安装之前的内容基本的都是安装oracle必须的操作，本人用此步骤成功安装18c和11gR2，两者区别仅是最终安装执行runInstaller 命令稍微不同，以及配置文件不同。安装软件及环境 Oracle 静默安装包 LINUX.X64_18000......

2019-12-11 20:17:21 2472

原创 ide中项目文件夹右下角蓝色小方块

1、由于本人复制了一个module作为一个新增module项目，修改了项目名删除了多余的配置文件，但ide自动导入后，发现只是一个文件夹形式，不是一个项目形式，2、按照网上的方法，右键项目选择如下图所示的功能，发现项目文件夹是蓝色的，但是项目里面代码都提示错误，pom是不管用的，3、因此参考网上资料，自己整理的处理方式如下ide中 file -> project struc......

2019-07-25 17:02:50 14692 2

原创 spark依赖外部第三方jar包

一、摘要由于项目需要搭建spark单独提交jar包运行，而spark提交jar包执行，需要依赖外部其他第三方jar包时候，官方给出的是在spark-submit命令上增加 --jars 参数去指定外部jar包，但是一个项目运行依赖的外部jar及其的多，此种方式肯定是不行的；网上找的各种方式最终都没有效果，以下是本人所处理的结果；二、当前运行环境spark2.4.3 jdk1.8 s......

2019-07-18 16:55:10 5620

原创 java搭建flink读取数据库简单Demo实例

一、搭建环境使用工具idea 、gradle、jdk1.8、mysql数据库具体idea 搭建gradle和项目环境略··········下边直接上代码二、gradle依赖包设置dependencies { implementation 'org.apache.flink:flink-java:1.8.0' implementation 'org.apache.flin......

2019-07-02 20:46:03 12880 2