迷途码界-CSDN博客

原创 CentOS7 离线部署 PostgreSQL12

6. 下载postgresql*、postgresql*-contrib、postgresql*-libs、postgresql*-server 四个rpm安装包。上传下载的4个rpm安装包到服务器，按顺序执行下述命令。3. 拉到最下边点击direct download。5. 点击Avaliable Groups下的链接。以上修改完成，需要重启服务才生效。将testdb授权给test用户。切换到postgres用户。4. 选择需要的版本。

2022-12-18 10:29:44 1029 1

原创 Win7 搭建NodeJs、Vue2、Vue3，基于 vue-cli 创建建vue工程及相关问题解决思路

由于开头选择的是 Win7 系统下最高版本 13.14.0 的 NodeJs，出现上述 NodeJs 版本与 Vue3 不匹配导致的情况，提示信息里描述将 NodeJs 降到 12.0.0 或者提升到 14.0.0 及以上版本即可。查看 cnpm 的版本是否 >=8.2.0，高版本的cnpm无法在 13.14.0 的node 版本下使用，使用命令将 cnpm 降低版本即可。Win7 支持的 NodeJs 最高版本为 13.14.0，下载是去历史版本中寻找。配置 nodejs 环境变量。

2022-08-23 13:56:44 2391

原创 Python Docker 镜像使用yum命令报错 except KeyboardInterrupt, e: SyntaxError: invalid syntax

yum包管理是使用python2.x写的，将python2.x升级到python3.x以后，由于python版本语法兼容性导致问题出现。查看urlgrabber-ext-down文件（目录/usr/libexec/urlgrabber-ext-down）修改yum配置文件，更改python版本2.7。

2022-07-21 11:21:26 996

原创 Java 数据类型转换、方法调用相关笔记

Java 数据类型转换；Json字符串转Map、Map转对象、Java流（Steam）、getMethod()方法使用

2022-06-13 13:51:37 510

原创 Storm 消费Kafka数据及相关异常解决

Storm 消费Kafka数据及相关异常解决问题KafkaTopoDemo类bolt类问题storm报错：Exception in thread “main” java.lang.RuntimeException: InvalidTopologyException(msg:Component: [mybolt] subscribes from non-existent stream: [default] of component [kafka_spout])storm版本：2.3.0kafka版本：

2022-03-30 16:55:13 2285 2

原创 Docker 镜像/容器命令、运维命令

Docker 镜像/容器命令、运维命令镜像与容器的使用镜像操作容器操作容器资源使用情况默认输出只返回当前的状态只输出指定的容器格式化输出的结果镜像与容器的使用镜像操作在docker index中搜索image# docker search < image >docker search centos拉取镜像（下载centos镜像）docker pull centos:latest查看镜像# 列出imagesdocker images# 列出所有的images

2022-03-30 10:47:16 1122

原创 Flink 使用 ProcessFunction 处理时间乱序数据

Flink 使用 ProcessFunction 处理时间乱序数据时间乱序数据情况实验验证POM文件代码实现时间乱序数据情况由于业务数据采集是获取的数据有时并不能保证数据的顺序传输，错误的数据顺序可能会带来业务的异常。例如：合并宽表时最后更新的数据比之前更新的数据先到达并被处理，将出现脏数据情况。{ // key 里分别表示主键Id、表名、时间 "key": "id_table1_202203" // ... 表示其他数据，此处省略 "eventTime" 1648178741000}

2022-03-25 11:28:06 2214

原创 Flink 使用 watermark + window 处理时间乱序数据

Flink 使用 watermark + window 处理时间乱序数据时间乱序数据情况实例验证POM文件代码实现测试情况时间乱序数据情况由于业务数据采集是获取的数据有时并不能保证数据的顺序传输，错误的数据顺序可能会带来业务的异常。例如：数据如下；01,163586706600001,163586706700001,163586706800001,163586706900001,163586707000001,1635867071000实例验证POM文件<dependencie

2022-03-25 10:56:37 2010

原创基于Docker 构建 Flink 镜像以 Local Cluster 模式运行

基于Docker 构建 Flink 镜像以 Local Cluster 模式运行基本结构编辑相关脚本接入点脚本启动脚本Dockerflie基于 Dockerfile 构建镜像构建镜像运行容器查看运行状态基本结构flink-1.13.2：flink的服务文件docker-entrypoint.sh：接入点脚本start.sh：启动脚本Dockerflie：镜像编译文件编辑相关脚本接入点脚本docker-entrypoint.sh#!/bin/bashset -eexec "$@"

2022-02-16 11:29:45 3095

原创 Flink 动态加载 Jar 包，实现自定义算子加载执行

Flink 动态加载 Jar 包，实现自定义算子加载执行动态加载Jar动态Jar调用方式动态加载Jar对应的参数：path：Jar 的存放路径。env：Flink 的环境实例。classPath：动态Jar的类路径。import java.lang.reflect.Field;import java.lang.reflect.Method;import java.net.URL;import java.net.URLClassLoader;import java.util.Array

2021-12-30 11:41:12 2202 1

原创 Flink 自定义source 写入 Kafka

Flink 自定义source 写入 Kafka添加依赖构建KafkaSource参数实例构建自定义KafkaMQSource添加依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.12</artifactId> <version>1.13.2</version> <scope>p

2021-12-30 11:12:05 930

原创 Flink 自定义sink 写入Kafka

Flink 自定义sink 写入 Kafka添加依赖构建KafkaSink参数实例构建自定义ClickhouseStoreSink添加依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.12</artifactId> <version>1.13.2</version> <scope&gt

2021-12-30 11:06:57 958

原创 Flink 自定义sink 写入 Clickhouse

Flink 自定义sink 写入 Clickhouse添加依赖构建ClickhouseSink参数实例构建自定义ClickhouseStoreSink添加依赖<dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.2.4</version></depend

2021-12-30 10:58:05 1592

原创 Flink 自定义sink 向 Restful 风格接口发送数据

Flink 自定义sink 向 Restful 风格接口发送数据添加依赖构建RestfullSink参数实例构建自定义RabbitMQSink添加依赖<dependency> <groupId>commons-httpclient</groupId> <artifactId>commons-httpclient</artifactId> <version>3.1</version></dependency&

2021-12-30 10:54:32 1404

原创 Flink 自定义sink 写入 RabbitMQ

Flink 自定义sink 写入 RabbitMQ添加依赖构建RabbitMQSink参数实例构建自定义RabbitMQSink添加依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-rabbitmq_2.12</artifactId> <version>1.13.2<

2021-12-30 10:45:22 1027

原创基于 Python SDK 的配置及打包

基于 Python SDK 的配置及打包打包setuptools 工具包安装创建打包目录结构配置 setup.py 文件执行打包调用 SDK打包setuptools 工具包安装默认情况下创建工程时默认都会装好，若是没有可以自行安装pip install setuptools创建打包目录结构├─python-sdk│ │ README.md│ │ setup.py│ └─MySdk | my_sdk.py │ __init__.py|目录说明：

2021-11-04 11:39:13 1975

原创 Docker 可视化管理界面 Portainer 的部署、相关问题解决

Docker 可视化管理界面 Portainer 的部署、相关问题解决Portainer 介绍基于Docker Standalone 的 Portainer 部署Portainer 使用管理本地 Docker管理远程 DockerPortainer 介绍Portainer 是 Docker 的图形化管理工具，提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作（包括上传下载镜像，创建容器等操作）、事件日志显示、容器控制台操作、Swarm集群和服务等集中管理和操作、登录用户管理和控制等功能。功

2021-10-29 16:18:03 905

原创树莓派4B 离线安装 Docker

树莓派4B 离线安装 Docker下载Docker和相关依赖下载docker相关的最新包上传到树莓派某个目录（如：/home/pi/目录）安装docker查看docker版本查看docker信息配置Docker开机自启动服务启动Docker查看docker启动状态查看启动中的容器设置开机自启动查看docker开机启动状态（enabled:开启, disabled:关闭）下载Docker和相关依赖下载docker相关的最新包https://download.docker.com/linux/debia

2021-10-27 17:27:08 259

原创 WMware Harbor 开源 Docker 私有库搭建

WMware 开源 Harbor 私有库搭建Harbor简介Harbor 的主要功能基于角色的访问控制基于镜像的复制策略图形化用户界面支持 AD/LDAP镜像删除和垃圾回收审计管理RESTful API部署简单Harbor 架构组件Harbor 部署环境准备部署 HarborHarbor简介虽然Docker官方提供了公共的镜像仓库，但是从安全和效率等方面考虑，部署我们私有环境内的Registry也是非常必要的。Harbor是由VMware公司开源的企业级的Docker Registry管理项目

2021-10-20 17:16:14 175

原创 Docker 镜像传递启动参数

Docker 镜像传递启动参数Dockerfile 配置带参数启动镜像Dockerfile 配置需要在dockerfile文件里增加启动参数的配置：ENV 参数名=参数值# 基于的基础镜像FROM python：3.6# 脚本添加到code文件夹ADD ./iot.helmet.indentification /code# 设置code文件夹为工作目录WORKDIR /code# 安装依赖RUN pip install -r requirements.txt# 传递参数EN

2021-09-22 15:55:50 4320

原创 pip 常用安装 Python 指令

pip 常用安装 Python 指令常用指令合集升级pip安装包卸载包列举出当前环境安装的所有包显示所安装包的信息pip是Python的包管理器，在windows控制台cmd中输入pip就可以查阅到pip一些常用用法。常用指令合集升级pippip install --upgrade pip安装包package：第三方包的名称，如tensorflow，使用这种安装方式会安装最新版本的包。pip install package安装固定版本的包。version：版本号；如pip install

2021-07-29 16:38:17 391

原创树莓派4B raspberryPi摄像头命令软件raspistill帮助文档

树莓派4B raspberryPi摄像头命令软件raspistill帮助文档作用使用格式图像参数与命令预览参数与命令图像参数与命令2提示曝光模式选项自动白平衡选项测光模式选项预览参数与命令2常用命令文档原文：https://www.raspberrypi.org/app/uploads/2013/07/RaspiCam-Documentation.pdf作用在指定的时间运行摄像头，而且如果需要可以捕获JPG图片使用格式raspistill [options]图像参数与命令-?, --hel

2021-07-29 14:20:46 991

原创树莓派4B摄像头推出流数据

树莓派4B摄像头推出流数据树莓派摄像头调试排线连接摄像头权限激活测试摄像头功能树莓派原生推http流使用vlc打开网络串流ffmpeg推rtmp流安装ffmpeg异常解决树莓派推流至 rtmp 服务器使用vlc打开网络串流树莓派摄像头调试排线连接硬件连接时我们首先需要使用树莓派摄像头FFC排线，连接树莓派摄像头与树莓派开发板。其中排线连接的接口被称为CSI（Camera Serial Interface）接口。树莓派开发板的CSI接口位于USB和以太网接口旁边。我们先将CSI接口的黑色挡板拔开，之后

2021-07-29 14:09:53 3168 6

原创 Eclipse git 拉取远程项目到本地

点击该向下的三角图标，选择clone a Repository完善信息后点击 next默认勾选，点击next选择默认的项目存放位置，点击finish，回在git repository中看到该项目在project explorer中右键 -> new -> other -> Maven ->existing maven projects (因为我建立的项目时maven项目，因此该处我选择的是maven)...

2021-06-10 10:39:37 1842

原创 RabbitMQ 异常 ‘durable‘ for queue ‘simple_queue‘ in vhost ‘/xxxx‘: received ‘false‘ but current

inequivalent arg 'durable' for queue 'simple_queue' in vhost '/xxxx': received 'false' but current异常处理方法异常Caused by: com.rabbitmq.client.ShutdownSignalException: channel error; protocol method: #method<channel.close>(reply-code=406, reply-text=PREC

2021-06-10 10:25:41 1016 2

原创基于 Linux 离线部署 RabbitMQ

基于 Linux 离线部署 RabbitMQ离线 RPM 安装包下载RPM 包安装启动 RabbitMQ 服务启动服务：配置管理账户设置管理员权限启动 web 管理启动 stomp 通道重启 RabbitMQ 服务离线 RPM 安装包下载erlang rpm包，下载地址。socat rpm包，下载地址。RabbitMQ rpm包，下载地址。RPM 包安装将安装包上传至 Linux 服务器指定的自定义文件夹内。执行下列安装命令：sudo rpm -ivh erlang-22.3-1.el7

2021-06-10 10:17:50 278

原创基于基础类型的 List 去除重复数据

基于基础类型的 List 去除重复数据LinkedHashSet 进行 List 去重Java8 新特性 stream 进行 List 去重HashSet 不存储重复数据特性进行 List 去重List 的 contains 方法循环遍历去重Java 中基于基础类型的 ArrayList 去除重复数据方法。注意：元素是对象的需要重写对象的 hashcode() 和 equals() 方法才能去重。LinkedHashSet 进行 List 去重LinkedHashSet 是一个删除 ArrayLis

2021-05-14 11:36:24 155

原创 docker registry push 遇到 Get https://xxx:5000/v2/: http: server gave HTTP response to HTTPS client

docker registry push 遇到 Get https://xxx:5000/v2/: http: server gave HTTP response to HTTPS client问题原因解决方式问题原因registry 加载镜像并启动容器后，registry 私有库相当于基本部署完成；但是 registry 提供的 url 接口还不能直接访问，缺少与 docker 进行映射配置；所以不能被宿主机进行访问。解决方式修改docker配置文件vi /etc/docker/daemon

2021-05-14 09:48:44 5446

转载 SELECT list is not in GROUP BY clause and contains nonaggregated column 异常

SELECT list is not in GROUP BY clause and contains nonaggregated column 异常报错问题出现的原因解决方法一解决方法二解决方法三报错Expression #2 of SELECT list is not in GROUP BY clause and contains nonaggregated column ‘sss.month_id’ which is not functionally dependent on columns i

2021-04-28 09:48:47 761

原创删除docker registry镜像脚本报错No repositories directory found inside REGISTRY_DATA_DIR

删除docker registry镜像脚本报错No repositories directory found inside REGISTRY_DATA_DIRregistry使用delete_docker_registry_image删除镜像删除时报错解决方案一：修改全局配置文件解决方法二：修改第三方插件registry使用delete_docker_registry_image删除镜像删除指定镜像：/usr/local/bin/delete_docker_registry_image -i 镜像名

2021-04-20 18:20:45 339

原创 Python及依赖库离线安装

Python及依赖库离线安装一、前言及环境1. 场景及整体思路2. 环境二、安装Python3.6三、安装Python依赖包1. 联网下载依赖安装包1.1 导出依赖包信息1.2 下载依赖包2. 离线安装依赖包一、前言及环境1. 场景及整体思路生产环境中系统为CentOS，但客户那边的环境是不能联网的，于是就需要离线安装Python和依赖库。离线安装思路：从可以联网电脑导出库的名称到文件；下载指定库到指定文件夹；将库名称文件和安装包拷贝到离线环境进行安装;Linux下部署Python，需要分别

2021-04-01 15:34:06 791

原创 Spark 知识点

MapReduce 知识点基于 MapReduce 计算词频过程基于 MapReduce 计算词频过程MapReduce 将输入（Input）文本以行为单位分片（Split），每个 Map 任务将分片中的每个词映射为键值对的形式（Dear, 1），Shuffle 将相同键的记录组合在一起，最后由 Reduce 任务计算词频并输出（Output）结果。示例：以 3 个 Map 和 3 个 Reduce 的词频计算过程。...

2021-03-17 11:41:10 108

原创基于pipreqs 对 Python 工程依赖包扫描

基于pipreqs 对 Python 工程依赖包扫描freeze 生成依赖列表文件pipreqs 生成依赖列表文件安装用法详细用法：报错解决项目开发的时候，总是要搭建和部署环境，需要一个python第三方包的list，一般叫做requirements.txt。如果项目使用virtualenv环境，直接使用pip freeze即可，但是如果项目的依赖没有维护，就会很麻烦，这时我们就需要一个叫pipreqs的工具，可以帮助我们自动生成requirements.txt文件。freeze 生成依赖列表文件$

2020-12-24 11:27:30 535

原创 Elasticsearch 性能优化常见配置

Elasticsearch 性能优化常见配置分片异步同步数据索引存储类型注：基于elasticsearch.yml或api请求的方式进行配置。分片异步同步数据不同分片之间的数据同步是一个很大的花费，默认是1s同步，如果我们不要求实时性，我们可以执行如下:$ curl -XPUT http://localhost:9200/my_index -d '{ "settings" : { "index" : { "refresh_interval":"60s"

2020-09-17 14:43:03 199

原创 Linux 的 docker 和 docker-compose 的部署

Linux 的 docker 和 docker-compose 的部署docker 的部署1. 环境要求2. 在线部署3. 离线部署docker-compose的部署docker compose常用命令docker 的部署1. 环境要求操作系统：centos7及以上，内核版本3.1.0及以上docker下载地址：https://yunpan.ygsoft.com/#common/lib/3daad806-4e4d-4348-88c7-724a18d5b826/%E6%9C%8D%E5%8A%A1do

2020-06-28 13:54:20 559

原创 Docker 延迟服务启动（wait-for-it.sh 脚本的使用）

Docker 延迟服务启动（wait-for-it.sh 脚本的使用）延迟服务启动公共环境配置 .enveureka的Dockerfile配置tms的Dockerfile配置docker-compose配置延迟服务启动基于 wait-for-it.sh 脚本实现脚本下载：https://github.com/vishnubob/wait-for-it公共环境配置 .envEUREKATAG=3.0.0TMSTAG=1.0.1-SNAPSHOTJAVA_OPTS=-Xms1g -Xmx1g -X

2020-06-28 13:34:41 6494 1

原创 Docker 创建通信网络

docker 创建通信网络创建通信网络构建指定IP的通信网络基于docker-compose设置固定IP创建通信网络由于要涉及到zookeeper和kafka之间的通信，运用docker内部容器通信机制先新建一个网络。[root@sz-ben-dev-01 ~]# docker network create kafka_zookeeper （新建网络）dcb683a23044e902b251e01f493c814f940bd5bb592025c9eb4b78902f45091f[root@sz

2020-06-28 11:20:14 174

原创组件Docker化

组件Docker化组件Docker化elasticsearch(5.1.2)容器化修改limits.conf、sysctl.confelasticsreach.ymlelasticsreach-dev镜像的docker-compose.ymlredis(5.0.9)容器化reids.confredis-dev镜像的docker-compose.ymlmysql(5.7.30)容器化my.cnfmysql-dev镜像的docker-compose.ymlzookeeper、kafka、kafka-manage

2020-06-18 15:08:06 638

原创 Git 连接 GitHub 及可能出现的问题与解决方法

Git 连接 GitHub 及可能出现的问题与解决方法Git 连接 GitHub初始设置设置姓名和邮箱地址连接 GitHub 设置设置 SSH Key问题创建 SSHGit 连接 GitHub初始设置设置姓名和邮箱地址git安装完成后，设置使用 Git 时的姓名和邮箱地址。名字需要英文输入。$ git config --global user.name "Firstname LastName"$ git config --global user.email "your_email@example

2020-06-11 18:39:21 573

原创 InfluxDB 使用中错误及解决方法

InfluxDB 使用中错误及解决方法max-values-per-tag 导致写入大于10W条数据报错max-series-per-database 导致写入大于10W条数据报错max-values-per-tag 导致写入大于10W条数据报错错误核心：max-values-per-tagException in thread "main" org.influxdb.InfluxDBE...

2020-04-28 17:23:58 16298 3

docker-raspberrypi-4B.zip

delete_docker_registry_image

The Do's And Don'ts Of Elasticsearch Scalability And Performance

Haroopad (Markdown编辑器)

空空如也