信徒博客

原创 GitHub下载使用流程手册（傻瓜式的教科书）

申明：我不是资料搬运工，我只是记录一些我实际遇到的问题以及解决方案我的qq 2038373094为什么放在这里托管？1、名气，Bootstrap等知名网站都是把代码托管在这里，2、每次写完代码，放在文件群里面或者百度云盘里面，都必须重新上传一份，即使你改的部分比较少；放在GitHub里面，你只需要上传一份代码，以后有修改的部分可以对修改的部分进行上传，就跟开发项目的时候一样...

原创 flink任务处理下线流水数据，数据遗漏不全（三）

2、设置回调函数，当数据来的时候，处理数据；当失去连接的时候，先关闭连接，然后尝试连接数据，但是没有订阅主题，所以我觉得是这个原因。发现chunjun的代码运行不到5h以后，如果网络不稳定，断开mqtt链接以后，就会永远也连接不上了，更短命！问题：chunjun的的确是不会漏数据了，但是运行不了多久以后mqtt中断了，死活连接不上。原因：1、在高并发度的情况下，即使用时间戳来设置clientid也会重复，加一个随机数！我觉得是没有设置数据是否连接上就中断连接了，所以失败，其次是主题重复了！

原创 flink任务处理下线流水数据，数据遗漏不全（二）

2023-04-07 08:15日后续问题跟踪Test3 只接受T4301的数据一切正常Test2 接受所有T11的数据一切正常2023-04-07 08:15日。

原创 flink任务处理下线流水数据，数据遗漏不全（一）

1、test3是单独接受T4301的mqtt主题数据以下是flink代码以下是node-red的。

原创 flink 最快掌握广播变量的用法，省时间必看

2、重写map方法，获取广播变量，然后数据转换一下得到想要的数据。就是一个公共变量，作用范围比全局变量要大！1、创建数据集，并创建为广播变量。引入这个的目的，节省内存资源。

原创 keepalived配置虚拟ip（VRRP）实现双机热备以及自动切换主备

2、但是其他人访问的ip地址，如果从A变成B，地址改变了，会影响业务需求的；所以需要A与B共用一个Ip地址，A服务器崩了，B还在，不影响对外的业务。1、我有两个服务器，一台A是正常处理数据的，还有一台B是备用机器；因为此时priority 100的机器已经关机了，priority 99就是唯一的主机了！若priority 99的出现打印的请求参数，说明成功！打印请求参数，两台机器都完好的情况下，priority 100的肯定是主机，会出现打印的信息，priority 99的是从机，不会启用；

原创 flink执行任务运行10h以后挂掉并且报错

我觉得可能是1、因为代码错误运行时间长了有bug，这个是最有可能的(90%) 当时默认的内存是1G，不可能存在着内存不够的原因。我用了hadoop的集群的yarn，以及分析了taskmanager和jobmanager的内存大小、以及分析每个错误的原因。2、没仔细分析Log日志，很多时候想要节省时间走捷径，但是发现走的都是弯路。flink运行jar包任务，运行几个小时或者1天以后，任务就会挂掉！flink-conf.yaml 优先使用flink集群有的jar包。flink集群的slot分配有问题。

原创 linux 如何定时执行flink脚本

可以在vi /var/spool/mail/root 查询运行的日志，有无报错！最后一行，根据你自身情况更改！1、在/root/sh文件夹下面，创建一个脚本文件。输入crontab -e 进入定时任务编辑。这个是每天的11点52分，执行刚才写的脚本。每天凌晨的时候执行一次flink脚本。这个脚本不是长时间运行的。然后保存退出就可以了！到点执行以后，会出现。

原创 flink集群使用yarn per-job提交jar任务

link 1.11开始官方不再维护flink-shaded-hadoop-2-uber jar，可以使用之前版本的shade，社区建议导入hadoop classpath，执行这行代码，不需要改任何东西。这个错误的原因是没有指定入口类的地址，如org.example.job.T4301MesDownline。有一个疑问，当我把flink任务提交给yarn集群进行资源调度管理的时候，因为此时用的是hadoop的yarn的集群，而不是自带的集群！把flink的资源调度管理交给专业的框架yarn框架去做！

原创 java 批量删除redisCluster相同前缀或后缀的key

【代码】java 批量删除redisCluster相同前缀或后缀的key。

原创 zookeeper集群的搭建，菜鸟升级大神必看

1序号是代表服务器的编号，后面用到，对应zkData/myid文件内的数字。在flinkb服务器的zkData中写入2 echo 2 > myid。dataDir 是存放数据的位置，这个zkData文件夹需要后面创建。在flinkc服务器的zkData中写入 echo 3 > myid。并且把/etc/profile也分发给其他服务器，记住，这里的1与flinka 是一一对应的。到此 zookeeper集群搭建成功！二、上传安装包到服务器上并且解压，重命名。下载最新版本2.8.1。

原创 hadoop3.*集群搭建，小白必看

hadoop集群搭建最全教程

原创 复制springbot项目打开以后，工程后面有之前复制的工程的名字，怎么去除？

2、FIle-->Project Structure-->Modules 去掉所有的，重新导入现有的项目模块。1、打开pom.xml文件，更改改成现在项目的名称复制springbot项目打开以后，工程后面有之前复制的工程的名字，怎么去除？然后maven reload一下！

原创 flinksql 如何引用 条件判断计算的结果？

flinksql 如何引用 条件判断计算的结果？

原创 傻瓜式用u盘安装ubuntu系统，并配置网络

一、ubuntu系统的下载国外下载很慢，我们用国内的资源：http://mirrors.163.com/ubuntu-releases/20.04.2/二、u盘启动盘的制作UltraISO软碟通 制作u盘启动盘，其他的不行，大白菜以及深度适合安装windows系统的完成以后，记得去想要安装的机器上插入，再启动机器的视化，一直按f12… 所有配置都是默认的下一步下一步三、网络连接为了方便，我们先用root登录，这样就不会有权限的问题了；一般新装的系统，密码需要自己设置 sudo passwd

原创 centos通过源文件的方式安装node-red 避坑指南

目的：centos通过源文件的方式安装node-red步骤：1、安装node2、安装node-red一、安装nodehttps://npm.taobao.org/mirrors/node/我选择的是11.10.1版本的记住查看你的Linux系统是32位还是64位的，不要搞错版本了命令：cat /proc/version一般x86_64是64位 x86是32位的坑一、下载以后解压，上传到linux系统上，配置node环境，输入node -v会显示版本信息；输入npm -v会出现…/l

原创 ubuntu系统的安装以及网络的配置

一、ubuntu系统的下载国外下载很慢，我们用国内的资源：http://mirrors.163.com/ubuntu-releases/20.04.2/二、u盘启动盘的制作UltraISO软碟通 制作u盘启动盘，其他的不行，大白菜以及深度适合安装windows系统的完成以后，记得去想要安装的机器上插入，再启动机器的视化，一直按f12… 所有配置都是默认的下一步下一步三、网络连接为了方便，我们先用root登录，这样就不会有权限的问题了；一般新装的系统，密码需要自己设置 sudo passwd

原创 Ruoyi框架前后端交互的整个流程

前提Jdk、maven等环境部署成功，部署若依项目到本地第一部分 前端1、当前网页对应的网址是localhost/system/role对应哪个页面 1.1、前端路由是动态的，url来自于数据库； 1.2、前端文件夹名称以及文件名称、位置与数据库里一一对应 1.3、路由动态赋值 例如： 如果地址是/system/role 就找一个system文件夹下面有role文件夹的文件2、点击某个页面，上面的数据是...

原创 Vmware配置静态网络，实现上网功能

1、如果主机使用的是无线网的话，可以固定一下主机的ip;1.1、先查看无线网动态分配的ip信息然后把以上的信息填写在ipv4中，不是自动获取，而是使用下面的ip地址 注意两个dns都需要写，不然浏览器无法上网。1.2、打开cmd命令，查看ipconfig 查看虚拟机与主机的Ip地址主机是192.168.2.105虚拟机是192.168.209.1主机ping虚拟机，看是否可以通讯虚拟机主机ping百度看是否就可以连接外网 202.108.2...

原创 Docker安装redis的保姆教程

Docker安装redis的保姆教程使用docker搜索 命令:docker search redis下载镜像 docker pull 镜像名称例如 docker pull bitnami/trdis 而bitnami/trdis是搜索镜像出来的名称，不能更改为镜像创建一个容器格式是： docker run -itd --name redis-test -p 6379:6379 Bitnami/redis说明：--name redis-test 为容器...

原创 本地虚拟机安装并配置svn服务器

步骤如下安装 yum install subversion 创建版本库目录 mkdir /home/svn/project 创建仓库 svnadmin create /home/svn/project创建成功以后，svn下面多了几个文件夹最重要的是conf文件夹，cd conf 输入命令: vi passwd添加用户名与密码 格式： 用户名 = 密码 如 tjn = 1234566、编辑权限文件 vi authz我们创建一个用户组...

原创 hadoop伪分布式环境安装教程

Hadoop快速上手入门教程环境Linux系统或者装有linux系统的虚拟机配置虚拟机NAT网络 安装jdk Hadoop伪分布式模式安装（一般都是这个安装模式）4.1、创建一个hadoop的普通用户命令：useradd hadoop这个用户hadoop创建一个密码 passwd hadoop我的密码是1235678（建议不要创建密码）4.2、给用户hadoop sudo权限命令：chmod +w /etc/sudoers 让sudoers可写...

原创 docker配置nginx外挂文件，使用nginx部署vue并 解决前后端跨域问题

第一部分、Linux安装nginxDocker安装并配置nignx挂载文件前提下载了docker，并且docker是运行中的状态systemctl status docker 查看docker的状态开始如下操作1、搜索nginx docker search nginx2、下载nginx镜像: docker pull nginx Docker pull nginx的name比如 docker pull jwilder/nginx-proxy...

原创 centos7系统 用docker安装redis的保姆教程

Docker安装redis的保姆教程使用docker搜索 命令:docker search redis下载镜像 docker pull 镜像名称例如 docker pull bitnami/trdis 而bitnami/trdis是搜索镜像出来的名称，不能更改为镜像创建一个容器格式是： docker run -itd --name redis-test -p 6379:6379 Bitnami/redis说明：--name redis-test ...

原创 centos系统下安装tomcat以及使用docker安装mysql

Tomcat部署在cenos上的步骤通过rz命令上传tomcat.tar.gz到/usr/local/src中，并且解压,解压后是apache-tomcat-9.0.14的文件夹因为这个解压后的文件名称太长了，所以我们先给它重命名一下命令: mv apache-tomcat-9.0.14 tomcat9创建一个目录 /usr/local/tomcat命令: Mkdir -p /usr/local/tomcat把解压后的tomcat复制到/usr/local/tomcat中首先进..

原创 redis的小白入门教程以及简单应用

1、redis是什么？为什么用redis？mysql数据库大家都知道吧，这个是一个关系型的数据库，表中有行列，与后端的bean里面的字段属性一致，多张表组成一个库，每次查询数据库，都在硬盘中访问，成千上万次查询mysql里面的数据，会导致查询速度慢，如果表里面的数据非常大的话，那么查询更是缓慢O(n) . 事务的存在不允许同时操作一组数据，必须事务完成以后才能对这组数据进行操作。什么是事务？就是对数据安全性提供保障的。你在淘宝上买东西，付款以后，因为商家服务器出了问题，你付款的数据没有存储...

原创 python-opencv 带你揭开美颜磨皮的魔术背后的代码

这里只讲一个，磨皮，我们都知道磨皮的好处就是，脸上的痘痘，稍黑的皮肤都能磨成白皮，但是五官的轮廓还是有的。在python-opencv里面，能做到的，最关键的是EPF边缘保留滤波了，先给你们看某个明星的黑图；我用了高斯模糊与EPF边缘保留滤波进行对比，看看哪个处理好些；同样的参数明显是epf啦！epf边缘保留滤波的作用：在一张图片上，有很多的颜色，在颜色区分不大的部分，大力磨皮，磨成差距不大的，但是对于明显颜色分界的部分要保留，不动。这个就是边缘保留滤波；代码在此，请收下

原创 python-opencv教程之均值模糊，中值模糊，高斯模糊的数学计算以及具体应用的大对比

首先，我们看效果，然后用一个简单的例子了解一下这里面涉及的计算流程均值模糊求平均值一、计算过程简单演示一下程序跑一下验证结果 二、应用在图片上有什么效果import cv2import numpy as npdef blur_test(): img=cv2.imread("E:/cx/1.jpg") dst = cv2.blur(img,(3,3)) cv2.imshow("img", img) cv2.imshow("dst..

原创 python-opencv两张图片的加减除操作，目的：可以调节亮度以及对比度

实验的两张图片（尺寸必须一样，如250*442）两个图片叠加的代码import cv2img1=cv2.imread("E:/cvimg/1.jpg")img2=cv2.imread("E:/cvimg/2.jpg")cv2.imshow("img1",img1)cv2.imshow("img2",img2)#开始add操作add_img=cv2.add(img1,img2)cv2.imshow("add_img",add_img)cv2.waitKey(0)效果.

原创 python-opencv 图片、视频颜色的提取操作

python-opencv实验开始了！！！！目的：提取图片中某个颜色，例如红色原图，我要从这张图片中提取出红色API:inRange()操作代码import cv2import numpy as npimg=cv2.imread("D:/gh/1.jpg")hsv=cv2.cvtColor(img,cv2.COLOR_BGR2HSV)#查看hsv颜色范围，可以得到的lowpr=np.array([156,43,46])uppr=np.array([180,25.

原创 python-opencv图像处理之色彩的分离与合并

我们都知道彩色的图片是由红绿蓝三个颜色组成的，在python-opencv里，图片是由三个通道组成的，红蓝绿通道，也就是rgb。我们可以把一个图片分离成三个通道，可以对某个通道进行修改颜色，再把几个图片进行组合成一个新的图片，都是可以的。那么今天我们就开始简单的吧！一、图片的分离原始图片是长这样的import cv2hsv=cv2.imread("E:/cvimg/2.jpg")#把这个图片进行rgb分离r,g,b=cv2.split(hsv)cv2.imshow("r",

原创 电脑主机电源与主板线的接法图解，小白与傻白甜必备

怎么判断主机电源有没有坏？电脑断电，然后打开主机箱，把电源拆下来，因为电源的线都是接在主板上的，可以先拍照，这样可以知道那根线对那根线。然后把线轻轻拔下来。如下图，电源的线已经从主板以及其他地方都拆下来了下图可以看到主板上没有插任何电源的线了把电源单独拿出来把固定的螺丝取下来，然后把侧面的盖子（有开机按键的那一面）直接拿下来3、把下面这个插头拔下来换上我们直接插电的电源给它上电4、然后拿一个镊子或者一个导线（铜丝），短接在24pin的绿..

原创 springboot项目 如何调用注入Autowired类中的方法

问题描述1、我需要在一个类A中调用另一个类B的方法2、另一个类B是注入Autowired注解，方法里面使用了Autowired注解的类3、如果直接是new 类名().方法() 会报错，报空指针异常解决方案以下的所有操作都是对于注入Autowired注解的B类的操作，不是A类1、在B类上加入@Component注解2、在类里申明该类的静态变量 private static B b1;3、初始化赋值写一个方法，用@PostConstruct注解，这个很重要，不然不行

原创 Electron-vue项目 实现注册登录功能的桌面开发程序 最适合新人学习的详细教程

前期背景项目周期：2020.09.24使用的框架：Electron springboot最终目的：做一个简易版的qq聊天的桌面软件准备工作1、安装node、配置node环境2、安装vscode3、安装vue-cli脚手架以上三个步骤如果不会，可以看这个教程 https://blog.csdn.net/qq_37591637/article/details/899443364、安装Electron5、...

原创 python编程之sklearn.preprocessing.LabelBinarizer()的用法解析

疑惑sklearn.preprocessing.LabelBinarizer()是干嘛用的？解惑one-hot编码转换的一个方法什么是one-hot?举个例子，你就知道了：二进制表示法，不同的是在二进制中1代表0 0 0 1，但是在这里是1 0 0 0 整数1表示在索引对应的位置；疑问：日本写在第二，应该是0 1 0 0怎么是 0 0 1 0呢？解惑：这...

原创 tensorflow通过提取Mfcc特征+卷积神经网络来实现语音分类

对于商业需求，还有很多需要改进的地方，大家多交流准备工作一、python+pycharm+tensorflow的下载与安装以及配置忠告：不要下载tensorflow2.0以上的版本，因为tensorflow1.0版本的很多方法tensorflow2.0都不用了，而且网上有关的资料都是tensorflow1.版本，tensorflow2.0的资料很少，你报错的话，百度出来的博客都是让你改...

原创 anaconda 与python之间的版本对应关系

原创 FileNotFoundError: [WinError 3] 系统找不到指定的路径。: '/data/ddd'

报错信息如下报错原因文件夹之间的关系用错了如果一个.py文件与B文件夹同级别那么就是./B如果一个.py文件与B文件夹的父文件夹C同一个级别那么就是./C/B解决方案...

原创 FileExistsError: [WinError 183] 当文件已存在时,无法创建该文件。: 'D:/tjn/tra

报错信息如下报错原因不知道os.makedirs(path)与os.listdir(path)的区别解决方案

原创 numpy.ufunc size changed, may indicate binary incompatibility. Expected 216 from C header, got 192 f

报错信息完整如下ValueError: numpy.ufunc size changed, may indicate binary incompatibility. Expected 216 from C header, got 192 from PyObject报错原因numpy版本太低了导致的解决方案pip uninstall numpypip install --up...