呼伦贝尔-钢蛋儿-CSDN博客

原创 arm版Linux下安装大数据集群各种组件

仔细看上面的报错，没有连接上zookeeper，那就安装一个zookeeper试试，安装并且启动zookeeper后发现kafka正常启动了。编辑bin/kafka-run-class.sh，删除-XX:+UseG1GC 这个地方，然后重启启动。下载地址：https://kafka.apache.org/downloads。解决方案：安装一个jdk，然后再启动命令，发现jdk的报错解决了。–执行kafka的启动命令。报错原因：没有找到jdk。

2024-04-19 07:54:11 451 1

原创若依框架针对漏洞升级的记录

背景：项目部署在生产环境上以后，漏洞扫描的时候，发现各种漏洞需要修复，很多漏洞的升级后面都记不住了，所以现在都简单记录一下处理的步骤20240415解决方案：直接修改配置文件中的Spring security的版本号为5.7.12最外层的pom文件中找到如下的配置，点击进入下一层的配置文件 <dependency> <groupId>org.springfram

2024-04-15 15:04:08 137

原创报错error in paramiko setup command: ‘extras_require‘ must be a dictionary whose values are strings or

【代码】报错error in paramiko setup command: ‘extras_require‘ must be a dictionary whose values are strings or。

2024-02-29 19:42:31 126

原创 Linux下创建用户并且赋root权限

可以尝试 fdisk -l 命令(该命令是root用户的才有的)执行下面的命令，如果不报错权限问题，则赋权限成功。在该文件中root用户这一行配置中添加如下即可。此时这个命令执行完成后，应该报错没有权限。不要用下面的命令，会报错该文件只读。

2024-02-29 19:35:22 580

原创连接SFTP服务器报错host key for has changed and you have requested strict checking

重装系统后修改了密码，而ssh会把每次访问过的计算机的公钥都保存在~/.ssh/known_hosts文件中，当下次访问同样的计算机时，openssh会核对公钥，如果公钥不对，会发出警告。删除~/.ssh/known_hosts文件中带有报错IP的记录即可，然后就可以重新登录了。

2024-02-22 14:26:15 479

原创 You won‘t be able to pull or push project code via SSH until you add an SSH key to your profile

报错如下。

2024-02-20 10:31:59 205

原创 xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun at:

解决方案：在命令行中输入如下命令，然后在界面上点击安装即可解决。

2024-02-19 10:10:15 171

原创 Caused by: javax.net.ssl.SSLException: Unsuppored record version Unknown-0.0

【代码】Caused by: javax.net.ssl.SSLException: Unsuppored record version Unknown-0.0。

2024-02-06 09:47:27 862

原创 linux下配置yum源便于离线安装

这样就完成了，然后根据你自己的需求，缺什么包，可以去/mnt/data1/centos7目录下去看，然后再安装这些依赖包就特别简单了。编辑的时候，可以将其它的配置都删除掉，然后配置如下即可。yum info gcc 可以查看安装包的相关信息。用 yum install xxx。

2024-02-02 09:49:06 503

原创 logstash的使用

可选项，logstash多久检查一下path下有新文件，默认15s。#可选项，logstash多久检查一次被监听文件的变化，默认1s;在conf中配置如下，这样就实现自动更新数据到es集群上了。主要是加了JSON格式的类型type=》json。

2024-01-29 16:49:20 370

原创 m2安装stable-diffusion报错及解决方案

链接: https://pan.baidu.com/s/1EBptJ2v9inq9A5LEYFfBMg 提取码: dh2b。/Users/wuzhanxi/stable-diffusion-webui，在这个目录下手动创建一个openai目录。需要手动创建openai 目录并把下载后解压的资源拖入到openai目录下面。安装sd的时候，本地你自己的目录下会同时生成一个sd的目录，我的是这样的。原因：clip-vit-large-patch14 国内已经不能访问了。原因：torch 的版本不对。

2024-01-21 14:03:51 1639

原创 Linux下防火墙的相关命令

二、启停防火墙的命令三、开放或者限制端口号1、开放端口（1）开启22端口号其中–permanent的作用是使设置永久生效，不加的话机器重启之后失效（2）重新载入一下防火墙设置，使设置生效（3）可通过如下命令查看是否生效（4）如下命令可查看当前系统打开的所有端口2、限制端口（1）限制22端口号（2）重新载入一下防火墙设置，使设置生效（3）可通过如下命令查看是否生效（4）如下命令可查看当前系统打开的所有端口三、开放或者限制IP地址1、限制IP地址访问（1）比如限制IP为192.16

2024-01-02 11:49:07 440

原创 Windows下查看删除某一个端口号

【代码】Windows下查看删除某一个端口号。

2023-12-11 09:56:42 158

原创 es集群相关报错信息

这个错误是因为在docker内部，kibana连接es的IP地址变了，去kibana的配置文件中将IP地址改到现在es的地址即可。给es集群添加用户密码的时候，会自动弹出相关的账户信息，这个时候，只需要设置对应密码就可以了。设置好账户、密码以后，再次访问es就需要账户密码登录了。修改了docker的内存，然后又报错。没有设置密码前的访问。

2023-11-28 17:02:27 398

原创 Linux下给普通用户添加sudo权限

其中，username是你要给sudo权限的普通用户的用户名。

2023-11-27 16:37:59 228

原创 es各种报错问题及解决方案20231121

报错原因：我在创建索引和字段的时候，name字段不是索引字段，当用精准查询的时候，就报错如上图所示。解决方案：将name字段设置成true，问题解决。

2023-11-21 14:42:30 2052

原创解决Python报错：InsecureRequestWarning: Unverified HTTPS request is being made to host ‘xxxxxx‘. Add

【代码】解决Python报错：InsecureRequestWarning: Unverified HTTPS request is being made to host ‘xxxxxx‘. Add。

2023-10-24 16:38:35 2453

原创 shell脚本中时间的编写规范20230902

还有一种写法就是单独获取月份：$(date “+%m”)，将其中的年去掉就可以了。简单写法是这个，直接一条命令就解决了,下面的两种写法都成。获取昨天的日期有下面的三种写法，有时间的可以多测试一下。(date “+%Y %m”) 都是可以的。下面的这两种写法都成。

2023-09-02 21:23:31 1222

原创 hive表向es集群同步数据20230830

报错原因分析：仔细看这行Error: java.lang.ClassNotFoundException: org.apache.commons.httpclient.HttpConnectionManager，原因是缺少httpclient.的jar包导致的。报错原因分析：我之前做的时候，将解压的所有包都放在hive的lib目录下了，现在看来，只需要一个即可，将其余的都删除。删除掉多余的jar包，然后在执行一次insert 语句，再进行查询，显示如下，在hive中查询是没有问题了。

2023-08-30 18:02:45 1773 1

原创 arm版Linux下安装es集群

官网地址：https://www.elastic.co/cn/downloads/past-releases#kibana。在下面的选择框中选择下载的Kibana、Logstash、Elasticsearch的版本都为7.10.2。注意：去下载安装包的时候，注意下载aarch64 格式的安装包。我是找的跟生产环境一样版本的安装包。命令：uname -a。例如我的系统版本就是。

2023-08-29 13:52:44 1075

原创 hive表的全关联full join用法

把两个表的结果拼在一行了，匹配不上的都用NULL值进行填充了，显然不是我要的结果。查询完显示如下，nice，😄。test_b表的数据如下；test_a表的数据如下。

2023-08-22 11:42:34 1427

原创 crontab下定时任务批量注释和批量放开

末行模式指的是输入 : 然后进行输入命令，如下。我就随机写了两个任务，测试成功即可。执行完命令以后，显示如下；输入命令时，显示如下；执行完成，显示如下；

2023-08-20 19:14:16 559

原创 hive修改表或者删除表时卡死问题的解决（2023-08-08）

注意：(‘EXTERNAL’=‘TRUE’)和(‘EXTERNAL’=‘FALSE’)为固定写法，区分大小写！

2023-08-08 09:46:27 910

原创 pymysql.err.InternalError:(1054,u“Unknown column ‘‘ in field list

【代码】pymysql.err.InternalError:(1054,u“Unknown column ‘‘ in field list。

2023-06-30 14:08:17 299

原创 Expression #2 of SELECT list is not in GROUP BY clause and contains nonaggregated column

经过查询资料发现group by 聚合操作的时候，进行查询操作的列没有在group by 中出现，那么这个sql就是不合法的。主要原因就是设置的与sql_mode=only_full_group_by不兼容。通过查询发现mysql5.7.5及以上的版本都会依赖检测功能,也就是默认会开启only_full_group_by。生产上的MySQL是5.7的版本，本地上是5.8的版本，然后我去查找MySQL的设置。发现我本地的设置中包含only_full_group_by这个参数。

2023-06-30 09:45:43 84

原创安装完MySQL后/var/log/mysqld.log中找不到初始密码

【代码】安装完MySQL后/var/log/mysqld.log中找不到初始密码。

2023-06-29 14:00:09 1103

原创 linux下MySQL忘记密码解决方法

但是这会儿有个问题，就是密码随机输入、不输入都可以登录进来，因为之前修改的跳过权限那一步，什么时候把跳过权限那一步注释掉还得测试。在[mysqld]的下一行输入skip-grant-tables （跳过权限认证的意思）登录MySQL的命令，提示输入密码时，直接点击enter即可。修改密码，设置一个自己喜欢的密码。

2023-06-28 13:50:40 382

原创 c/_cffi_backend.c:2:20: 致命错误：Python.h：没有那个文件或目录

有问题欢迎在下方评论交流。执行这个命令后，报错。

2023-06-27 17:49:57 636

原创 idea设置@Author文件头注释

【代码】idea设置@Author文件头注释。

2023-06-12 10:26:16 3308

原创 Error: Failed to download metadata for repo ‘appstream‘: Cannot prepare internal mirrorlist: No URLs

【代码】Error: Failed to download metadata for repo ‘appstream‘: Cannot prepare internal mirrorlist: No URLs。

2023-05-26 14:05:50 515

原创 m1下git的客户端工具及idea配置

背景：换了m2以后，好多软件都不兼容，然后同步代码的事情就一直搁置了，今天记录一下如何用客户端工具同步代码和idea中配置远程仓库第一步：下载github desktop，有针对m1芯片的，填写上你github的账户第二步：下面的三个选项，1.可以克隆一个仓库从远程仓库2.自己创建一个本地的仓库3.添加一个你自己本地已经有的仓库第三步：创建一个本地的仓库第四步：本地仓库已经建好了，可以看到下面有提交操作，右面有提交到远程仓库的操作第五步：自己多创建几个文件测试一下，提交的时候写上注释，

2023-05-26 09:26:09 772 2

原创 Read 106MB of data across network that was expected to be local Block locality metadata for table

背景：当查询impala时，警告如下；集群用了好几年了，第一次出现这样的提示，记录一下警告信息，如下图所示警告解读：当查询时有部分数据块不是本地优先读取，而是通过网络传输这样带来性能损耗。根据提示运行INVALIDATE METADATA，但是也不能解决问题有遇到一样问题的小伙伴不？need your help ，😄，有解决方法欢迎大家留言哈

2023-05-22 15:44:13 168

原创 m1安装svn

命令行输入：svn checkout -r [version] SVN的http地址你本地的文件路径。命令行输入：svn delete SVN的http地址 -m ‘内容’命令行输入：svn checkout SVN的http地址。命令行输入：svn commit -m ‘提交内容’2、提交更新过的内容到SVN项目。命令行输入：svn update。3、更新SVN项目内容到本地。命令行输入：svn info。7、版本回退，只回退一个文件。4、删除在SVN项目的文件。

2023-05-19 23:08:20 1502