- 博客(50)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 软件工程中软件维护类型包含
④预防性维护—在软件产品中的潜在错误成为实际错误前，检测并更正它们。（涉及到未来的还没做的一般为预防性维护）③完善性维护----改进交付后产品的性能和可 维护性；或变化中的环境中继续使用；（外部环境变化后系统必须要变化）①更正性维护—更正交付后发现的错误；②适应性维护—使软件产品能够在变化后。
2024-01-17 17:57:39
375
原创 报错: Caused by: com.mysql.cj.exceptions.DataReadException: Zero date value prohibited
exception 默认值，即抛出SQL state [S1009]. Cannot convert value…如果没添加“zeroDateTimeBehavior”，在操作值为0的timestamp类型时不能正确的处理。造成原因是查询表中的字段内容值存在0000-00-00 00:00:00 这样的时间戳导致的。一般处理方式为要在jdbc的连接串后面添加参数记得前面要加**&**分隔。软件平台内部在使用mysql的JDBC进行查询时提示错误。round 替换成最近的日期即0001-01-01；
2024-01-17 15:16:04
480
原创 内部软件产品数据治理平台(流程设计里，选择触发事件报错)
通过查看dp后台日志发现缺少表字段,表名称(TL_EVENT_SHADOW),需要新增字段即可。varchar(200) DEFAULT NULL COMMENT ‘对象所属项目ID’,varchar(20) DEFAULT ‘0’ COMMENT ‘空间ID’,内部软件产品数据治理平台(流程设计里，选择触发事件报错)
2024-01-15 16:07:28
458
原创 麒麟V10安装kerberos客户端
链接: https://pan.baidu.com/s/1x1YVr6r83O6HhzxHRs-jcQ?执行rpm -ivh krb5-client-1.17-9.ky10.x86_64.rpm 进行安装。执行 rpm -qa|grep krb5 查看安装状态，表示已完成。此时我们需要手动安装krb5-client 安装包链接放到了这里。会提示报错 “未找到匹配的参数:krb5-client”执行yum install krb5-devel -y。执行yum install krb5-libs -y。
2023-12-04 11:59:51
408
原创 linux Centos系统提高CPU以及内存的使用率shell脚本(转)
编写脚本完成之后执行启动命令需要携带参数（占用8个核，占用10000秒）编写脚本使其占用内存8G。
2023-11-17 14:22:05
1013
1
原创 报错缺少class(org.apache.hadoop.hdfs.DistributedFileSystem)
实则是缺少jar包 hadoop-hdfs-client-3.1.1.3.1.0.0-78.jar。找到对应的jar放到程序的lib中即可。
2023-11-15 17:58:38
338
原创 hive迁移报错(org.apache.hadoop.fs.UnsupportedFileSystemException:No FileSystem for scheme “hdfs“ )
hive相关迁移报错，提示org.apache.hadoop.fs.UnsupportedFileSystemException:No FileSystem for scheme “hdfs”经过分析之后，需要在安装的hadoop客户端中找到core-site.xml添加配置。
2023-11-15 17:55:16
110
原创 公司内部产品(数据云平台，服务管理功能api审批失败)
公司内部产品，数据云平台，数据服务功能审批失败，一直提示管理员审批失败此问题一般都是由中间件rocketmq导致的，我们可以看下数据云组件open-job的日志，日志提示。Caused by: org.apache.rocketmq.client.exception.MQBrokerException: CODE: 14 DESC: service not available now, maybe disk full, CL: 0.93 CQ: 0.93 INDEX: 0.93, maybe you
2023-11-03 16:03:47
103
原创 华为高斯数据库配置环境变量(DWS,高斯数据库，libra) 报错：sh: gsql: command not found
9:接下来需要做一些软连接的操作，切换root用户开始操作，根据报错提示缺少libpq.so.5依赖包，在之前安装的gsql客户端工具中的lib里面可以找到相关的lib创建软连接即可。10:切换客户端用户再执行gsql可以看到新的报错，还是缺少依赖包，按照第9步的操作即可，在后续的测试过程中，提示缺少什么依赖就按照如上操作即可。8:配置完成之后重新source 即可，但是在测试执行gsql命令是否生效时提示错误。2:需要和客户获取客户端安装包，我这里拿到的版本是这样的。4:编辑家目录下的配置文件。
2023-09-22 11:58:53
1177
原创 InnoDB: The Auto-extending innodb_system data file ‘./ibdata1‘ is of a different size 0 pages (round
处理方式是将mysql的datadir目录下的ibdata1、ib_logfile0、ib_logfile1 删除，再次启动即可。但是可能会影响到数据的完整性！
2023-09-08 19:37:06
488
原创 spark加工hive -＞高斯数据库报错这里记录一下排查过程(java.lang.NumberFormatException : For input string: “111 |)
*5:**修改表设计完成之后启动流程提示如下错误，这个错误是由于输出的日志格式有问题导致解析逻辑发生异常，这里需要修改spark的log4j的输出格式。首先配置映射提示了第一个错误，这个错误是由于高斯数据库的驱动包导致的，我们需要替换程序对应的驱动包到对应的lib中，根据客户获取驱动包。**2:**替换驱动包之后实际的错误并没有发生改变，但是报错由原来的中文报错切换为了英文报错。**6:**修改spark客户端配置文件。**7:**流程运行成功，数据入库成功！
2023-08-04 12:43:34
413
原创 内部-数据地图问题处理记录(公司产品)
7:启动第一个流程并且要在layers中添加参数，这里的参数是新建的目录名称然后启动流程运行成功之后需要观察表中的数据是否写入成功(datamap_entity,datamap_relation)这里是dp的后台库如果看到数据全部写入完成，并且datamap_entity中的数据是有序的，可以启动第二个流程。5:上传数据地图相关流程，按照顺序运行但是前提是要创建对应的目录，并且目录中有相关的模型以及映射，目录要按照标准规范化的方式创建。最后的运行结果如下即可，可查看数据地图功能菜单数据是否展示成果。
2023-08-01 17:59:22
63
原创 内部-数据治理平台全文检索功能调试过程记录
2:将zip包放到tomcat-dp/webapps/dig-dp/WEB-INF/classes/esWorkFlow目录中。4:使用postman手动初始化接口接口地址为:http://xxx/dig-dp/esSearch/ESInitialize。由于当前版本不支持全文检索功能，经过单独开发需要更新(依赖es中间件必须要是6版本)1:首先替换全文检索依来的jar包，涉及组件有 tomcat-dp。5:CAS_JWT_TOKEN参数的获取方式为。header里传CAS_JWT_TOKEN。
2023-07-28 15:20:51
51
原创 门户系统修改登录用户的密码之后，再次登录显示密码错误问题处理
由于个别使用人对平台不够熟悉，在修改用户的密码时没有按照标准流程进行修改，导致修改之后再次登录时提示用户名或者密码错误。2:修改对应用户的userinfo表password字段(这里需要把值修改为明文的初始密码)3:然后将对应用户userinfo表reserve3字段的值删除。4:保存之后再次登录门户系统数据库中对应的密码就会是一个加密状态。需要修改门户的后台数据库中的用户表，一般库名称是portal。1:首先要知道修改用户密码的初始密码，表名称是userinfo。
2023-07-26 17:07:17
174
原创 linux切换用户报错(su: cannot open session: System error)
linux切换用户报错(su: cannot open session: System error)处理方式是检查linux配置文件/etc/security/limits.conf。
2023-07-19 19:22:04
368
原创 Centos 7.9.2009 升级 openssh9.3p1(RPM)
安装包获取链接: https://pan.baidu.com/s/1pVpGh1V9Oh9UBd_5W1kvvA 提取码: ss1s。CentOS Linux release 7.9.2009 (Core) 升级openssh9.3(RPM)建议升级的时候多开几个窗口，并执行top命了防止回话超时窗口关闭。防止升级时候无法连接服务器。8:测试，再新建一个窗口测试连接查看是否成功。
2023-07-12 10:56:44
385
原创 视频取流抓包信息分析处理
按照国标规范，DeviceID要求 11-13位是119-129、131-134范围，还有一个137。11-13位表示数据类型。内部软件平台同步下级域失败，通过抓取国标日志显示如下。
2023-07-05 09:52:57
109
原创 nginx报错(error while loading shared libraries: libpcre2-8.so.0)
使用下载相关依赖http://mirror.centos.org/centos/7/os/x86_64/Packages/pcre2-10.23-2.el7.x86_64.rpm 使用命令: rpm -ivh pcre2-10.23-2.el7.x86_64.rpm 进行安装。如果你的服务器上有配置yum源的话，可以使用yum进行安装，只需执行命令:yum install pcre2 即可。使用用rpm部署nginx服务在Centos7.9中，启动nginx之前试用命令nginx -t进行检查。
2023-06-30 17:19:24
3916
原创 nacos2.2.3基础部署
配置自定义身份识别的key（不可为空）和value（不可为空） nacos.core.auth.server.identity.key=example。2:解压安装包 tar -xvf nacos-server-2.2.3.tar.gz。3:修改配置文件(由于2.2.3版本很多默认值默认都为空，所以需要我们手动添加一下)1:上传安装包到linux系统。nacos2.2.3基础部署。3.2开启鉴权功能设置密钥。3.1:修改数据库配置。
2023-06-15 18:19:04
4322
原创 内部软件门户系统报错(CAS is Unavailablr)
2: 是由于门户系统的配置文件有缺失修改的地方，请检查配置文件中最后一行hibernate.default_schema的名称是否与你创建的数据库名称一致。1: 是由于登录时输入用户名或者密码错误，由于之前的版本存在一些问题还未完善，密码校验功能还有bug，所以会提示这个错误；内部软件门户系统报错(CAS is Unavailablr)部署门户系统，登录成功之后俩有俩种情况会出现这样的问题。
2023-06-15 15:39:43
80
原创 Spark提交作业报错 Failed to get response。javax.net.ssl.SSLHandshakeException
公司软件平台对接华为FI集群，使用spark集群是报错，在spark客户端上执行提交命令报错如下。经过排查发现，需要修改spark客户端配置文件，问题处理完成。数据处理平台日志显示。
2023-06-13 17:54:52
160
原创 数据治理平台资源注册SFTP资源测试连接失败 java.net. Socket TimeoutException：Read timed out
数据治理平台资源注册SFTP资源测试连接失败 java.net. Socket TimeoutException：Read timed out。ClientAliveCountMax表示服务器发出请求后客户端没有响应的次数达到一定值，就自动断开。ClientAliveInterval 60表示每分钟向客户端发送一次，然后客户端响应，这样保持长时间连接的状态，SSH远程连接不断开。测试dp所在服务器通过ssh命令连接sftp服务器是否可以成功，但是特别慢。修改sftp服务器的配置文件，修改前请先备份。
2023-06-12 14:38:53
290
2
原创 linuxCentos7.9安装oracle客户端(sqluldr2)命令
将文件libnnz11.so和libclntsh.so.10.1 放到已经通过rpm安装之后路径/usr/lib/oracle/12.2/client64/lib 中。将文件sqluldr2放到已经通过rpm安装之后路径/usr/lib/oracle/12.2/client64/bin 中。5: 执行命令:source ~/.bash_profile使环境变量生效。4:配置环境变量 vim ~/.bash_profile。1:获取安装包，这里我将安装包放到了百度网盘中。
2023-05-26 22:01:10
739
原创 求助(linux系统磁盘空间清理太难了)
项目云主机发生报警(磁盘空间占用88%)但是经过du，df等命令查看没有查找到任何大文件，并且通过命令查找相关进程也没找到，下面放置一些截图信息，希望大佬看到以后可以提供一些帮助。
2023-05-12 15:45:53
55
原创 银河麒麟(4.19.90-17.ky10.aarch64)编译安装nginx1.20.2
编译nginx需要一些依赖包，需要的依赖包都在上方获取地址中，按照下面步骤一步步操作即可完成nginx的部署，祝安装顺利！部署参考 http://www.syrr.cn/news/26463.html。复制这段内容打开「百度网盘APP即可获取」
2023-05-11 16:01:32
912
3
原创 公司软件产品(添加代码集提示 ERROR c.a.d.f.l.Log4j2Filter 152 statementLogError......)
经过排查发现是由于表分区没有记录租户初始化的数据，对照portal_userinfo表中的tenant_id插入分区执行语句如下 ALTER TABLE meta_code_set_his_version add PARTITION (PARTITION p934873606423310336 VALUES IN (‘934873606423310336’));
2023-05-09 01:04:29
56
原创 公司软件产品(数据治理平台，添加事件名称提示 could not extract resultSet Sql [n / a ]......)
数据治理平台流程管理中，添加触发事件报错：could not extract ResultSet: SOL [n/a];处理方式：在dp后台库中添加字段信息。
2023-05-09 00:17:42
189
原创 请求非法！没有携带合法的身份凭证(内外网代理)
参考解释 https://blog.csdn.net/weixin_39891030/article/details/106795623。处理方式: 在nginx配置文件中的server中，添加参数 underscores_in_headers on;nginx代理报错提示。
2023-05-09 00:11:06
56
原创 公司软件系统(门户logo替换)
图片替换位置为portal/logo.png,右侧文字替换路径为portal/WEB-INF/templet/theme/portal/dp/portal.html。图片替换位置为/cas/themes/bonc/images/logo/logo.png，文字替换位置为数据库中cas.properties表。
2023-05-09 00:02:06
37
原创 mysql资源扫描同库下部分表扫描失败报错如下(未匹配到【bit】)
mysql资源扫描同库下部分表扫描失败报错如下(未匹配到[bit] 对应的逻辑类型)处理方式是通过管理员用户添加报错缺少字段。
2023-05-08 23:53:49
32
原创 数据治理平台组合加工编辑映射报错(组合加工，虚拟目标，最后一步点击完成提示readOnly marker form transaction definition....)
数据治理平台组合加工编辑映射报错(Write operations are not allowed in read-only mode (FlushMode.MANUAL): Turn your Session into FlushMode.COMMIT/AUTO orremove ‘readOnly’ marker from transaction definition)此报错需要更换dig相关依赖包。
2023-05-08 23:48:00
23
原创 国产化银河麒麟系统安装jdk(4.19.90-17.ky10.aarch64)
需要处理的方式是首先切换到root用户下执行命令whereis java 找到当前jdk安装位置。然后修改名称即可，此时需要再把普通用户下的jdk环境变量配置到 /etc/profile目录中，即完成jdk安装。这里我们不选择配置全局环境变量，只配置当前用户的环境变量。如果通过java -version查看之后没有显示对应的jdk版本如下。执行source ~/.bash_profile 命令使环境变量生效。vim ~/.bash_profile 添加如下配置。选择aarch64进行下载。
2023-05-08 17:43:13
2082
2
原创 国产化银河麒麟系统磁盘挂载(4.19.90-17.ky10.aarch64)
执行挂载命令如果fstab填写没问题则没任何信息返回，紧接着输入命令 df -h 查看挂载是否成功。银河麒麟系统磁盘挂载(4.19.90-17.ky10.aarch64)输入命令 blkid 查看UUID，以UUID的方式进行开机自动挂载。执行命令fdisk /dev/vda 进行磁盘初始化。使用命令fdisk -l 查看磁盘分布及挂载情况。将获取到的UUID信息添加到配置文件中。创建pv，vg，lv，并进行格式化。编辑文件 /etc/fstabc。之后输入命令：w进行保存。创建挂载目录 /data。
2023-05-08 17:08:08
6694
原创 Centos7 mongodb部署手册
db.createUser({user:‘用户名’,pwd:‘密码’,roles:[‘userAdminAnyDatabase’]}) //创建用户设置密码。./bin/mongo 127.0.0.01:27017 //登录数据库，这里的ip地址可以写为本机实际ip地址，端口为mongodb.conf配置文件中的port。use admin;cd /data/install/mongodb-3.6.23 //进入安装目录。mkdir DBlog //日志目录。
2023-04-27 20:52:37
140
原创 Centos系统,删除文件之后磁盘空间不释放
删除之后再执行 du -sh /home 进行查看，如果磁盘空间大小没有变化，或者变化很小的话，可能是由于当前时间还有服务在读取被删除的问题，导致磁盘空间没有释放按照以下操作方式进行。项目软件程序包部署在/home下，由于空间有限，在备份过程中发现/home的磁盘使用率达到了100%，故进行清理工作。查看本目录中各个文件夹占用空间，再结合实际情况将不需要的文件进行删除(rm -rf /home/要删除的文件名称)yum install losf 安装依赖。kill -9 deleted相关进程。
2023-04-26 12:54:06
1978
原创 数据治理平台(mysql迁移映射报错version版本问题)-The used command is not allowed with this mysql versino
MySQL load data local infile 关于ERROR 1148 (42000): The used command is not allowed with this MySQ.mysql数据库资源注册中连接正常，后端远程连接正常，并且mysql版本正确，不存在不支持的问题问题发生原因是由于MySQL的本地数据导入策略是关闭，我们只需要把这个策略打开就好了。
2023-04-24 00:06:50
104
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人