- 博客(200)
- 收藏
- 关注
RSS订阅原创 awk 获取分隔后的最后一个字符
文本示例：比如log中这样有一行文本，通过grep某个关键字得到了log中的这样一段文本，想获取这个文本最后的时间戳，可以通过下面的方式来得到。
2024-03-22 10:02:33
277
原创 RIDE控制台中文显示为乱码问题解决方案【版本1.7.4.1】
C:\Users\user_name\AppData\Roaming\Python\Python37\site-packages\robotide\contrib\testrunner\testrunnerplugin.py文件中的第80行修改，改为utf-8。
2024-03-20 16:37:19
192
原创 robotframework-去除字符串左侧的0的方法
参考文章：https://www.cnblogs.com/xiaodouzhou-123/p/10333759.html
2024-03-01 16:50:07
338
原创 修改docker默认存储位置【高版本的docker】
如"data-root": "/mnt/hdd1/docker"修改/etc/docker/daemon.json添加新的路径。
2024-03-01 15:56:46
659
原创 ai训练总结
没有精度值，看loss值，越来越小，收敛到一定规模（pretrain 0.00x，finetune收敛到1.7~1.8。参数规模：pretrain全参数量一起训练、lora是使用一部分参数来训练。pretrain和finetune的区别。batchsize算法：4*1*8卡。loss：收敛越来越小。
2024-01-08 19:10:24
432
原创 【linux】使用split命令拆分tar.gz 压缩包
https://blog.csdn.net/u011035397/article/details/119966882#:~:text=%E6%93%8D%E4%BD%9C%E6%AD%A5%E9%AA%A4%20%EF%BC%881%EF%BC%89%E6%89%93%E5%8C%85%E6%96%87%E4%BB%B6%EF%BC%9A%20tar%20-cvf%2020190816.tar%2020190816%20%EF%BC%882%EF%BC%89%E5%88%86%E5%89%B2%E6%96%
2023-12-27 16:48:16
601
原创 ubuntu修改系统默认启动的内核
如上面截图中的情况， 将GRUB_DEFAULT=2 ，修改为GRUB_DEFAULT=4。或者有2级菜单也就是有子菜单，希望修改的默认系统内核在二级菜单中。方式3：如果目标内核是在二级目录中的话，则修改为这样的样式：GRUB_DEFAULT="1> 4"希望修改系统more进入的内核，比如下图中当前进入到了88，希望进入58。方式2： 在配置文件中，不修改序号，修改为具体的系统名称。方法2：bmc中看启动选择系统内核页面中的层级及顺序。2、第一步：查看系统的内核版本有哪些以及顺序。4、修改之后更新生效。
2023-12-11 14:44:46
473
原创 正则表达式中re.match、re.search、re.findall的用法和区别
这位作者的例子写的非常好，记录一下，目前用到的比较多的是findall。
2023-10-09 15:05:25
145
原创 sed -i 使用变量进行替换
例子：将文件1.txt中的字符串 "cores":"" 替换成字符串 "cores":"1"命令：sed -i 's/"cores":""/"cores":"1"/g' 1.txt。3、如果替换的字符串内本身有双引号，需要将双引号进行转义。方法1、将变量外面用单引号、双引号的方式括起来。二、替换的字符串不是固定的字符，为一个变量。2、变量的地方用单引号和双引号共同括起来。1、最外层仍然用单引号括起来。
2023-10-07 15:44:51
837
原创 [RF学习记录][参数读取]从yaml文件读取参数变量
robotframework支持从yaml文件读取变量，对于比较多的参数，可以在yaml文件中定义好，在robot脚本中引用。文件内容如下，注意，变量和变量值之间要以4个字符分开。2、robot文件头中引入定义好的yaml文件。1、定义yaml文件。
2023-09-22 16:59:03
542
原创 [RF学习记录][ssh library][execute Command】关键字的返回值
有时候需要判断通过ssh在远程机器上执行的命令是否正常，因为。
2023-09-22 10:32:52
431
原创 【多卡训练报错】：The server socket has failed to listen on any local network address.
原因：训练的时候，已经有一张卡在执行训练，第二张卡执行训练任务时，使用了同一个端口。解决办法：修改第二张卡的端口号，与第一张卡使用的端口号不重复即可。
2023-09-18 15:40:21
3405
原创 gdb输出记录到文件中
2、#开启日志：将gdb中执行的指令和对应的输出记录下来，默认输出文件至当前目录，文件名为gdb.txt。1、进入gdb模式的某个进程中。3、#查看当前进程有哪些线程。4、#查看所用线程堆栈信息。
2023-09-15 16:38:05
448
原创 【待解决】报错：gpt模型训练的时候，有报错的torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
pytorch多GPU并行的问题_torch.distributed.elastic.multiprocessing.errors.c-CSDN博客
2023-09-14 18:38:06
1052
1
原创 【deepspeed】【训练】【交互】【wandb】训练过程中的wandb交互如何去除
完整的路径是这样的：/usr/local/lib/python3.8/dist-packages/transformers/integrations.py。log中没有显示脚本的完整路径，顺着log中前面的脚本路径，找到了这个脚本，是和框架的其他py文件在一个目录下的。
2023-09-14 17:40:35
436
原创 【deepspeed】 gpt模型训练报错run_clm_no_trainer.py: error: unrecognized arguments: --local-rank=0
报错torch.distributed.elastic.multiprocessing.errors.ChildFailedError。测试场景：使用deepspeed框架训练gpt模型。
2023-09-13 17:04:39
642
原创 robotframework 获取当前时间
命令：${time}= Get Current Date result_format=%Y%m%d%H%M%S。日期时间显示结果显示形式：20230908102553。日期时间戳结果显示形式：169408381914。1、获取年月日时分秒格式的数据。2、获取时间戳形式的数据。
2023-09-08 10:35:53
747
原创 【ssh 安装报错】Couldn‘t create temporary file /tmp/apt.conf.664cgQ for passing config to apt-key
ps -e |grep sshd #查看ssh服务是否启动 -e查看全部进程。apt install openssh-server #安装openssh-server。service ssh start #启动openssh-server。service ssh status #查看ssh运行状态。安装命令：apt install openssh-server。安装ssh的时候报错，记录一下解决办法。
2023-08-30 17:07:25
348
原创 docker 命令
docker cp test01:/mnt/test02.txt /mnt/ #由docker内向docker外拷贝。docker tag imageid dockernewname:tag #为docker重命名、加标签。docker load -i dockername #把tar包load下来，load成镜像。docker cp 1.txt test01:/mnt/ #由docker外向docker内。docker rmi modelzoo:v0429 #删除docker。
2023-08-24 19:04:13
980
原创 linux笔记
docker cp test01:/mnt/test02.txt /mnt/ #由docker内向docker外拷贝。docker tag imageid dockernewname:tag #为docker重命名、加标签。docker load -i dockername #把tar包load下来，load成镜像。docker cp 1.txt test01:/mnt/ #由docker外向docker内。2、为docker加标签、重命名。3、docker提交成镜像。7、启动、重启、停止、进入。
2023-08-24 19:01:40
347
原创 moba登录不进去提示修改问题问题解决方式
安装moba后，运行时运行不起来，提示输入密码，安装、卸载多个版本都不行。使用ResetMasterPassword工具进行重置主密码。
2023-08-21 17:11:43
128
原创 python 找不到本地的python依赖包的解决办法
python 找不到本地的python依赖包时，可以在依赖包的目录下创建一个名字为__init__.py的空文件来解决。
2023-08-08 18:21:02
363
原创 nvidia apex安装方法
注意：安装依赖包packaging，安装后仍提示找不到这个包，后通过上面的安装命令解决。2、安装时提示torch版本不匹配，更新了torch版本到2.0.0。1、这3个安装命令尝试都没有成功。三、过程中遇到的问题。
2023-08-08 18:19:41
815
1
原创 gpu 内存泄漏测试方法
定义：HBM（High Bandwidth Memory），意为高带宽存储器，是一种面向需要极高吞吐量的数据密集型应用程序的DRAM，HBM的作用类似于数据的“中转站”，就是将使用的每一帧，每一幅图像等图像数据保存到帧缓存区中，等待GPU调用。当进程稳定运行后，各指标的数据应保持稳定，如果数据的曲线出现了数据增长、缓慢增长、跳涨、波动、抖动等不稳定情况，可能存在内存泄露的问题。2、表示进程的常驻内存大小，准确表示当前有多少物理内存被这个进程消费，这个和MEM是对应的.查询方式：通过gpu的smi查看。
2023-07-27 16:36:31
379
原创 TOP命令参数详解
第四第五行分别是内存信息和swap信息，所有程序的运行都是在内存中进行的，所以内存的性能对与服务器来说非常重要。不过当内存的free变少的时候，其实我们并不需要太紧张。真正需要看的是Swap中的used信息。Swap分区是由硬盘提供的交换区，当物理内存不够用的时候，操作系统才会把暂时不用的数据放到Swap中。所以当这个数值变高的时候，说明内存是真的不够用了。2、top之后输入E，可以切换成其他单位，默认是KB，可以切换成M、G等单位，方便看使用情况。
2023-07-27 13:56:57
369
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人