- 博客(40)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 LLM预测训练集数据重复、长度超出label
遇到一个场景， 拿几条数据用LORA微调了LLM， 根据Loss看已经接近了0， 但是拿训练集里的数据预测时 ，不管怎么调节generate的参数， 预测结果总是不对， 有整段话重复生成的结果， 有不重复生成， 但是生成的结果超出了label的长度。经过排查， 原因是训练集构造的时候， 句子的结束符被attention mask掉了， 故模型在计算损失的时候， 虽然Loss为0， 但是这个loss是只计算了attention mask部分的Loss， 下述为错误代码。
2024-03-23 16:23:11
178
原创 Deepspeed 环境参数分享
1. 使用conda安装的cuda和cudnn虽然可以跑一般的训练， 但是使用deepspeed框架时还是会报一些奇怪的错误， 比如：Error building extension 'cpu_adam'，Deepspeed环境对torch, CUDA和CUDNN比较敏感， 如果不匹配会遇到很多奇怪问题， 下边分享一个经过验证的环境。链接: https://pan.baidu.com/s/1TbwfNNUKd1l0AMsM-XGiVA 提取码: aw5e。
2024-03-21 11:33:56
229
原创 python 统计列表元素在各个区间的比例
python 统计列表元素在各个区间的比例有一个列表， 需要统计列表中各个区间元素所占的比例或者总数。
2024-03-07 11:39:07
443
原创 AttributeError: module ‘torchtext‘ has no attribute ‘legacy‘
【代码】AttributeError: module ‘torchtext‘ has no attribute ‘legacy‘
2024-03-06 16:53:24
484
原创 ValueError: The length of the pixel data in the dataset doesn’t match the expected length 已解决
读取文件报错时，百度别人说加上这句就好， 确实当时解决了问题， 但后续没想到会导致别的问题， 这句意思是在。这个属性的时候， 给赋默认值， 这个属性标识。去读取数据, 关于该属性的值对应的意思详见。, 那么使用如下代码判断文件是否被压缩。这行错误的问题， 以前使用。是否被压缩， 应该使用什么。
2023-11-06 18:15:43
334
原创 pydicom读取CT值和SimpleITK读取数据结果不一致
pydicom读取CT值和SimpleITK读取数据结果不一致; pydicom读取的HU值不对;
2023-10-07 16:32:15
204
2
原创 medpy AttributeError: module ‘numpy‘ has no attribute ‘bool‘.
使用medpy计算HD距离时， 报错AttributeError: module 'numpy' has no attribute 'bool'.
2023-07-19 14:01:35
774
原创 Could not load dynamic library ‘libcudnn.so.7‘；
Could not load dynamic library 'libcudnn.so.7';cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-10.0/lib64
2023-06-17 18:06:19
203
原创 SimpleITK 获取CT spacing 底层原理
simpleITK.GetSpacing() 底层原理pydicom 获取CT数据层厚simpleTIK和pydicom获取的层厚不一致
2023-03-02 14:42:30
962
1
原创 nnDetection框架Mirror解析
框架源码中Mirror部分进行详细解析，其余部分详细解析请看博主其他文章内容，基本上每个用到的方法都进行了单独解析，请使用ctrl + f 搜索查看。进行同步镜像操作， 如下部分详细分析了镜像流程，作者利用矩阵乘法的形式快速将所有points进行镜像的思路很优雅，值得学习。进行镜像操作以及将预测。
2023-01-31 14:48:47
398
2
原创 nnDetection复现Luna16 附模型
淘论文发现nnDetection框架对肺结节的检测效果挺好，便跑了跑复现了下， 作者诚不欺人，确实挺好， 并附上我依据文档训练的模型。
2022-12-01 23:50:58
1331
28
原创 cp: cannot stat ‘xxx.dcm‘: No such file or directory
linux cp 拷贝软链接文件cp: cannot stat 'xxx.dcm': No such file or directorypython 拷贝软链接所对应的linux源文件
2022-08-30 19:42:54
2307
原创 matplotlib.pyplot.subplots 取消坐标轴显示
matplotlib.pyplot.subplots 取消坐标轴显示plt.subplots 取消坐标轴
2022-08-22 14:16:54
3421
原创 U2Net 源码解析
U2Net是由块拼接而成的U形网络，类似UNet的架构，每个块内部本身又是一个U形网络，且加入了残差块，接下来先不用把关注点放在具体的RSU内部是如何实现的，先按数据流向以及X的shape变化走一遍网络，以认识到模型是如何运作的，之后会详细解释模型内部细节。.........
2022-07-15 13:38:57
1305
原创 sh: gpustat: command not found
问题描述：使用如下命令监控GPU使用情况时， 报错：sh: gpustat: command not found watch --color -n1 gpustat -cpu --color解决办法：gpustat 是 python的一个包， 只需要使用 pip install 即可 pip install gpustat!!! 如若安装完后有如下警告：Installing collected packages: nvidia-ml-py3, blessings, gpust
2022-03-25 14:09:13
3859
原创 RTX5000安装显卡驱动 CUDA9.0 CUDNN
Linux Ubuntu16.0.4 | Ubuntu17.04，显卡：RTX5000，安装CUDA9.0，或者高显卡驱动安装低版本CUDA
2021-11-23 11:52:57
5308
3
原创 RuntimeError: storage has wrong size | Unable to load weights from pytorch checkpoint file
报错1: RuntimeError: storage has wrong size: expected 768 got 2359296报错2: Unable to load weights from pytorch checkpoint file报错场景: 使用torch.nn.parallel.DistributedDataParallel进行单机多卡模型训练, 保存的bert模型在读取的时候报上述错误, 原因是保存模型的时候使用多线程保存, 猜想是多卡同时写入, 文件在保存过程中出了问题解决
2021-11-05 18:17:58
1817
原创 多数组全排列
问题：有N个数组，每个数组中都有不同个数的元素， 现需要在每一个数组中随机选一个元素和其它元素之间之间组合， 每个数组中都需选一个，例如 li = [['a', 'b'], ['1', '2'], ['x', 'y', 'z']], 使用算法做一个全排列li = [['a', 'b'], ['1', '2'], ['x', 'y', 'z']]end = len(li)result = []path = []# 暴力回溯算法def backtracking(index): if i
2021-10-11 18:33:18
220
原创 Mac Postman response显示汉字
调试环境：客户端： Posstman服务器：python 接口场景：使用postman发送post请求给服务器后， 服务器端经过json.dumps()处理完对象后，在postman中显示汉字为Unicode编码， 想显示成汉字， 方便调试解决办法如下图所示， 在Response工具栏中选中JSON格式即可...
2021-09-26 16:59:07
599
原创 import mtcnn cannot import name ‘get_config’ from ‘tensorflow.python.eager.context’
import mtcnn 报错ImportError: cannot import name ‘get_config’ from 'tensorflow.python.eager.context’环境: tensorflow2.2, tensorflow2.3, mtcnn0.1.0>>> import mtcnnD:\anaconda\lib\site-packages\numpy\_distributor_init.py:30: UserWarning: loaded more
2021-05-25 16:29:40
20761
7
原创 python图像三维数组通透理解
python图像三维数组通透理解先说结果: 一张图片的颜色是由RGB三个通道构成, 可以把一张图片上的每一个像素点看成一个对象, 这个对象又由RGB三种颜色叠加, 即用一个一维数组表示,假如我们有一张 m * n 个像素点的图片, 那么每一行有 n 个像素, 即每一行有 n 个一维数组, 即这一行是一个二维数组, 那一张图片又有 m 行, 那么我们就得到了 m 个二维数组, 这m 个二维数组构成了一个三维数组以下图为例:红色代表 R 通道亮度值, 绿色代表 G 通道亮度值, 蓝色代表 B 通道亮度值
2021-05-12 21:43:04
3934
6
原创 pandas文件类型
pandas可以操作多种类型的文件, 为什么要有那么多种文件类型, 不可以统一成一种吗?答案当然是不可以的, 例如我们熟知的CSV, HDF5, JSON都有他们独特的优点, 这些优点又不能兼得, 我们在生产环境中一般考虑如下几个特点1. 数据文件格式是否能够跨平台2. 数据文件是否支持压缩3. 数据文件是否可读4. 数据文件是否能写入多种数据CSV: 跨平台, 支持文件压缩, 可读性高, python写入多类型数据不好区分例如:import numpy as npimport panda
2021-04-19 19:00:34
363
原创 python 面试题: 对象引用
python 面试题: 对象引用问题如下,def func(): a = [] for i in range(5): a.append(lambda x: i * x) return aresult = func()print(result[0](2))print(result[1](2))print(result[2](2))print(result[3](2))print(result[4](2))运行结果如下:88888过程分
2021-04-18 20:33:36
121
3
原创 freemarker java生成word xml格式化输出
前言： 使用freemarker技术生成word时，当文件内容是xml，如果直接使用占位符${value}换行符不生效，显示内容达不到预期效果，需要手工对xml内容进行处理，处理方法如下：代码处理：/*** xml 是格式化后的xml内容*/public String cdataXml(String xml) （// 使用windows环境的换行符 \n, 若非windows修改此处换行标示符String[] split = xml.split("\n");String...
2020-06-23 21:50:29
839
原创 eclipse4.5 Mars 安装WindowBuilder
前言： 学习过程中了解到eclipse安装visual editor可以方便桌面GUI开发，折腾了一下午也没给eclipse4.5装上，各种百度，谷歌，发现visual editor已经过时了，现在使用WindowBuilder,又折腾着去找对应的版本，好歹最后是顺利安装，特写此文为有需要的同行避雷。一：下载eclipse4.5对应的WindowBuilder版本1.8.01)官网下载 地址：https://archive.eclipse.org/windowb...
2020-06-14 17:11:37
2175
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人