- 博客(5)
- 收藏
- 关注
RSS订阅原创 accelerate.prepare(model) 程序卡住问题
一开始以为是显存不够导致它一直卡在这，但检查后发现显存足够容纳一个15G的大模型，后来在想难道是它的多卡并行与我的单卡运行冲突了，所以导致卡住了？源代码使用了accelerate库来并行加速，但是实验室的服务器由于其他人也在用，留给我的也只有一张卡，所以只能单卡运行，但遇到了卡住问题。经过调试，发现最后程序卡在了accelerator.prepare(model)这一步中。然后网上查了查，很少有资料显示它的单卡运行情况。然后遇到了程序卡住的问题。试了之后果然可以了。
2024-01-10 14:24:35
580
原创 使用qLoRA方法微调Baichuan模型
目前没有确切的量化评估方法来评估大模型的效果，根据与大模型的交互来看，大模型的回答比较流畅，问及与疾病相关的问题也会给出相应的建议。这个prompt会在每条数据前面加上，这也是原版huatuoGPT微调时使用的方法。相比于第三次微调，这次我加大了学习率和lora_rank。使用了之前的firefly开源代码（qlora方法）其中绿色的为第四次微调loss，紫色的为第三次的结果。
2023-12-26 10:57:00
407
1
原创 大模型微调训练日志#2
这个问题我在网上搜了也找不到相关的解决办法，也不懂什么意思。，说是一张4090单卡则足以微调大模型，因此决定复刻。结果：一个epoch的运行时间大概2个小时。环境的搭建和模型下载就不说了，文章里都有。
2023-12-12 10:43:13
479
原创 RuntimeError: CUDA error: an illegal memory access was encountered的解决方法
在Transformer模型中遇到这个问题参考方法：https://www.jianshu.com/p/e1a0b14916f9原因class Add_Norm(nn.Module): def __init__(self): super(Add_Norm, self).__init__() self.dropout = nn.Dropout(config.p) def forward(self, x, sub_layer, **kwargs):
2021-12-07 10:52:32
2526
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人