- 博客(3)
- 收藏
- 关注
RSS订阅原创 蒲语大模型微调系列(一)使用xtunner微调自己的大模型
final_model才是我们最终使用的模型,这一步便是提现QLaro技术,简单理解成我们额外增加了一块图，与原先的大模型知识图拼接在一起，这和全量微调不同，全量微调是不增加图的基础上去改原先的图。大体来说就是常见的比如数据集放哪里，使用什么设备训练，学习率多少，训练模型是什么，epoll训练轮数多少，优化器是什么等等，大部分不需要修改，简单修改下数据集路径，训练模型路径即可。后面就是微调一下医疗GPT，包括多模态，会更详细的介绍细节，包括硬件配置，数据集的准备和清洗，训练时长等这些我们开发者关心的问题。
2024-04-14 10:01:10
590
原创 第一节，浦语系列介绍
这次参加训练营主要在于学习如何在通用LLM的基础上微调和部署垂直领域的模型。通过第一节课的学习，了解了书生蒲语全链路开发框架，包括数据集准备，微调（Xtunnel）,推理部署（XLMDeploy），评测工具(OpenComposs),了解了InternLLM-20B及智能体，商汤的AI还是一如既往的棒！InternLM技术报告大概从网上学习了一些，比如在训练的扩展性，SFT对齐上，上下文的长度，intern-20b效果和效率都有了很大改进，因为降低模型微调和部署的门槛是我们开发者最关心的问题。
2024-04-06 15:33:04
184
原创 第二节,浦语Intern2相关模型的部署
最近参加了浦语训练营第二期，使用开发机部署了多个模型。总的来说，和大部分的模型流程部署很类似，因为之前熟悉python和conda（当然不熟悉也只需要按照给出的命令行部署即可）,所以按照说明部署，体验了一下浦语系列的模型，大部分部署使用基本都是一致的，先下载模型，比如可以先下载到本地，然后运行模型进行推理。模型文件通常是很大的，我们一般是从抱抱脸社区，魔搭社区去下载，其实都差不多，抱抱脸社区是国外的，可能需要科学上网，我们一般是从魔搭社区下载。浦语灵笔是浦语系列的多模型大模型，包含文生图和图文理解两部分。
2024-04-06 15:29:02
159
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人