- 博客(57)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 深度学习训练全面概览与特性：DeepSpeed带你轻松实现高效分布式训练
对于包含多达130亿参数的模型，可以方便地使用ZeRO驱动的数据并行，无需模型并行，而在标准数据并行下，超过14亿参数的模型就会出现内存不足的问题。例如，DeepSpeed能够在单个GPU上训练包含高达130亿参数的模型，相比之下，现有的框架（如PyTorch的分布式数据并行）在处理14亿参数模型时就可能出现内存不足的情况。尤其是ZeRO驱动的数据并行与不同类型的模型并行相结合，使得DeepSpeed能以较低的模型并行度和较高的批次大小容纳模型，从而获得显著优于仅采用模型并行的性能提升。
2024-04-09 12:00:09
667
原创 生成式语言模型预训练阶段验证方式与微调阶段验证方式
生成式语言模型，如GPT-3、BERT等，在预训练和微调阶段都需要进行验证以确保模型性能。预训练阶段通常使用大量未标注的文本数据来训练模型，以学习语言的一般特性。在这个阶段，验证的主要目的是监控模型的学习进度和泛化能力。
2024-04-02 13:51:47
764
原创 Qwen1.5的多框架部署使用指南
通过上述步骤，你可以轻松地使用vLLM和SGLang来部署和使用Qwen1.5。无论是进行聊天对话还是复杂的多轮问答，Qwen1.5都能提供高质量的语言模型服务。随着技术的不断进步，我们有理由相信，Qwen1.5将在更多领域大放异彩。在当今的技术领域，大型语言模型的应用日益广泛，而Qwen1.5作为其中的佼佼者，已经得到了多个推理框架的支持。首先，我们建议使用vLLM的0.3.0或更高版本来构建与OpenAI兼容的API服务。与vLLM类似，你需要启动一个服务器并使用与OpenAI兼容的API服务。
2024-03-28 14:18:48
990
原创 DeepSpeed-Inference的技术特点和优势
本文描述的是DeepSpeed-Inference的技术特点和优势。DeepSpeed-Inference是微软的一个开源库，旨在优化大规模模型推理的性能。
2024-03-19 17:41:46
265
原创 月度工作计划
项目总结评估项目进度和成果。分析遇到的问题和解决方案。计划调整根据项目实际情况调整下一步的工作计划。这个计划是一个大致的框架，您可以根据实际情况进行调整和优化。记得在执行过程中，定期检查项目进度，并与团队成员保持良好的沟通。
2024-03-18 15:12:15
267
原创 llama factory 参数体系EvaluationArguments、DataArguments、FinetuningArguments、FreezeArguments、LoraArgument
类是一个Python数据类，用于存储和管理与PPO（Proximal Policy Optimization）和DPO（Deep Policy Optimization）训练相关的参数。类是一个Python数据类，用于存储和管理与指定解码参数相关的参数。类是一个Python数据类，用于存储和管理与训练和评估机器学习模型输入数据相关的参数。这个类的设计是为了方便地处理和传递命令行参数或配置文件中的参数，这些参数通常用于指定模型训练过程中的各种设置。的 Python 类，该类用于处理与模型微调相关的参数。
2024-03-13 18:25:28
1334
1
原创 llama factory 是如何加载数据集 通过对数据集加载的代码的理解编写自定义数据集训练代码
是一个独立文件读取的Python函数，用于根据提供的参数加载数据集。的函数，其目的是根据给定的参数加载和预处理一个数据集。这段Python代码定义了一个名为。第一层从训练代码追踪到以下代码。第二层 阅读加载单个数据的代码。
2024-03-11 18:51:53
734
原创 llama factory学习笔记
这些命令行参数用于在单GPU上进行不同类型的模型训练，包括预训练、指令监督微调、奖励模型训练和PPO训练。首先配置accelerate,输入只有accelerate config，剩下的内容都是选项。这里我们看到llama factory的预训练也是基于lora进行预训练的。那么 接下来我们尝试多卡进行 qwen/Qwen-14B lora 预训练。如果您使用多张 GPU 训练模型，请移步。您已经成功地为多GPU训练环境配置了。
2024-03-08 19:01:40
1687
1
原创 一个量化交易系统的示例
在实际应用中，这样的系统会涉及更多的风险管理和合规性考虑，以及更复杂的交易逻辑和后处理步骤。此外，代码中的模型训练部分被注释掉了，这意味着在实际应用中，您需要训练模型并将其集成到系统中。此外，量化交易涉及高风险，因此在实际应用之前，建议进行充分的测试和验证。这段代码将交易结果保存到CSV文件中，并根据特定的条件将交易结果保存到不同的目录中，这些目录是根据最后一天的价格数据命名的。代码中的交易逻辑是一个简化的示例，它基于预测的价格和一些特定的规则来做出买卖决策。抱歉，之前的回答再次被截断了。
2024-03-08 16:29:18
1006
原创 量化交易日记 基础概念篇
这些表格和指标表明您的量化策略涉及对股票价格波动的详细分析，包括价格的高点和低点，以及可能的损失和收益。量化交易是一个不断迭代和优化的过程，需要不断地评估和调整策略，以适应市场的变化。此外，量化交易策略的成功在很大程度上取决于数据的质量、模型的适用性以及交易执行的速度和效率。您提到的两种交易模式，即“炮仗打法”和“上涨周期多次买入并限制买入总量，下跌周期一次按照预估价格严格清仓”，反映了不同的交易策略和风险偏好。根据您提供的信息，您的量化策略使用两个关键表格来跟踪交易决策和结果：预估表格和回测表格。
2024-03-07 15:26:26
604
原创 民航生成式语言模型的预训练、对齐训练和人类反馈强化学习（RLHF）阶段
在民航生成式语言模型的预训练、对齐训练和人类反馈强化学习（RLHF）阶段，都需要精心准备和选择数据集。
2024-03-06 14:37:05
365
原创 论文 Sora: A Review on Background, Technology, Limitations, and Opportunities 阅读笔记
论文提供了一个关于Sora的全面审查，Sora是一个文本到视频的生成AI模型，由OpenAI在2024年2月发布。同时，本文也讨论了Sora面临的主要挑战和局限性，如确保安全和无偏的视频生成等。最后，本文讨论了Sora的未来发展和视频生成模型的一般趋势，以及该领域的进展如何促进人与AI的交互，从而提高视频生成的生产力和创造力。具体来说，模型首先生成充满噪声的图像，然后逐步去除噪声并引入细节，直到获得清晰的图像。通过这样的压缩和切块，Sora将原始高维视频数据转换成低维的时空块表示，这有助于后续的建模过程。
2024-02-29 15:22:02
634
原创 langchain 为什么无法按照预期的效果进行回复
针对langchain训练数据可能没有涵盖到所有可能的情况，因此它可能无法对某些特定内容生成准确的回答。提出面向RAG场景生成式阅读理解数据集构建以及基于全参数量微调、profix tuning、prompt tuning、lora、qlora的微调模式。面向RAG（Retrieval-Augmented Generation）场景的生成式阅读理解数据集构建，以及基于多种微调模式的解决方案，旨在提高模型在特定垂直领域内的生成式阅读理解能力。：如果AI没有理解您的问题，尝试用不同的方式重新表述。
2024-02-22 10:04:43
353
原创 MinMaxScaler, StandardScaler数据预处理中常用的两种缩放方法，用于将数据标准化或归一化到特定的范围或分布
和是数据预处理中常用的两种缩放方法，用于将数据标准化或归一化到特定的范围或分布。这两种缩放方法的主要区别在于它们的目标和实现方式。
2024-02-06 11:51:54
1487
原创 飞桨自然语言处理框架 paddlenlp的 trainer
类是 PaddleNLP 中用于定义与训练循环相关的命令行参数的子集。这些参数用于配置训练过程的各种方面，例如输出目录、训练和评估的批处理大小、学习率、训练周期数等。类是一个用于训练和评估模型的简单但功能完整的循环。它被优化用于与PaddleNLP一起使用。飞桨（PaddlePaddle）的NLP库PaddleNLP中的。类简化了训练过程，提供了自动的批处理、模型保存、日志记录等特性。参数，以便在命令行上指定。，可以将这个类转换为。
2024-02-06 11:27:16
1910
原创 【专业技术】高效并行分布式深度学习策略，助力模型训练与量化
我们是一家专注于提供高效深度学习解决方案的专业团队，为您提供并行分布式策略、高效精调策略、大模型无损量化和高性能推理服务。我们承诺，以专业的技术、丰富的经验和热情的服务，为您提供最优质的深度学习服务。如果您有任何需求，欢迎随时咨询我们，我们将竭诚为您服务！
2024-02-05 16:15:54
787
原创 一起学习飞桨 深度强化学习算法DQN
倒立摆问题是强化学习中的一个经典问题，目标是通过在一维空间中移动车辆来保持其上方的杆保持直立。：导入PaddlePaddle的强化学习库PARL，以及其他必要的库如gym（用于环境模拟）、numpy等。函数中被使用，但在这个函数的作用域内并没有定义，它应该是从命令行参数中解析得到的。：设置一些训练过程中用到的超参数，如学习频率、记忆库大小、批次大小、学习率等。需要注意的是，这段代码中有一些拼写和格式错误，以及一些未定义的变量和函数（如。：使用argparse库解析命令行参数，这里主要是最大回合数。
2024-01-30 19:24:01
657
原创 不同的强化学习模型适配与金融二级市场的功能性建议
在考虑使用哪种模型进行股票操作时，需要考虑模型的特点、适用场景以及实现复杂度等因素。IMPALA 哪个模型适合进行股票操作。
2024-01-30 19:10:00
824
原创 市场与政策之间的博弈关系
市场与政策之间的博弈关系是一个复杂且动态变化的互动过程。在这个过程中，市场指的是由投资者组成的群体，他们的行为和预期会影响资产价格；政策则是由政府或相关机构制定的，旨在引导经济发展、稳定金融市场或实现其他宏观经济目标的规则和措施。
2024-01-09 15:13:28
373
原创 安装 TensorRT
此外，如果您已经安装了 TensorRT C++ 库，请使用 Python 包索引版本将安装此库的冗余副本，该库 可能不可取。上面的命令将拉入所有必需的 CUDA 来自 PyPI 的 Python wheel 格式的库和 cuDNN，因为它们是 TensorRT Python wheel 的依赖关系。此外，如果您有以前的 已安装的版本。如果前面的 Python 命令有效，那么您现在应该能够运行 任何 TensorRT Python 示例，以进一步确认您的 TensorRT 安装正在工作。
2023-12-20 17:44:48
1238
原创 如何理解《注意力机制真的懂得“集中注意力”吗？》
从这个结果可以看出，要想线性注意力变得稀疏，一个方向是增大 (\sigma’ \cdot \mu’)，即降低 (k’) 序列的信噪比，另一个方向则是增大 (\frac{|q’|^2}{|q’|_1})，该因子最大值是 (d^{-\frac{1}{2}})，其中 d 是 q,k 的维数，所以增大它意味着要增大 d，而增大了 d 意味着提高了注意力矩阵的秩的上限，缓解了低秩瓶颈。注意，此时的S(a)是关于β偶函数（读者不妨尝试证明一下），所以β
2023-12-12 17:40:01
1135
原创 微信文件系统中存在大量的重复内容文件，我们应该如何去除掉这些大量重复文件
微信文件系统中存在大量的重复内容文件，我们应该如何去除掉这些大量重复文件
2023-08-28 15:52:17
1004
原创 关于生成式语言大模型的一些工程思考 paddlenlp & chatglm & llama
生成式语言大模型，随着chatgpt的爆火，市场上涌现出一批高质量的生成式语言大模型的项目。近期百度飞桨自然语言处理项目paddlenlp发布了2.6版本。更新了以下特性：全面支持主流开源大模型的训练和推理；新增张量训练能力, 简单配置即可开启分布式训练；新增低参数微调能力, 助力大模型高效微调。其中chatglm与llama是生成式语言大模型中市场认可度相对较高的两款生成式语言模型。分布式多机多卡的深度学习训练有多种模式，其中概括而言是数据并行与模型并行。
2023-06-30 14:04:25
1469
1
原创 如何能基于prompt tuning v2训练好一个垂直领域的chatglm-6b
如何能基于prompt tuning v2训练好一个垂直领域的chatglm-6b首先先抛出一个问题，是不是所有的文本生成数据集都适合用chatglm 6B的模型进行微调。那我们今天找到了三个数据集，分别为百科数据集、法律问答数据集、论文题目与摘要数据集、专利名称与专利摘要数据集。官方的广告数据集是如下结构的官方的多轮对话数据集是如下结构的今天的所有实验都是探索单轮生成chatglm-6B上的适配性。ptuning chatglm 6B中有两个数据集作为标准的官方微调数据集案例。
2023-04-10 17:50:14
3583
3
原创 ptuning v2 的 chatglm垂直领域训练记录
第二我要减小十倍的学习率，观察一下减小十倍的学习率能不能提升ptuning的效果。基于终端的交互，基于简单界面的交互，基于fastapi框架提供的接口进行交互。从中国大百科爬下来的数据，有一些标题的输入是比较短的。喜欢大模型的小伙伴可以加我的 15246115202 一起交流训练大模型所需要的细节都有哪些。用这样的方式去加载已经ptuning训练好的模型就可以开始测试我们自己训练的数据集的效果了。找到了一些中国大百科的一对一对的数据集来ptuning chatglm 6B的对话模型。
2023-04-08 23:53:57
2972
1
原创 从transformers开始，哪些工作可以被看成是自然语言处理里程碑式的突破。
文本生成的含义是在某一语言数据基础上对语言的从前到后（自监督本身下行目标）、两段对齐语言序列（相互之间的文本共性矩阵计算）分布的研究实现路线。ColossalAI框架实现了原先以手动决定模型分层到基于参数量、基于模型本身算子的自动化模型分层分布式并行计算的优秀能力。场景为当同一段输入发生在不同的场景中得到的回复是不同的，于是提出了基于标签+输入的模式构建文本生成prompt迁移模型。兵无常势、事无定性。在寻找某一分布下语言与接下来即未来发生的语言之间存在的关联关系的预测，这是非结构化文本生成的定义。
2023-02-17 14:28:29
307
原创 paddle nlp taskflow 全家桶 包括代码生成与AIGC图片生成 一起探索paddle nlp 开包即用的能力吧
paddle nlp开箱即用的能力大全。可以进行代码生成与AIGC文本生成图片的能力。大家赶紧来试试吧！！！
2022-12-23 19:10:03
1293
原创 为什么我推荐你使用中国移动的九天 · 毕昇云GPU平台
添加图片注释，不超过 140 字（可选）不限制深度学习框架内置 tensorflow pytorch mxnet等常见深度学习框架，有两种访问模式，jupyterlab交互模式，vscode访问模式。分享给你一个宝藏 AI 学习和实战平台“九天·毕昇”，注册即可免费赢取 2000 个算力豆（100 小时 V100 使用时长），还可助我赢取 1000 个算力豆哦~ 九天•毕昇可以选择三个类型的设备CPU设备 2CPU核心 8GB内存VGPU设备 1CPU核心GPU设备......
2022-04-20 17:45:20
9786
23
原创 写给在写毕业论文的你们免安装深度学习线上GPU环境准备
知道大家写毕业论文都非常的着急 如果从安装环境开始就浪费了大量时间 不如去租一个免安装环境的在线GPU平台。Featurizehttps://featurize.cn?s=f4fd9c47288f4046b074084b1387acfbGPUsharehttps://www.gpushare.com/auth/register?user=15*****5202&promoterId=10840041c836&source=promoterAutodlhttps://w
2022-03-17 11:58:46
1410
原创 元宇宙中的文本处理能力架构
什么是元宇宙元宇宙是2021年由facebook创始人炒热的一个话题，在目前元宇宙形态中我们可以看到一个万物互通的新世纪的到来。那么文本在不同的分布环境中如何展现出应有的能力就是我们需要探讨的一个核心问题。当然元宇宙的载体也包括图像，视频，VR，AR。一个好的内容支撑非常的必要。自然语言处理技术可以支撑我们更好的管理内容，更好的召回内容，更好的用户留存以及用户交互。传统自然语言处理范式传统的自然语言处理范式是围绕，文本标注、小样本训练（prompt learning）、数据无监督相似度、数据自动
2021-11-11 13:15:24
1320
原创 unlim支撑垃圾短信还原器
日常生活中，因为虚拟移动基站或者是因为信息泄漏我们总会收到一些算法看不懂但是人可以看懂的短信。例如赌博/诈骗/套路贷款/等等，在这里我们利用生成式模型基于双向预训练语言模型对这些人能看懂但是分类算法看不懂的模型，进行一次还原操作。Epoch 7/20710/710 [==============================] - 107s 151ms/step - loss: 0.6680100%|████████████████████████████████████████████████
2021-09-16 13:36:00
460
4
翻译 2021-07-22 DGL 图神经网络开源工作 更新翻译
这是一个新的主要版本，包含各种系统优化、新特性和增强功能、新模型和错误修复。This is a new major release with various system optimizations, new features and enhancements, new models and bug fixes.重要改变，在pypi安装上进行了与以往安装的区分。目录Important: Change on PyPI InstallationNew Tutorials for Multi-
2021-07-22 23:15:01
825
原创 医疗信息化与医疗深度信息化
最近我们不得不思考一个深度的问题。我们医疗智能走到哪一步了。我们未来能不能通过医疗智能让医疗在社会支出占比下降至一个新的阶段。在医疗场景中，我们存在一些热岛效应，核心地区的医疗资源发部分时间是非常紧缺的。但是一些三线四线城市虽然有很好的医疗设备，但是医疗远远未达到饱和状态。所以第一个切入点一定是将医院的热度进行转流。转流到同等医疗条件的社区医院或者是二甲级医院之中。这里我们需要了解一下什么是院外导诊。...
2021-04-13 14:35:39
136
转载 飞桨进入2.0时代，他发生了什么变换？
重要更新本版本为飞桨框架v2.0的测试版，最重要的变化为API体系的全面升级以及命令式编程（动态图）能力的全面完善。本版本系统优化了飞桨基础API的目录结构，全面修复了历史遗留的相关问题，并对API做了充分补充，特别是提供了更为完善的高层API功能；同时提供了对动态图的量化训练、混合精度训练的支持，动静转换实现了完备的语法支持，并且易用性大幅提升，动态图相关功能趋于完善，推荐使用动态图模式。此外，推理库的C++接口也做了升级优化，推理库对量化模型的支持以及推理性能都有了全面增强。训练框架基础AP
2020-10-23 10:11:22
776
转载 推荐系统技术演进趋势：从召回到排序再到重排
从张俊林老师的知乎里面转载的。张俊林推荐系统技术，总体而言，与NLP和图像领域比，发展速度不算太快。不过最近两年，由于深度学习等一些新技术的引入，总体还是表现出了一些比较明显的技术发展趋势。这篇文章试图从推荐系统几个环节，以及不同的技术角度，来对目前推荐技术的比较彰显的技术趋势做个归纳。个人判断较多，偏颇难免，所以还请谨慎参考。在写技术趋势前，照例还是对推荐系统的宏观架构做个简单说明，...
2019-12-31 10:08:28
1415
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人