段智华的博客

热烈祝贺王家林大咖2020年清华大学两本新书《Spark大数据商业实战三部曲》第二版、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》出版发行，欢迎关注访问！

原创 2020年重磅喜讯！热烈祝贺王家林大咖人工智能及大数据领域经典著作《Apache Spark+AI全息代码解密》清华大学出版社发行上市!

2020年重磅喜讯！热烈祝贺王家林大咖人工智能及大数据领域经典著作《Apache Spark+AI全息代码解密》清华大学出版社发行上市!目录全息代码解密编辑推荐内容简介作者简介本书目录前言新书链接全息代码解密Apache Spark+AI全息代码解密（京东套装共2册）你需要的Apache Spark和AI技能都在这里！全程案例驱动无痛学习，动手创造自己AI框架，解密Alluxio, 抽丝剥茧学习Spark内核所有关键源码及实践优化的一切秘密https://item.jd.com/1302908

2020-12-12 09:52:10 1152 8

原创 2020年重磅喜讯！热烈祝贺王家林大咖人工智能领域经典著作《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》清华大学出版社发行上市!

2020年重磅喜讯！热烈祝贺王家林大咖人工智能领域经典著作《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》清华大学出版社发行上市!目录大咖心声新书图片内容简介作者简介目录前言/序言新书案例案例一：自研盘古人工智能框架案例二：基于Pytorch的自然语言处理模型(BERT)的应用案例案例三：人力资源主管正确评估新招聘员工薪水的案例案例四：基于Alluxio+Pytorch的深度学习案例案例五：Spark+AI实战案例新书网购链接新书资讯大咖心声数据象征空间AI代理时间

2020-10-31 08:54:56 2347 1

原创 2020年重磅喜讯！热烈祝贺王家林大咖大数据经典传奇著作《Spark大数据商业实战三部曲》畅销书籍第二版清华大学出版社发行上市! 前浪致 Spark + AI 后浪

王家林大咖清华大学新书Spark第二版已上市：致 Spark + AI 初学者前言新书介绍编辑推荐内容简介作者简介精彩章节新书目录第二版前言第一版前言Spark+AI学习路径献给Spark+AI的“后浪”新书案例讲解第二版网购链接新书资讯前言欢迎来到清华大学出版社《Spark 大数据商业实战三部曲：内核解密|商业案例|性能调优（第2 版）》新书博客！关注到Spark新书发布的每一位同学，应该是学习了很多大数据的基础知识，学习了很多人工智能的技术资料，正在寻求进一步的自我成长。在学习过程中，一定是遇到了很

2020-05-25 11:08:23 1795

原创 2020年重磅喜讯！热烈祝贺王家林大咖大数据经典传奇著作《Spark大数据商业实战三部曲》畅销书籍第二版清华大学出版社发行上市!

《Spark大数据商业实战三部曲》第二版购书链接：https://item.jd.com/12864870.html

2020-05-22 16:27:07 1221 3

原创 2018年新春报喜！热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》畅销书籍清华大学出版社发行上市!

2018年新春报喜！热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》畅销书籍清华大学出版社发行上市!本书基于Spark 2.2.0新版本，以Spark商业案例实战和Spark在生产环境下几乎所有类型的性能调优为核心，以Spark内核解密为基石，分为上篇、中篇、下篇，对企业生产环境下的Spark商业案例与性能调优抽丝剥茧地进行剖析。上篇基于Spark源码，从一个动手...

2018-02-13 19:47:15 7160 9

原创 Tricentis测试生成式人工智能系统和红队：入门指南

基于生成式人工智能的测试是指用于评估生成式人工智能系统的功能、可靠性和安全性的方法和实践。这些系统根据收到的输入生成新的内容或数据，需要严格的测试以确保它们按预期运行并且不会产生有害或意外的结果。我们将探讨推动基于人工智能的生成测试的采用的几种市场趋势。为了确保人工智能系统安全、可靠、可靠，采用彻底的测试实践至关重要，尤其是考虑到生成式人工智能的不可预测性。红队：利用红队通过模拟现实世界的攻击和意外场景来严格挑战人工智能。这有助于发现常规测试可能遗漏的漏洞。

2024-04-18 13:01:25 23

原创书生·浦语大模型实战营之Lagent & AgentLego 智能体应用搭建

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器AgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。

2024-04-17 21:30:00 797

原创书生·浦语大模型实战营之OpenXLab 部署 InternLM2 实践指南

InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。OpenXLab 浦源平台以开源为核心，旨在构建开源开放的人工智能生态，促进学术成果的开放共享。

2024-04-16 20:54:19 476

原创书生·浦语大模型实战营之XTuner多模态训练与测试

书生·浦语大模型实战营之XTuner多模态训练与测试在本节课中，我们将学习使用XTuner微调多模态LLM的内容，本部分需要的GPU资源为24GB 30% 的 A100。这是学完本节内容后的多模态LLM性能效果展示：Haotian Liu等使用GPT-4V对图像数据生成描述，以此构建出大量 – 的数据对。利用这些数据对，配合文本单模态LLM，训练出一个Image Projector。所使用的文本单模型LLM和训练出来的Image Projector，统称为LLaVA模型LLaVA: Large Lang

2024-04-16 19:45:00 32

原创书生·浦语大模型实战营之XTuner 微调个人小助手认知

书生·浦语大模型实战营之XTuner 微调个人小助手认知在本节课中讲一步步带领大家体验如何利用 XTuner 完成个人小助手的微调！为了能够让大家更加快速的上手并看到微调前后对比的效果，用 QLoRA 的方式来微调一个自己的小助手！可以通过下面两张图片来清楚的看到两者的对比。

2024-04-12 19:44:47 1038

原创书生·浦语大模型实战营之LMDeploy 量化部署 LLM-VLM 实践

书生·浦语大模型实战营之LMDeploy 量化部署 LLM-VLM 实践创建开发机打开InternStudio平台，创建开发机。填写开发机名称；选择镜像Cuda12.2-conda；选择10% A100*1GPU；点击“立即创建”。注意请不要选择Cuda11.7-conda的镜像，新版本的lmdeploy会出现兼容性问题。安装LMDeploy接下来，激活刚刚创建的虚拟环境。安装0.3.0版本的lmdeploy。

2024-04-11 18:50:31 780

原创书生·浦语大模型实战营之茴香豆：搭建你的 RAG 智能助理

书生·浦语大模型实战营之茴香豆：搭建你的 RAG 智能助理RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。

2024-04-07 22:09:56 708

原创大模型量化技术-GPTQ

（灵活可扩展，前提是准备好数据，通过字符串列表来自定义一个数据集，建议样本数不少于128（样本数太少会影响模型性能）bits=4,相比使用默认数据集，未经精心准备的自定义数据集会明显降低模型性能、auto-gptq。

2024-04-02 21:00:00 491

原创大模型量化技术-AWQ

大模型量化技术-AWQ在2023年6月，Ji Lin等人发表了论文。这篇论文详细介绍了一种激活感知权重量化算法，可以用于压缩任何基于 Transformer 的语言模型，同时只有微小的性能下降。关于 AWQ 算法的详细介绍，见。

2024-04-02 20:30:00 676

原创大模型量化技术-BitsAndBytes

是将模型量化为8位和4位的最简单选择。异常值是指大于某个阈值的隐藏状态值，这些值是以fp16进行计算的。虽然这些值通常服从正态分布（[-3.5, 3.5]），但对于大型模型来说，该分布可能会有很大差异（[-60, 6]或[6, 60]）。8位量化适用于约为5左右的数值，但超过此范围后将导致显著性能损失。一个好的默认阈值是6，但对于不稳定的模型（小型模型或微调）可能需要更低的阈值。

2024-04-02 12:42:03 108

原创书生·浦语大模型实战营之轻松玩转书生·浦语大模型趣味案例

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。整个框架图如下:流式输出：提供 stream_chat 接口作流式输出，本地就能演示酷炫的流式 Demo。接口统一，设计全面升级，提升拓展性，包括：Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽，模型切换可以游刃有余；

2024-03-31 11:17:16 429

原创书生·浦语大模型实战营之全链路开源体系

书生·浦语大模型实战营之全链路开源体系为了推动大模型在更多行业落地开花，让开发者们更高效的学习大模型的开发与应用，上海人工智能实验室重磅推出书生·浦语大模型实战营，为广大开发者搭建大模型学习和实践开发的平台，两周时间带你玩转大模型微调、部署与评测全链路。书生·浦语大模型全链路开源体系。

2024-03-28 12:48:41 413

原创大模型论文阅读：ADAPTIVE BUDGET ALLOCATION FOR PARAMETEREFFICIENT FINE-TUNING

为了以参数高效的方式学习预训练权重的增量更新，提出了许多微调方法，例如低秩增量。然而，这些方法经常将增量更新的预算均匀分配给所有预训练权重矩阵，而忽视了不同权重参数的差异性重要性，导致微调性能不足。SVD参数化：首先，AdaLoRA将权重矩阵的增量更新表示为奇异值分解（SVD）的形式，即 ( \Delta = P \Lambda Q )。这种调度器可以提高训练的稳定性并改善模型性能。AdaLoRA通过自适应地根据权重矩阵的重要性分配参数预算，有效地改善了预训练语言模型的微调性能，特别是当预算较低时。

2024-03-27 21:33:22 641

原创大模型微调PEFT调优

便可自动完成以上模型处理工作。获取当前模型占用的 GPU显存（差值为预留给 PyTorch 的显存）memory_footprint_mib = memory_footprint_bytes / (1024 ** 3) # 转换为 GBprint(f"

2024-03-18 20:13:55 103

原创全方位技术解读SORA（源自互联网资料）

全方位技术解读SORA。以上资料来自互联网资料。

2024-02-26 21:40:06 117

原创 Sora基础知识学习

SORA材料来源于互联网资料。

2024-02-22 22:00:04 213

原创 Rasa：停止构建“代理”，并推出真正有效的LLM聊天机器人

Rasa：停止构建“代理”，并推出真正有效的LLM聊天机器人最初“大模型可以做任何事情”的宣传已经过时。工程师们现在正忙于运行真正的应用程序。如果你已经完成了打地鼠游戏、调整体温、在文本中添加另一种提示技术，并希望你的应用程序这次能够正常工作，那么你可能会想尝试一下Rasa发布的CALM开发版。每当用户与LLM代理交互时，LLM代理都会动态地计算出它们的业务逻辑，可以在整个互联网上导航，为我们做任何事情。但商业聊天机器人根本不是这样的。

2024-02-20 20:15:00 236

原创 LangChain 2024 最新发布：LangGraph 多智能体工作流（Multi-Agent Workflows）

当我们谈论“多智能体”时，我们谈论的是多个独立的参与者，这些参与者由以特定方式连接的语言模型提供支持。每个代理都可以有自己的提示、LLM、工具和其他自定义代码，以便与其他代理进行最佳协作。什么是多个独立代理？这些代理是如何连接的？这种想法非常适合图表示，例如由LangGraph 提供的图表示。在此方法中，每个智能体都是图中的一个节点，它们的连接表示为一条边。控制流由边管理，它们通过添加到图的状态进行通信。注意：这里一个非常相关的概念是状态机的概念，我们明确地将其称为认知架构的一个类别。

2024-01-27 12:52:52 747

原创 LangChain v0.1.0：大模型应用技术革新的里程碑

LangChain已经存在了一年多一点，随着LangChain成长为构建LLM应用程序的默认框架，LangChain已经发生了很大的变化。正如LangChain一个月前预览的那样，LangChain最近决定对LangChain架构进行重大更改，以便更好地组织项目并加强基础。分离出langchain-core分离出langchain-community 和 standalone partner packageslangchain-core包含主要的抽象、接口和核心功能。

2024-01-10 20:15:00 612

原创 Mixtral: 专家云集高质量的稀疏专家组合

Mixtral: 专家云集高质量的稀疏专家组合Mistral AI 继续履行其使命，为开发者社区提供最佳的开放模型。人工智能的发展需要采取新的技术转向，而不仅仅是重用众所周知的架构和训练范式。最重要的是，需要让社区从原始模型中受益，以促进新的发明和使用。Mistral AI 团队自豪地发布了 Mixtral 8x7B，这是一个具有开放权重的高质量稀疏专家模型（SMoE）混合。在 Apache 2.0 下获得许可。

2023-12-15 19:45:00 1097

原创大模型Transformer 推理：kvCache原理浅析

大模型Transformer 推理：kvCache原理浅析在采样时，Transformer模型会以给定的提示/上下文作为初始输入进行推理（可以并行处理），然后逐一生成额外的标记来继续完善生成的序列（体现了模型的自回归性质）。在采样过程中，Transformer会执行自注意力操作，为此需要给当前序列中的每个元素（无论是提示/上下文还是生成的标记）提取键值（kv）向量。这些向量存储在一个矩阵中，通常被称为kv缓存或者past缓存（开源GPT-2的实现称其为past缓存）。past缓存通常表示为：[batch,

2023-12-15 19:30:00 1416

原创 RoPE旋转位置编码浅析

RoPE旋转位置编码浅析本文介绍了旋转位置编码RoPE在大模型中的广泛应用，包括Llama、Mistral 7B、Baichuan、ChatGLM、Qwen、…等。由于计算资源限制，大模型通常在较小的上下文长度中进行训练，导致在推理超出预训练长度时性能显著下降。为了解决这个问题，涌现了许多基于RoPE的长度外推工作，旨在让大模型在预训练长度之外取得更好的效果。RoPE将相对位置信息集成到自注意力中，具有较好的位置外推性，并可与Flash-Attention v2配合使用，提升模型训练速度约20%.

2023-12-04 16:56:50 1258

原创 Mistral 7B 比Llama 2更好的开源大模型（四）

transformer在长序列上速度慢且内存消耗大，因为自注意力的时间和内存复杂度在序列长度上是二次方。近似注意力方法试图通过权衡模型质量来降低计算复杂度来解决这个问题，但往往无法实现整体加速。本文认为，缺失的一个原则是使注意力算法IO感知-考虑GPU内存级别之间的读写。本文提出FlashAttention，一种io感知的精确注意力算法，使用分块来减少GPU高带宽内存(HBM)和GPU片上SRAM之间的内存读/写数量。

2023-11-20 21:30:00 750

原创 Mistral 7B 比Llama 2更好的开源大模型（三）

只使用单个键值头的多查询注意力（MQA）大大加快了解码器推理的速度。然而，MQA可能会导致质量下降，而且更严重的是，为了更快的推理而训练单独的模型可能是不可取的。论文（1）提出了一种使用5%的原始预训练计算将现有的多头语言模型检查点升级为具有MQA的模型的方法，以及（2）引入分组查询注意力（GQA），这是多查询注意力的一种推广，它使用中间数量（多于一个，少于查询头的数量）的键值头。我们表明，经过训练的GQA以与MQA相当的速度实现了接近多头注意力的质量。

2023-11-16 21:00:00 1294

原创 Mistral 7B 比Llama 2更好的开源大模型（二）

Mistral 7B是一个70亿参数的语言模型，旨在获得卓越的性能和效率。Mistral 7B在所有评估的基准测试中都优于最好的开放13B模型（Llama 2），在推理、数学和代码生成方面也优于最好的发布34B模型（Llama 1）。Mistral 7B模型利用分组查询注意力（GQA）进行更快的推理，再加上滑动窗口注意力（SWA），在降低推理成本的情况下有效处理任意长度的序列。

2023-11-14 21:00:00 735

原创 Mistral 7B 比Llama 2更好的开源大模型（一）

Mistral 7B 简介。

2023-11-13 12:55:34 878

原创 GPT-3 内幕机制可视化解析

GPT-3是一个基于Transformer的语言模型，通过不同的层次提取语言不同层面的特性，构建整个语言的语义信息，它学习的过程跟人类正常学习的过程是类似的，开始的时候是一个无监督预训练，如图5-5所示，GPT-3模型可以将网络上的所有文档下载下来，包含 3000 亿个文本标记的数据集用于生成模型的训练示例，通过遮住下一个词的方式来训练模型，然后进行预测，如果模型的预测是正确的，那么这是一个很好的结果；第2步是计算预测，这是一个等级性的结构，提取了不同层面的信息；图5- 6 GPT-3模型的无监督预训练。

2023-10-23 20:59:21 284 1

原创 GPT-2源码实现及GPT-3、GPT-3.5、GPT-4及GPT-5内幕解析

当然，使用10页左右的写作来测试ChatGPT并不算是极限，但是，可以问一些简单的问题，然后经过几轮对话，如果具有上下文，尤其是有序列的上下文，对提示词的管理就非常重要。本节主要是跟大家剖析 GPT内部的源码，在进入源码及运行项目之前，我们先思考一下ChatGPT的机制，ChatGPT默认情况下使用的模型是GPT-3.5，作者在日常工作中使用的模型是GPT-4，在做一些研究的时候，会涉及大量的长文本，无论是推理能力，还是逻辑分析能力，GPT-4信息产出的质量都明显高于GPT-3.5。图5- 3 模型微调。

2023-10-23 20:56:46 282

原创 Rasa：使用大语言模型进行意图分类

LLM意图分类器是一种全新的意图分类器，利用大型语言模型（LLM）来对意图进行分类。在使用LLM进行意图分类时，可以自定义提示（prompt），以指导LLM预测消息的意图。在Rasa的最新版本（3.x）中，引入了一种新的意图分类方法，即使用大型语言模型（LLM）和一种称为检索增强生成（RAG）的方法进行意图分类。要在的机器人中使用基于LLM的意图分类器，需要在config.yml文件中添加LLMIntentClassifier。这是因为LLM生成的响应与现有的意图进行映射，防止任何提示泄露给用户。

2023-09-17 18:30:00 2589 1

原创 Rasa Labs：构建对话式人工智能的未来

Rasa Labs：构建对话式人工智能的未来Rasa公司一直以创新为先导，通过探索新颖且前沿的方式，帮助客户实现对话式人工智能的突破。为了延续创新传统，Rasa公司推出了Rasa Labs计划，邀请客户共同构建对话式人工智能的未来。

2023-09-17 12:45:00 331

原创 LangChain源码逐行解密之系统（三）

第二点，作者认为更为重要的是，你可以根据自己企业的业务需求，通过替换模型和工具，将LangChain打造成一个根据自己企业业务定制化的工具，而你要实现的，一个比较高级的理想状态，就是完成这幅图，如图20-22所示，它有一个关键的组件叫做自我反思（self reflection），它会对你的结果进行评估，并不断进行改进，以提升整个模型的性能。这显然是我们之前详细讲解过的run方法的实锤铁证，在AutoGPT的内容中，我们非常清楚地介绍了它的while 循环，只不过这个使用的例子是AutoGPT。

2023-08-17 20:54:37 302

原创 LangChain源码逐行解密之系统（二）

接着，创建了一个包含查询参数的params字典，其中包括搜索词和其他关键字参数，发起一个 POST 请求到google.serper.dev，并传入请求头和查询参数，然后检查响应的状态码，如果状态码表示请求成功，将响应的 JSON 数据解析为字典，最终返回搜索结果的字典。当然，你也可以使用async的方式进行操作，使用_async_google_serper_search_results函数，它会用异步非阻塞的方式，其过程是一致的。它接受一个查询字符串作为参数，并返回一个字符串，表示查询结果的 JSON。

2023-08-17 20:52:45 925

原创 LangChain源码逐行解密之系统（一）

第二个元素是工具，我们可以将所有关于API的调用、数据的封装和第三方库的库，都视为工具的调用，当然，这是一个与环境进行交互的过程。可以使用链（Chain）级别的工具，也可以使用两个工具，一个是用于搜索的工具，一个是与数据库交互的工具，语言模型怎么知道何时进行搜索，何时调用数据库呢？当然，根据你具体的业务场景和私有数据，大概率你会开发自己的工具。自我反思的基本前提是进行评估，无论是通过评估，还是自我反思，都是由我们的语言模型操作的，包括Actor（行动者），它具体执行一些规划等相关操作，也是基于语言模型的。

2023-08-17 20:50:39 395

原创 LangChain源码逐行解密之prompts（三）

similarity_search方法是一个抽象方法，我们可以看一个similarity_search方法的具体实现，例如opensearch_vector_search.py的similarity search方法，它会调用similarity_search_with_score方法，然后调用_raw_similarity_search_with_score方法，在向量存储中进行相似性搜索，支持多种搜索类型，包括近似搜索、脚本评分和Painless脚本等，这是属于NLP的一些基础的内容。

2023-08-13 18:57:17 259

原创 LangChain源码逐行解密之prompts（二）

如果example_selector属性不为None，则通过调用example_selector.select_examples(kwargs)来选择示例，并返回选择的示例列表； format：几乎所有的应用程序中，你都会看见这个format，从控制台的角度来看，它会生成最终的字符串，也就是你要输入到大型语言模型中的提示内容，即所谓的Prompt。然后，返回格式化后的字符串。特别是我们之前从原理的角度讨论过一个问题，对于大型模型来说，如果你只给它一些少量的示例，例如1到3个示例，它的性能就会显著提升。

2023-08-13 18:55:03 276