- 博客(270)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 任务拆解的艺术
任务拆解的艺术就是将看似庞大的工程项目或复杂的目标，通过科学的方法和智慧的策略，划分为易于管理、执行和监督的小单元，以实现最终的成功交付。在深度学习领域，这项艺术同样体现在对模型架构的模块化设计、训练流程的有序安排、技术难题的逐个击破等方面。任务拆解实际上是一个将宏观目标具象化、精细化的过程，这一过程中不仅能提升执行力和效率，也为创新提供了良好的土壤，有助于发现新的思路、技术和解决方案。
2024-02-29 00:15:00
1125
原创 Transformer编码器和解码器的输入与输出
要点：（1）解码器接收来自编码器的输出（向量）作为上下文信息(向量)（2）在解码器的"编码器-解码器注意力"子层之前，编码器的输出向量会被线性变换（通常通过两个不同的权重矩阵）分别转换为键（Keys, K）和值（Values, V）。这一变换帮助模型学习如何有效地利用这些向量来指导解码过程中的注意力分配（3）解码器在每个时间步也会生成自己的向量，称为查询（Query, Q），这代表了解码器当前状态下的注意力焦点或意图。
2024-04-25 14:02:33
532
原创 深度学习中的子空间、线性变换和矩阵概念应用
矩阵、变换和子空间是线性代数中相互关联的核心概念，它们在深度学习模型，尤其是 Transformer 模型的设计和理解中扮演着重要角色。理解矩阵、变换和子空间之间的关系对于设计和分析深度学习模型至关重要，它们提供了模型如何表示和处理数据的数学框架。
2024-04-25 10:40:51
493
原创 更全面的Embedding介绍
本文中，主要介绍计算机科学和人工智能中的Embedding。在机器学习和自然语言处理（NLP）中，embedding是一种将离散的词汇或短语表示为连续的向量的技术。这种表示方法使得机器可以更好地处理和理解语言数据。
2024-04-23 00:00:00
422
原创 注意力机制中多层的作用
在注意力机制中，多层的作用通常指的是将注意力机制堆叠在多个层上，这在深度学习模型中被称为“深度”或“多层”注意力网络。通过这种设计，每一层都在前一层的基础上提炼和组合特征，形成更加高级的表示。残差连接和层归一化确保了信息可以有效地在多层之间传递，同时避免了梯度消失的问题。这种多层结构使得注意力模型能够捕捉序列数据中的长距离依赖关系，极大地提高了模型的性能。
2024-04-22 00:15:00
934
原创 注意力（attention）机制中的线性投影和非线性投影
线性投影是实现注意力机制的基础数学工具之一，而注意力机制则是一种利用这些线性变换来指导模型聚焦于输入数据中最重要部分的技术。下面是这两者如何协同工作的更详细解释
2024-04-22 00:00:00
739
原创 Attention 、In-Context Vector与Representation Learning
上下文向量（context vector）与表示学习（representation learning）紧密相关，尤其是在自然语言处理（NLP）领域。表示学习是指通过学习将数据映射到一个合适的特征空间，使得在这个空间中可以更容易地进行数据分析和机器学习任务。上下文向量是表示学习的一种形式，它能够捕捉输入数据在特定上下文中的语义信息。Attention 机制的核心目标之一就是生成一个上下文向量（context vector）。这个上下文向量能够捕捉输入序列中与当前处理位置最相关的信息。
2024-04-21 00:30:00
1239
原创 投影与降维
数学几何意义上的投影和数据处理中的投影，核心是通过选择合适的方式减少信息维度。投影矩阵实际上是通过精心设计的线性变换，将高维数据的有效信息浓缩到一个较小子集上，从而实现数据的降维。同时，降维也是为了后续处理和分析时更加方便和高效。
2024-04-21 00:15:00
780
原创 Transformer中Input Vector到In-Context Vector的计算过程
Transformer中从输入向量到上下文向量计算的数学表达式
2024-04-20 11:22:30
626
原创 投影矩阵（Projection Matrix）
选择和设计合适的投影矩阵，实质上就是在决定如何解释和利用原始数据的内在结构与特性，从而服务于我们的数据分析或机器学习任务
2024-04-19 14:25:05
1067
原创 投影矩阵模拟人类认知中信息多元化和选择性关注能力
投影矩阵通过设计各异的线性变换来区分和聚焦不同的特征维度，以此模拟人类在认知过程中对信息进行多元化和选择性关注的能力。通过多头注意力机制，模型能够学习到如何根据不同的情境和目标，动态地分配注意力资源，从而更高效地处理复杂的序列数据。
2024-04-19 10:58:12
770
原创 深度学习发展中的继承和创新
深度学习是一步一步发展而来的，新的成就也是在原有的基础上，逐步取得突破，有一些东西是一点一点变化，突破发展而来的，也就是每一次小的突破和每一次小的突破累积起来，构成一个明显的进步。我们可以通过观察其中不变的东西，同时仔细考量其中变化的东西，我们就能够看出一些端倪，也会更有把握和信心。
2024-04-18 15:00:06
560
原创 一切皆因数据
大语言模型在自然语言处理（NLP）领域取得突破性进展的原因：总体上，基本上都与数据集有关，庞大数据集带来巨大的挑战；同时，也带来了巨大的潜在收益。可以说数据的量，带来的深度学习的质的飞跃。挑战与收益是并存的，挑战越大，收益越大！数据集推动大语言模型的根本进步！大语言模型通过结合上述技术进步，克服了传统NLP方法在复杂语义理解、上下文感知和跨任务迁移等方面的局限性，因此在多项NLP任务上实现了前所未有的性能，取得的巨大突破，并开启了NLP领域的新篇章。
2024-04-14 16:40:17
550
原创 Transformer Decoder
In the context of the Transformer model, the Decoder is responsible for generating output sequences based on the encoded input sequence and any previous generated tokens in the output sequence.
2024-04-14 10:57:06
888
原创 Insight and progress
Insight and progress are closely intertwined concepts, often seen in the realms of personal growth, scientific inquiry, and organizational development.Personal Growth: Insight refers to a deep understanding or realization about oneself, one's behaviors, em
2024-04-12 07:50:29
531
原创 函数空间的数学理论指导深度学习模型的设计和训练
函数空间的数学理论，在深度学习模型的设计和训练过程中起到了指导作用。包括：模型的架构设计、正则化、优化方法和泛化能力分析等方面。
2024-04-06 19:57:36
556
原创 范数的概念及应用
范数（Norm）在数学中是一个非常重要的概念，它主要用于度量向量、矩阵、函数或其他数学对象的大小或长度。范数在数学分析、线性代数、泛函分析、数值分析、优化理论、机器学习和统计学等多个领域中均有广泛应用，如正则化、稳定性分析、逼近理论、优化算法的设计等。
2024-04-06 10:18:12
765
原创 深度学习中的算子
在深度学习中，层是模型的构建单元，它们通过各自定义的算子作用于函数空间，将输入数据映射到越来越抽象的特征表示，直至输出层给出最终的预测结果。模型由一系列算子的组合构成，模型的整体特点和其中的构成算子有关，模型的训练也和其中的算子有关。因此有必要仔细观察并讨论一下算子。
2024-04-04 11:16:00
800
原创 泛函分析视角下深度学习模型的本质特性
泛函分析提供了一种强有力的数学语言和工具箱，能够帮助我们更好地理解深度学习模型中的结构、优化和泛化性能等问题，从而促进相关算法的设计与改进。泛函分析为深度学习提供了一套严谨的数学框架，让我们能够深入探索和解析深度学习模型的本质特性。
2024-04-04 00:30:00
529
原创 神经网络设计:（block）块视角和（layer）层视角
层视角更侧重于理解和展示模型的细节和逐步处理流程，而块视角则更偏向于实现模型结构的抽象化、模块化和高效复用，两者结合有助于构建出强大且可定制化的深度学习模型架构。
2024-04-03 16:15:10
887
原创 语言的属性与计算
大语言模型在模拟人类语言方面取得了令人瞩目的进步，但尚未完全复刻人类在使用语言过程中的所有高级认知能力和深层次理解。随着技术的发展，研究人员正致力于缩小这些差异，不断推动大语言模型向更高水平的人类语言理解与生成能力靠近。
2024-04-03 10:06:40
476
原创 A token attends to another token
In the context of a Transformer model, when a token attends to another token, it refers to the process where a token's representation (context vector) is influenced by the representations of other tokens in the sequence. This occurs through the self-attent
2024-04-02 10:31:15
561
原创 自然界中的“最小作用量原理”和“最小能量原理”
自然现象的确常常表现出遵循某种形式的“最小作用量原理”或在特定条件下体现出“最小能量原理”。这两个原理分别在不同的领域中发挥着核心作用，帮助我们理解自然界的各种现象和过程。
2024-04-02 08:17:02
328
原创 泛函分析与深度学习
泛函分析和连续优化的理论和技术为深度学习算法的改进与发展提供了宝贵的数学工具和新思路。深度学习模型往往包含大量参数和复杂的相互作用，类似于物理学中具有无穷自由度的系统。泛函分析提供的工具可用于理解和刻画这些复杂系统的行为。泛函分析为深度学习模型的理论基础和实际应用提供了强有力的支撑，有助于科学家们更深入地探索和掌握这些复杂系统的内在运行机制。
2024-04-01 21:46:26
1528
原创 Transformer解码器自回归机制详细介绍
上下文向量是Transformer理解和处理序列信息的核心工具。解码器通过自回归的方式逐步生成目标语言序列，并且实时结合源语言的上下文信息，确保翻译质量和流畅性。
2024-04-01 10:40:17
896
原创 深度模型的可微分性：泛函分析视角
可微分性在此过程中至关重要，因为它使得我们能够计算出损失函数关于模型参数的梯度，而梯度下降等优化算法正是基于此梯度信息来更新模型参数。在深度学习中，通过反向传播技术，我们可以在多层神经网络中应用变分原理的思路，逐层计算梯度并更新参数，从而实现模型的训练优化。因此，可以说可微分性和变分原理共同构成了深度学习理论和实践的重要支柱。
2024-03-30 17:09:33
1108
原创 事物的属性
事物的属性既有可能是唯一的，也可能是共享的；既有天生的属性，也有随时间和条件变化的属性；它们的来源既可以是自然界的基本规律，也可以是人类活动的影响和塑造。对事物自然属性的科学认知，不仅是人类科学知识积累和科技进步的基础，也是我们改造和适应环境、推动社会发展的重要力量。
2024-03-29 15:22:17
679
原创 数学计算与数学思想
数学计算往往是在特定数学思想指导下完成的。数学思想指导选择适当的数学方法和计算手段，而通过实际的数学计算又可以进一步加深对数学思想的理解与运用。换言之，数学思想提供了解决问题的方向和策略，数学计算则是在这些思想指引下实现问题解决方案的具体操作。
2024-03-28 21:24:02
796
原创 Queries, Keys, and Values
In the context of self-attention mechanisms in deep learning models like Transformers, the terms "query," "key," and "value" refer to different representations used for information retrieval and contextualization. A good query, key, and value representatio
2024-03-28 11:45:54
811
原创 归一化权重和概率
归一化权重和概率在概念上可以相互联系，尤其是在涉及表示相对频率、可能性或贡献程度时，两者都需要满足一定的归一化要求来确保其可比性和逻辑正确性。当权重仅表示相对重要性、资源分配、影响力等非随机性属性，或是纯粹用于规范化数据以便进一步处理时，归一化权重就不能直接与概率相联系。只有当权重明确地被设计为表示某种随机事件发生的可能性，并且满足概率的基本定义（即所有可能事件的概率之和为1），归一化权重才与概率有直接关联。
2024-03-27 17:56:02
1039
原创 词-词共现概率与Transformer
词-词共现概率是自然语言处理中衡量词语之间关联程度的一种统计方法，而在Transformer等现代深度学习模型中，这种关联性通常通过更复杂的方式建模。
2024-03-27 11:45:35
901
原创 深度学习与（复杂系统）事物的属性
深度学习以其强大的表征学习能力和对非线性、高阶交互的处理能力，为理解和操控复杂系统中的事物属性及其相互作用提供了有效工具。
2024-03-25 21:17:06
956
原创 Agent Workflows（智能体工作流）
目前，我们主要在零样本模式下使用大型语言模型（LLM），通过提供提示（prompt），模型逐词（token）地构建最终的输出内容，其间并未实施任何操作。即便面临这样的挑战，LLM 在完成此类任务时仍展现出了卓越的能力！借助智能体工作流，我们可以引导LLM对文档进行多次递进式的创作与完善。对于人工智能来说，这种迭代工作流会比单次编写产生更好的结果。值得注意的是，在应用了智能体迭代工作流时，GPT-3.5或GPT-4展现出了显著的优势，其正确率跃升至高达95.1%的程度。
2024-03-24 15:36:42
986
原创 概念与事物的属性
概念是人们对客观世界中事物属性进行高度抽象和系统化的产物，它是人类思维活动和知识构建的基础单位，为人们的思考、判断、推理和问题解决提供了有力的工具。事物的属性就像是概念的具象化表达，它把抽象的概念落实到了具体的事物之上，让概念有了实体的内容和表现形式。同时，通过对事物属性的识别和把握，我们也能够更好地理解和运用各种概念。
2024-03-23 00:15:00
1829
原创 Embeddings from Language Models
In natural language processing (NLP), embeddings are numeric representations that capture the semantic and syntactic relationships between words, phrases, sentences, or even entire documents.
2024-03-23 00:00:00
721
原创 ELMo动态词向量模型
ELMo通过结合大量文本数据训练的语言模型，实现了词义的动态性和上下文敏感性，并且能够有效地提升下游NLP任务的表现。虽然BERT后来在许多方面超越了ELMo，但ELMo仍然是推动NLP领域动态词向量发展的重要里程碑。
2024-03-22 11:08:20
1181
原创 Generative Pre-trained Transformer
Generative Pre-trained Transformer (GPT) refers to a class of deep learning models developed by OpenAI, specifically designed for natural language processing tasks. GPT models are based on the transformer architecture and are pre-trained on vast amounts of
2024-03-20 11:47:24
840
gps坐标转换软件（好用）
2009-07-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人