山顶夕景-CSDN博客

原创【序列召回推荐】(task6)多兴趣召回Comirec-SA

- Comirec-SA基于attention的多兴趣建模，论文中先通过attention提取单一兴趣，再推广到多兴趣建模。另外使用贪心算法优化带有准确度+多样性的目标函数。- DR把MIND的attention换成argmax（还是初始化方式改了），SR则本质是多头注意力进行多兴趣建模。- `torch.einsum`（Einstein summation convention，即爱因斯坦求和约定）可以写tensor运算和更高维度tensor写法更加简洁，如用`torch.einsum("bij, b

2022-11-30 02:48:48 756

原创【论文笔记】GraphSAGE：Inductive Representation Learning on Large Graphs（NIPS）

- GCN不能泛化到训练过程中没有出现的节点（即属于 $transductive$ 直推式学习，若加入新节点则需要重新训练模型），既然有新增的结点（一定会改变原有节点），那就没必要一定得到每个节点的固定表示。而GraphSAGE就是为了解决这种问题，利用Sample（采样）和Aggregate（聚合）两大核心步骤，通过利用学习到的聚合函数，得到一个新节点的表示。- 本文先介绍GraphSAGE向前传播过程（生成节点embedding），不同的聚合函数设定，然后介绍无监督学习和有监督学习的损失函数和参数学习

2021-10-06 21:11:58 1741 12

原创解决报错OSError: cannot write mode RGBA as JPEG

# 一、问题描述如题：解决报错OSError: cannot write mode RGBA as JPEG，这个错误是在下面代码中出现的：```pythonfrom PIL import Image# 打开图片root_path = "xx"this_image_path = root_path + "example3/4.png"img = Image.open(this_image_path) # .convert('RGB')this_save_path = root_path +

2024-04-08 21:13:28 432

原创【LLM多模态】Cogvlm图生文模型结构和训练流程

Cogvlm模型共包含四个基本组件：ViT 编码器，MLP 适配器，预训练大语言模型（GPT-style）和视觉专家模块。- ViT编码器：在 CogVLM-17B 中，采用预训练的 EVA2-CLIP-E。也就是上图将图片进入vit encoder编码。在CogVLM-17B中，移除了ViT编码器的最后一层，因为该层专注于整合[CLS]特征以用于对比学习。- MLP 适配器：MLP 适配器是一个两层的 MLP（SwiGLU），用于将 ViT 的输出映射到与词嵌入的文本特征相同的空间。注：所有的图像特

2024-03-24 16:29:49 1262 1

原创解决nvidia-smi无进程，但GPU显存被占用的情况

# 一、问题描述如题，解决nvidia-smi无进程，但GPU显存被占用的情况。# 二、解决方案```python# 查看没有显示出来的进程fuser -v /dev/nvidia*# Kill掉sudo kill -9 pid```如果要`kill`的进程特别多，可以用以下的python脚本：```pythonimport ospid = list(set(os.popen('fuser -v /dev/nvidia*').read().split()))kill_cmd =

2024-03-24 10:35:44 268 1

原创【LLM】LLama2模型（RMSNorm、SwiGLU、RoPE位置编码）

预训练语言模型除了自回归（Autoregressive）模型GPT，还有自编码模型（Autoencoding）BERT[1]、编-解码（Encoder-Decoder）模型BART[67]，以及融合上述三种方法的自回归填空（Autoregressive Blank Infilling）模型GLM（General Language Model）[68]。ChatGPT的出现，使得目前几乎所有大语言模型神经网络结构趋同，采用自回归模型，基础架构与GPT-2相同，但在归一化函数、激活函数及位置编码等细节方面有所

2024-03-16 22:18:56 773 1

原创【LLM加速】注意力优化（基于位置/内容的稀疏注意力 | flashattention）

note（1）近似注意力：Routing Transformer采用K-means 聚类方法，针对Query和Key进行聚类，类中心向量集合为其中k 是类中心的个数。每个Query 只与其处在相同簇 (Cluster) 下的Key 进行交互。Reformer 则采用局部敏感哈希 (Local-Sensitive Hashing，LSH) 的方法为每个Query 选择Key-Value 对。其主要思想是使用LSH 函数对

2024-03-16 17:15:49 783

原创【他山之石】BlueLM蓝心大模型的落地

# note- 预训练：我们采用了混合精度训练以及梯度缩放策略，因为这可以减少训练周期，训练周期较少会节省模型训练所需的时间和资源。选择回放训练能够让模型定向学会一类知识信息。Loss 预测确保在训练过程前对损失进行估计，以保证训练过程中的损失符合我们的预期，最终收敛较好的结果。- SFT微调：采用了“target only loss”方法，并通过聚类分析对指令进行了适应性处理，以更好地确保模型的均衡性。- RLHF对齐：人类价值对齐阶段，我们采用了离线采样策略和双重奖励模型等策略，会在安全性上明显提

2024-03-14 00:29:44 924

原创【LLM】Advanced rag techniques: an illustrated overview

RAG中的智能体(Agents in RAG)OpenAI 助手基本上整合了开源 LLM 周边工具——聊天记录、知识存储、文档上传界面。最重要的能力还是function call。在 LlamaIndex 中，有一个 OpenAIAgent 类将这种高级逻辑与 ChatEngine 和 QueryEngine 类结合在一起，提供基于知识和上下文感知的聊天，以及在一个对话轮次中调用多个 OpenAI 函数的能力，这真正实现了智能代理行为。【栗子】多文档智能体在每个文档上初始化一个Agent（Open

2024-03-10 18:04:01 865

原创【RAG】Chain-of-Verification Reduces Hallucination in LLM

相关工作大多数减少幻觉的方法大致可分为三类：训练时校正、生成时校正和使用工具。在训练时校正方法中：尝试通过训练或以其他方式调整模型权重以降低幻觉生成的概率来改进编码器-解码器或仅解码器语言模型的原始从左到右生成。这包括使用强化学习（Roit et al., 2023；Wu et al., 2023）、对比学习（Chern et al., 2023b；Sun et al., 2023b）和其他方法（Li et al., 2023）。在生成时校正中：一个共同的主题是在基础 LLM 的“之上”做出推理决策

2024-03-10 16:37:07 1094

原创【多模态LLM】(task1)Sora相关技术路径

一、Sora是什么?Sora是text-to-video模型 (可能是世界模型)，OpenAl的研究人员选择这个名字,因为它“唤起了无限创造力潜能”，特点是: 创建最多60秒的视频,高度详细的场景,复杂的多相机视角以及富有情感的多角色。Sora官网链接:https://openai.com/sora优点：连续多帧的视频。视频融合。同一场景的多角度/多镜头的生成能力。人和其他场景元素在三维空间中一致移动。支持任意分辨率，宽高比的视频输出。缺点：对物理规律的理解仍然有限。Sora能力总

2024-02-29 00:32:42 769

原创终端启动jupyter notebook更换端口

一、问题描述如果尝试在端口 8889 上启动 Jupyter Notebook 但最终启动在了 8890 端口，这通常意味着 8889 端口已经被占用。要解决这个问题，可以尝试以下几种方法来关闭占用 8889 端口的进程。1. 查找并终止占用端口的进程首先，需要找出哪个进程正在占用 8889 端口。打开终端或命令行界面，然后根据操作系统使用以下命令：对于 macOS 和 Linux：lsof -i :8889这将列出所有占用端口 8889 的进程。会看到一些列，其中包含进程的 ID（PID

2024-02-24 11:51:57 666

原创【记录】个人博客或笔记中的数学符号设定

# note- 这里记录个人博客中常用的数学符号数学格式和对应含义@[toc]# 数与数组$$\begin{array}{ll}\boldsymbol{\alpha} & \text { 标量 } \\\boldsymbol{\alpha} & \text { 向量 } \\\boldsymbol{A} & \text { 矩阵 } \\\mathbf{A} & \text { 张量 } \\\boldsymbol{I}_n & n \text { 行 } n \text { 列单

2024-02-17 10:37:29 1228

原创【NLP】MHA、MQA、GQA机制的区别

MHA机制（Multi-head Attention）MHA（Multi-head Attention）是标准的多头注意力机制，包含h个Query、Key 和 Value 矩阵。所有注意力头的 Key 和 Value 矩阵权重不共享MQA机制（Multi-Query Attention）MQA（Multi-Query Attention，Fast Transformer Decoding: One Write-Head is All You Need）是多查询注意力的一种变体，也是用于自回归解码的一

2024-02-16 17:08:59 704

原创【LLM-RAG】BGE M3-embedding模型（模型篇|混合检索、多阶段训练）

M3-Embedding联合了3种常用的检索方式，对应三种不同的文本相似度计算方法。可以基于这三种检索方式进行多路召回相关文档，然后基于三种相似度得分平均求和对召回结果做进一步重排。多阶段训练过程：在这里插入图片描述第一阶段：第一阶段的自动编码预训练采用的是RetroMAE，在105种语言的网页跟wiki数据上进行，从而获得一个基底模型第二阶段：在第一个数据源的弱监督数据进行预训练，这阶段的损失损失只考虑基于稠密检索的对比学习损失。最后第三阶段会在第二，三个数据源的监督数据进行训练，这阶段

2024-02-16 16:01:32 2534

原创【leetcode994】腐烂的橘子（BFS）

首先将所有烂橘子入队，然后常规BFS遍历，注意while的截止条件除了队列为空，新鲜橘子数量大于0（没新鲜橘子也没必要继续遍历，保证时间计算的正确性），这两者一个不满足就可以停止每分钟进行一次【腐烂扩散】，使用BFS对二维图进行遍历，注意和二叉树的层次遍历不一样（二叉树则是只有一个根节点，这里可能有多个腐烂橘子-根节点）。auto [x, y] = q.front()是C++17引入的新语法，结构化绑定，可以从数组、元组或结构体中一次性解包多个值，并将他们绑定到多个变量上，比如这里就是声明了x和y变量，

2024-02-16 11:34:41 464 1

原创【Python】单元测试unittest框架

使用unittest框架进行单元测试是Python标准库的一部分，提供了编写测试用例、测试套件以及运行测试的能力。测试用例是继承自unittest.TestCase的类。在这个类中，你可以定义一系列的方法来测试不同的行为。每个测试方法都应该以test开头。下面代码是一个简单的测试用例# test-单元测试import unittest# 子类必须继承unittest.TestCase类class TestMethod(unittest.TestCase): # 每个测试方法都需要以tes

2024-02-12 12:00:31 1160 1

原创解决ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option

一、问题描述一个很简单的步骤：在datagrip中mysql数据库中建表后想导入本地csv数据文件到该表中，发现报错：ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option。二、解决方法在mysql环境中使用show variables like "secure_file_priv";查看变量参数，如果参数值是null则说明没有设置该选项，如果该参数是个特定文件路径，则需要将文件放在该文件中

2024-02-12 10:48:45 454

原创【思考】打工者思维VS创业者思维

创业者思维是指一种特定的思维方式和心态，通常与创业者的特质和行为相联系。它包括以下几个方面：创新和机会观察：创业者思维强调对新的机会和创新的敏锐观察力。创业者寻找新的商机，发现问题和需求，并提出创新的解决方案。主动性和积极性：创业者思维鼓励积极主动地采取行动，不等待机会而是创造机会。创业者愿意承担风险，勇于面对挑战，并抓住机遇。目标导向和结果导向：创业者思维注重设定明确的目标，并通过制定计划和策略来实现这些目标。他们关注工作的结果和成果，不满足于现状，不断追求卓越。自信和决心：创业者思维信心十足，

2024-02-09 23:56:12 687

原创【LLM多模态】Cogview3、DALL-E3、CogVLM、LLava模型

丹青模型基于原生中文语料数据及网易自有高质量图片数据训练，与其他文生图模型相比，丹青模型的差异化优势在于对中文的理解能力更强，对中华传统美食、成语、俗语、诗句的理解和生成更为准确。VisualGLM 是一个依赖于具体语言模型的多模态模型，而CogVLM则是一个更广阔的系列，不仅有基于GLM的双语模型，也有基于Llama2系列的英文模型。之前的多模态模型：通常都是将图像特征直接对齐到文本特征的输入空间去，并且图像特征的编码器通常规模较小，这种情况下图像可以看成是文本的“附庸”，效果自然有限。

2024-01-30 22:57:32 1679

原创【RL】(task5)PPO算法和代码实现

分为三个步骤step1 我做你看：有监督学习，从训练集中挑出一批prompt，人工对prompt写答案。其实就是构造sft数据集进行微调。step2 你做我看：奖励模型训练，这次不人工写答案了，而是让GPT或其他大模型给出几个候选答案，人工对其质量排序，Reward model学习一个打分器；这个让机器学习人类偏好的过程就是【对齐】，但可能会导致胡说八道，可以通过KL Divergence等方法解决。instructGPT中奖励模型的损失函数如下，其中 rθ(x,y) 是奖励模型对提示x和完成y的标量

2024-01-30 00:19:21 784

原创【RL】(task4)DDPG算法、TD3算法

一、DDPG算法DDPG（Deep Deterministic Policy Gradient）算法DDPG算法是一种结合了深度学习和确定性策略梯度的算法。它主要解决的是在连续动作空间中，智能体（agent）如何通过不断尝试来学习到一个最优策略，使得在与环境交互的过程中获得最大的回报。深度学习：使用深度神经网络来近似表示价值函数和策略。确定性策略：不像一些随机策略，确定性策略为每个状态输出一个确定的动作，这样更容易进行优化。策略梯度：通过计算策略的梯度来更新策略，使得策略朝着更好的方向改进。

2024-01-25 00:27:37 476

原创【RL】(task3)A2C、A3C算法、JoyRL

在强化学习中，有一个智能体（agent）在某种环境中采取行动，根据其行动的效果获得奖励。目标是学习一种策略，即在给定的环境状态下选择最佳行动，以最大化长期累积的奖励。A2C（Advantage Actor-Critic）Actor-Critic 框架：A2C 基于 Actor-Critic 框架。在这个框架中，有两个主要部分：Actor 和 Critic。Actor 负责选择行动，Critic 评估所选行动的好坏。简单来说，Actor 是决策者，而 Critic 是评价者。Advantage 概念

2024-01-21 22:17:18 503

原创【LLM-agent】function call功能、AgentTuning微调

function call本质：准确识别用户的语义，将其转为结构化的指令，其中通过LLM理解指令和上下文判断需要调用哪个函数、抽取出input中函数所需的参数。是用户和界面交互方式产生质变的一个trick。所以为了提高模型准确识别和调用函数的能力，如agenttuning就是利用多个agent任务交互轨迹，对LLM进行sft微调.gpt中的function call可以让开发者在调用 GPT-4 和 GPT-3.5-turbo 模型时，描述函数并让模型智能地输出一个包含调用这些函数所需参数的 JSON

2024-01-21 14:46:16 2058 2

原创【RL】(task2)策略梯度算法

策略梯度（Policy Gradient）算法是一类用于解决强化学习问题的算法，它通过直接对策略进行参数化，并利用梯度上升的方法来优化策略参数，从而最大化期望回报。策略梯度算法：智能体的行为策略决定了它在环境中的行动，而策略的参数化表示则决定了行为策略的具体形式。智能体的目标是找到一组最优的策略参数，使得在遵循该策略与环境交互时，能够获得最大的累积奖励。策略通常表示为一个参数化的概率分布，智能体根据这个分布来选择动作。例如，如果我们有一个离散的动作空间（如上下左右移动的动作），策略可以是动作的概率分布；

2024-01-20 16:51:23 972

原创【RL】(task1)马尔科夫过程、动态规划、DQN

一、马尔科夫过程递归结构形式的贝尔曼方程计算给定状态下的预期回报，这样的方式使得用逐步迭代的方法就能逼近真实的状态/行动值。有了Bellman equation就可以计算价值函数了马尔科夫过程描述了一个具有无记忆性质的随机过程，未来状态只依赖于当前状态，与过去状态无关，类似于一个人在空间中的随机游走。二、动态规划动态规划：多阶段决策问题的方法，它将问题分解为一系列的子问题，并通过保存子问题的解来构建整体问题的解。贝尔曼方程类比于回报公式��=��+1+��+1

2024-01-16 00:10:20 947 1

原创【LLM】2023年十大高影响力AI论文

Pythia — 大模型该如何训练？《Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling》Llama 2 — 开源模型之王《Llama 2: Open Foundation and Fine-Tuned Chat Models》QLoRA — 高效微调《QLoRA: Efficient Finetuning of Quantized LLMs》BloombergGPT — 垂直领域大

2024-01-14 23:36:31 1065

原创【工具】tmux简单用法

tmux 是一个终端复用工具，允许你在单个终端窗口中运行多个终端会话，并在它们之间切换。它提供了分割窗格、多窗口和会话管理等功能，使得在终端中更加高效地工作。以下是一些 tmux 的基本概念和简单应用：会话 (Session):一个 tmux 会话是一个独立的工作环境，可以包含多个窗口。你可以创建、关闭、切换会话，以便在不同的工作环境之间切换。窗口 (Window):一个 tmux 窗口是一个终端界面，可以包含一个或多个面板。你可以在一个会话中创建多个窗口，以便在它们之间进行切换。面

2024-01-14 14:10:31 422

原创解决报错RuntimeError: [1] is setting up NCCL communicator and retrieving ncclUniqueId from [0] via c10d

一、问题描述二、解决方法一、问题描述在集群上使用deepspeed训练大模型报错：RuntimeError: [1] is setting up NCCL communicator and retrieving ncclUniqueId from [0] via c10d key-value store by key ‘0’, but store->get(‘0’) got error: Connection reset by peer二、解决方法可能是由于网络问题或节点之间的通信中断引起的。可

2024-01-06 22:00:32 1404 1

原创【LLM-RAG】知识库问答 | 检索 | embedding

RAG流程（写作论文中的background：公式设定、emb、召回内容、召回基准）（工作中的思路《A Survey on Retrieval-Augmented Text Generation》该工作旨在对检索增强文本生成进行研究。主要核心的点如下：1、Retrieval Source知识来源源训练语料：有标注的训练数据直接作为外部知识；外部数据：支持提供训练数据之外的外部知识作为检索来源，比如于任务相关的领域数据，实现模型的快速适应；无监督数据：前两种知识源都需要一定的人工标注来完善“检索依据-

2024-01-01 12:12:32 2438 4

原创【LLM+RS】LLM在推荐系统的实践应用（华为诺亚）

noteLLM用于推荐主要还是解决推荐系统加入open domain 的知识。可以基于具体推荐场景数据做SFT。学习华为诺亚-技术分享-LLM在推荐系统的实践应用。文章目录note一、背景和问题二、推荐系统中哪里使用LLM1. 特征工程2. 特征编码3. 打分排序三、推荐系统中如何使用LLM四、挑战和展望Reference一、背景和问题传统的推荐模型网络参数效果较小(不包括embedding参数)，训练和推理的时间、空间开销较小，也能充分利用用户-物品的协同信号。但是它的缺陷是

2024-01-01 11:43:41 1013 1

原创解决error: cannot overwrite multiple values with a single value Use a regexp, --add or --replac

一、问题描述一开始是用git时遇到报错：fatal: unable to access 'https://github.com/modelscope/modelscope-agent.git/': Could not resolve host: socks5显示是和git代理设置有关，因为想着是使用SOCKS5代理，所以可以使用以下命令来设置代理：git config --global http.proxy 'socks5://127.0.0.1:xxxx'git config --globa

2023-12-17 19:50:30 780

原创【zetoro】文献管理工具使用

# 一、zetoro文献管理➡️如何下载：搜索zotero即可找到官网直接下载安装➡️如何导入文献：1本地文献拖拽导入2各文献搜索平台上下载zotero格式文件，在zotero-文件-导入中进行➡️如何管理文献：文件夹+tag双重管理模式文件-新建分类-用文件夹管理文章详情-添加标签-通过标签管理➡️文献阅读：双击打开文献，可高亮，便签批注，pad端可以手写批注，可以同步到电脑端查看➡️插件下载安装：可直接在zotero中文社区下载国内镜像文件，也可去github下载安装：zot

2023-12-16 13:30:18 1217

原创【记录】第一性原理、产品观

# 第一性原理：- 物理学的思考角度，由物理学家提出并发展，量子力学的提出和这也有点关系- 不要类比推理，要大前提+小前提=结论。- example：特斯拉研制电动汽车期间，曾遇到一个难题：电池成本居高不下。当时储能电池的市场价格是每千瓦时600美元，这个市场价格很稳定，短期内不会有太大的变动。但是马斯克从第一性原理角度进行思考：电池组到底是由什么材料组成的？这些电池原料的市场价格是多少？如果我们购买这些原材料然后组合成电池，需要多少钱？这个答案是，每千瓦时只需要80美元。最后让电车商业化成为可能。

2023-12-16 12:37:22 1011

原创【LLM】大模型之RLHF和替代方法（DPO、RAILF、ReST等）

SFT使用交叉熵损失函数，目标是调整参数使模型输出与标准答案一致，不能从整体把控output质量，RLHF（分为奖励模型训练、近端策略优化两个步骤）则是将output作为一个整体考虑，优化目标是使模型生成高质量回复。启发1：像可以用6b、66b依次得到差一点、好一点的target构造排序数据集，进行DPO直接偏好学习或者其他RLHF替代方法（RAILF、ReST等），比直接RLHF更方便训练启发2：为了减少幻觉（如拒绝回答），可以构造排序数据集（如good response为拒绝话术，bad respo

2023-12-11 22:36:10 3004 1

基于高阶和时序特征的图神经网络社会推荐研究

EdgeRec边缘计算在推荐系统的应用

4-消息传递图神经网络.pdf

常用算法总结C&C++.pdf

Python思维导图.rar

空空如也