- 博客(66)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 利用RT-Thread与MQTT实现的毕业设计——智慧班车管理系统的设计与实现实录
利用RT-Thread与MQTT协议完成的一个简单的物联网数据采集项目
2023-06-01 23:43:45
392
1
原创 自定义collate_fn函数：应对报错RuntimeError: stack expects each tensor to be equal size
踩坑记录。。。。。
2024-03-25 21:05:31
454
1
原创 如何将npy数据加载到DataLoader中（应对已将特征保存为npy格式的情况）- 接续PLM后的数据加载
【代码】如何将npy数据加载到DataLoader中（应对已将特征保存为npy格式的情况）- 接续PLM后的数据加载。
2024-03-04 16:58:00
404
原创 关于MediaEval数据集的Dataset构建（Image部分-使用预训练VGG19）
【代码】关于MediaEval数据集的Dataset构建（Image部分-使用PLM VGG19）
2024-03-04 16:47:43
408
原创 关于MediaEval数据集的Dataset构建（Text部分-使用PLM BERT）
【代码】关于MediaEval数据集的Dataset构建（Text部分-使用PLM BERT）
2024-03-03 21:48:26
582
原创 ICML 2023 | 可证明的动态多模态融合框架论文整理
多模态融合的内在挑战是精确地捕获跨模态相关性并灵活地进行跨模态交互。为了充分释放每种模态的价值，减轻低质量多模态数据的影响，动态多模态融合成为一种有前途的学习范式。尽管它被广泛使用，在这一领域的理论依据仍然显着缺乏。我们能设计一个可证明鲁棒的多模态融合方法吗？本文从泛化的角度，在一个最流行的多模态融合框架下，为回答这个问题提供了理论上的理解。我们继续揭示，几个不确定性估计解决方案是自然可实现强大的多模态融合。
2024-02-28 20:00:41
1152
原创 泛化理论部分笔记
我们的最终目标是训练一个测试损失(总体损失population loss)较小的模型。但是，我们只在训练集上对模型进行训练，训练损失很小。那么小的训练损失是否适用于测试集？
2024-02-22 11:29:32
814
原创 基于改进YOLOv7的绝缘子缺陷检测算法
实验结果表明，我们的模型的平均精度为93.8%，比Faster R-CNN模型，YOLOv 7模型和YOLOv 5s模型分别高7.6%，3.7%和4%。所提出的YOLOv 7模型可以。
2023-12-20 20:24:19
1683
原创 由R-CNN到Faster R-CNN理论知识（全图片展示）
经过R-CNN和Fast RCNN的积淀，Ross B. Girshick在2016年提出了新的Faster RCNN，在结构上，Faster RCNN已经将特征抽取(feature extraction)，proposal提取，bounding box regression(rect refine)，classification都整合在了一个网络中，使得综合性能有较大提高，在检测速度方面尤为明显。
2023-12-12 17:19:28
69
1
原创 使用Pytorch实现VGGNet（含VGGNet特征整理）
卷积层直接使用传入的结构，后面有专门构建这部分的内容# 定义全连接层# 全连接层+ReLU+Dropout# 全连接层 + ReLU + Dropoutnn.ReLU(inplace=True), # inplace = True ,会改变输入数据的值,节省反复申请与释放内存的空间与时间,只是将原来的地址传递,效率更好# 全连接层# 定义前向传播函数# 先经过feature提取特征，flatten后送入全连接层return x。
2023-12-10 20:40:27
246
原创 Game-On论文阅读
社交媒体在当今时代有着越来越大的影响力。在这些平台上传播的假新闻对我们的生活产生了破坏性和破坏性的影响。此外，由于多媒体内容比文本数据更能提高帖子的可见性，因此已经观察到多媒体经常被用于创建虚假内容。大量以前的多模态工作试图解决在识别虚假内容时对异构模态进行建模的问题。然而，这些工作有以下局限性：(1)在模型的后期阶段，通过在模态上使用简单的连接运算符来对模态间关系进行低效编码，这可能导致信息丢失;（2）在小而复杂的现实生活中的多模态数据集上训练具有非常深的神经网络，且它具有不成比例数量的参数，这导致。
2023-12-05 19:46:04
175
原创 DGL的图数据处理管道
编写完以上代码后，就可以使用下面的方式使用定义的import dgl# 数据导入# 创建 dataloaders# 训练# 用户自己的训练代码pass下面中使用的子类# 导入数据# 获取划分的掩码# 获取节点特征# 获取标签# 导入数据# 获取训练集掩码# 获取训练集中的边类型。
2023-11-25 14:37:22
119
原创 DGL在异构图上进行消息传递
异构图是包含不同类型的节点和边的图。不同类型的节点和边常常具有不同类型的属性。这些属性旨在刻画每一种节点和边的特征。在使用图神经网络时，根据其复杂性， 可能需要使用不同维度的表示来对不同类型的节点和边进行建模。还接受一个字符串来表示跨类型整合函数，来指定。这个字典的每一个键值对里，
2023-11-21 15:31:28
91
原创 利用小批量训练的方法在子图中进行消息传递
如果用户只想更新图中的部分节点，可以先通过想要囊括的节点编号创建一个子图， 然后在子图上调用。同时也可以在大图中使用随机（批次）训练。
2023-11-20 21:19:12
66
原创 编写高效的消息传递代码-对消息进行降维
除此之外，考虑到某些图边的数量远远大于节点的数量，DGL建议避免不必要的从点到边的内存拷贝。对于某些情况，比如 GATConv，计算必须在边上保存消息， 那么用户就需要调用基于内置函数的。建议的实现是将线性操作分成两部分，一个应用于 源 节点特征，另一个应用于 目标 节点特征。在最后一个阶段，在边上将以上两部分线性操作的结果相加，即执行。该做法执行以下操作：拼接 源 节点和 目标 节点特征， 然后应用一个线性层，即。有时边上的消息可能是高维的，这会非常消耗内存。， 从内存角度来说是高效的。
2023-11-20 21:12:52
433
原创 DGL如何表征一张图
DGL 将有向图表示为一个 DGL 图对象。图中的节点编号连续，从0开始。我们一般通过指定图中的节点数，以及源节点和目标节点的列表，来构建这么一个图。下面的代码构造了一个图，这个图有五个叶子节点。中心节点的 ID 为 0，边从中心节点出发，指向众多的叶子节点。在这个图中，边具有从0开始且连续的ID。并且在创建的过程中，。换句话说，我们在创建 g 的时候，并不需要特地指定边，而是直接通过起始点列表，也就是 [0, 0, 0, 0, 0] 和 目标点列表 [1, 2, 3, 4, 5] 来自动生成边。
2023-11-14 13:40:37
101
原创 【动手学深度学习-Pytorch版】BERT预测系列——用于预测的BERT数据集
【代码】【动手学深度学习-Pytorch版】BERT预测系列——用于预测的BERT数据集。
2023-10-12 18:49:47
727
原创 【动手学深度学习-Pytorch版】BERT预测系列——BERTModel
【代码】【动手学深度学习-Pytorch版】BERT预测系列——BERTModel。
2023-10-12 18:42:34
1035
转载 【转载】Transformer模型详解（图解最完整版）
Transformer由论文《Attention is All You Need》提出，现在是谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取，其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本，并注释该论文。在本文中，我们将试图把模型简化一点，并逐一介绍里面的核心概念，希望让普通读者也能轻易理解。Transformer 与 RNN 不同，可以比较好地并行训练。
2023-10-01 12:25:04
183
原创 【动手学深度学习-Pytorch版】注意力汇聚：Nadaraya-Watson 核回归
该模型中直接使用的是上述提到的核，同时在进入模型初始化函数中，查询的初始化大小为测试数据输入大小，而键与值是成对出现的，所以两者大小是相同的。后面将查询的大小更改成(查询个数，“键-值”对数)，注意力权重也是该形状。"""定义模型"""# w控制的是高斯核的窗口大小，可以通过W控制曲线平滑一点或者不平滑# queries和attention_weights的形状为(查询个数，“键-值”对数)# attention的形状也是(查询个数，“键-值”对个数)
2023-09-24 16:14:00
291
原创 【动手学深度学习-Pytorch版】序列到序列的学习（包含NLP常用的Mask技巧）
遵循编码器－解码器架构的设计原则， 循环神经网络编码器使用长度可变的序列作为输入， 将其转换为固定形状的隐状态。 换言之，输入序列的信息被编码到循环神经网络编码器的隐状态中。 为了连续生成输出序列的词元， 独立的循环神经网络解码器是基于输入序列的编码信息 和输出序列已经看见的或者生成的词元来预测下一个词元。
2023-09-22 20:58:05
447
原创 【动手学深度学习-Pytorch版】门控循环单元GRU
支持隐状态的门控：这意味着模型有专门的机制来确定应该何时更新隐状态， 以及应该何时重置隐状态。这些机制是可学习的，并且能够解决了上面列出的问题。例如，如果第一个词元非常重要， 模型将学会在第一次观测之后不更新隐状态。同样，模型也可以学会跳过不相关的临时观测。最后，模型还将学会在需要的时候重置隐状态。下面我们将详细讨论各类门控。formula：门 是和隐藏状态同样的一个向量RtσXt∗WxrHt−1∗WhrbrZtσXt。
2023-09-18 18:22:36
286
ICML 2023 - 可证明的动态多模态融合框架论文对应代码整理
2024-02-28
多模态虚假新闻检测的模态间和模态内不确定性建模
2024-01-19
Faster R-CNN理论整理
2023-12-12
HuggingFace中文情感分类代码
2023-11-23
GAME-ON模型（搬运工，原论文见描述）
2023-11-11
基于RT-Thread与MQTT的智慧班车管理系统的设计与实现
2023-09-18
d2l的离线轮子安装包
2023-09-12
d2l中的torch模块
2023-09-12
微信小程序实现地图到达目的地提醒
2023-04-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人