qq_46056318的博客

原创 【代码问题】【Pytorch模型训练】断点续训与tmux使用

因此，即使本地网络断开，Tmux会话仍然会继续在本地计算机上运行，直到你手动关闭会话为止。这里的操作都是在linux黑窗口里，比如你ssh到vscode的话，就是vscode的终端，也可以用xshell链接。连接服务器需要挂载vpn或要保持网络链接，这样网络异常的时候就会白白耗时，针对于此，我的两种解决方案是。当你进入这个会话所在的窗口时，想返回主窗口而不关闭会话，就可以使用这个命令，还可以再进入。断点续训是在网络中断时，依据保存的信息，能够继续中断的训练，所以不仅保存。如果训练完成的话，就。

原创 【代码问题】【Pytorch】训练模型时Loss为NaN或INF

排查的时候可以在关键节点增加断点，比如我的训练一个epoch时没问题，一个epoch训练完要进行验证的时候出现问题，所以打印出一个epoch的所有loss看怎么回事。我只遇到了第一个那种情况，所以我给出第一个的解决方法，其他的后续遇到再补充。

原创 【论文阅读笔记】ViT：An Image is worth 16X16 words: Transformers for image recognition at scale

一幅图像相当于16X16个字：用于大规模图像识别的TransformerICLR 2021 谷歌团队PaperCode虽然Transformer架构已成为自然语言处理任务的事实标准，但其在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。本文证明了这种对CNN的依赖是不必要的，直接应用于图像块序列的纯Transformer可以在图像分类任务中表现得非常好。

原创 【论文阅读笔记】Head-Free Lightweight Semantic Segmentation with Linear Transformer

基于线性Transformer的无头轻量级语义分割2023年 AAAIPaperCode现有的语义分割工作主要集中在设计有效的解码器，但长期以来忽略了整体结构引入的计算负载，这阻碍了它们在资源受限的硬件上的应用。在本文中，我们提出了一个专门用于语义分割的无头轻量级架构，名为自适应频率Transformer（AFFormer）。AFFormer采用并行架构，利用原型表示作为特定的可学习局部描述，取代解码器并保留高分辨率特征上丰富的图像语义。

原创 【论文阅读笔记】Customized Segment Anything Model for Medical Image Segmentation

医学图像分割的自定义分割模型2023年 arXivPaperCode本文提出SAMed，医学图像分割的一般解决方案。与以往的方法不同，SAMed基于大规模图像分割模型Segment Anything Model（SAM），探索了定制大规模医学图像分割模型的新研究范式。SAMed将基于低秩（LoRA）的微调策略应用于SAM图像编码器，并将其与提示编码器和掩码解码器一起在标记的医学图像分割数据集上进行微调。本文还观察到预热微调策略和AdamW优化器导致SAMed成功收敛和降低损耗。

原创 【论文阅读笔记】SAM-Adapter: Adapting Segment Anything in Underperformed Scenes

SAM适配器：在表现不佳的场景中适配任何片段2023年 ICCVPaperCodeSAM无法分割任何内容？- SAM适配器：在表现不佳的场景中适配SAM：摄影、阴影、医学图像分割等2023年 arXivPaperCode大型模型（也称为基础模型）的出现为人工智能研究带来了重大进展。一个这样的模型是Segment Anything（SAM），它是为图像分割任务而设计的。

原创 【代码问题】mmcv+mmseg版本升级报错

mmseg.ops迁移到了mmseg.models.utils中，所以直接。不行卸掉全部（mmcv+mmcv-full）重新安装。新版本的mmseg的utils没有get_root_logger。直接补上mmcv-full，安装好之后大概率就无了。改成：（这是直接用mmcv的logging，参考。不行就把mmcv都卸载掉重新安装。

原创 【论文阅读笔记】Split frequency attention network for single image deraining

用于单幅图像去噪的分频注意力网络PaperCode2023年 SIVP雨纹对图像质量的影响极大，基于数据驱动的单图像去噪方法不断发展并取得了巨大的成功。然而，传统的卷积神经网络只能隐式地对频域特征进行建模，而离散余弦变换（DCT）可以看作是对频域特征的显式建模。因此，我们提出了一种分裂频率注意力，以改善内部相关性的输入特征在频域的DCT。我们选择前K个低频分量作为DCT层的输出，在频域恢复出高质量的图像，而分裂机制使网络聚焦于信息丰富的区域，保持了恢复图像细节的保真度。

原创 【论文阅读笔记】Attention Is All You Need

2017年 NIPStransformer 开山之作 回顾一下经典，学不明白了PaperCode显性序列转导模型基于包括编码器和解码器的复杂递归或卷积神经网络。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一个新的简单的网络架构，Transformer，完全基于注意力机制，完全免除了递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上是上级的，同时具有更好的并行性，并且需要更少的训练时间。

原创 【论文阅读笔记】Fantastic Animals and Where to Find Them: Segment Any Marine Animal with Dual SAM

Dual SAM神奇动物和在哪里找到它们：用双SAM分割任何海洋动物2024年 cvpr海洋动物分割是水下智能的重要组成部分，它涉及到海洋环境中的动物分割问题。以前的方法在提取长距离上下文特征方面并不出色，并且超过了像素之间的连接。最近，Segment Anything Model（SAM）为一般分割任务提供了一个通用框架。然而，在使用自然图像训练时，SAM无法从海洋图像中获得先验知识。此外，SAM的单位置提示对于事前指导是非常不够的。

原创 【论文阅读笔记】Segment Anything

分割任意物体2023年 发表在ICCVPaperCodedemo我们介绍Segment Anything（SA）项目：用于图像分割的新任务、模型和数据集。在数据收集循环中使用我们的高效模型，我们构建了迄今为止最大的分割数据集，在1100万张许可和隐私保护图像上拥有超过10亿个掩码。该模型被设计和训练为可提示的，因此它能够在没有见过的图像数据分布和任务上进行零样本学习。我们评估了它在许多任务上的能力，发现它的零样本学习能力令人印象深刻-在某些情况下具有竞争力，甚至可能优于之前的完全监督结果。

原创 【论文阅读笔记】Part to Whole: Collaborative Prompting for Surgical Instrument Segmentation

从部分到整体：手术器械细分的协作性验证2023年 发布在ArxivPaperCode像Segment Anything Model（SAM）这样的基础模型已经在通用对象分割中展示了前景。然而，直接将SAM应用于手术器械分割提出了关键挑战。首先，SAM依赖于每帧点或框提示，这使外科医生与计算机的交互复杂化。此外，SAM在分割手术器械方面产生次优性能，这是由于其预训练中的手术数据不足以及各种手术器械的复杂结构和细粒度细节。

原创 【论文阅读笔记】SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation

SurgicalSAM：高效的可分类手术器械细分2023年 发布在ArxivPaperCodeSegment Anything Model（SAM）是一个强大的基础模型，它彻底改变了图像分割。为了将SAM应用于手术器械分割，常见的方法是定位器械的精确点或盒，然后将它们作为SAM的提示以zeroshot方式使用。然而，我们观察到这种幼稚流水线的两个问题：（1）自然对象和手术器械之间的域间隙导致SAM的泛化较差；

原创 【论文阅读笔记】Explicit Visual Prompting for Low-Level Structure Segmentations

低级结构分割的显式视觉提示2023年发表在IEEE CVPRPaperCode检测图像中低级结构（低层特征）一般包括分割操纵部分、识别失焦像素、分离阴影区域和检测隐藏对象。虽然每个此类主题通常都是通过特定领域的解决方案来解决的，但统一的方法在所有这些主题中都表现良好。从 NLP 中广泛使用的预训练和提示调整协议中汲取灵感，本文提出了一种新的视觉提示模型，称为显式视觉提示（EVP）。

原创 【论文阅读笔记】Context-aware cross-level fusion network for camouflaged object detection

基于上下文感知的跨层融合网络的视频目标检测IJCAI 2021本文是旧版PaperCode（此外2022年 发表在IEEE TCSVT 一个改进版本PaperCode由于目标与其周围环境之间的低边界对比度，所以伪装目标检测（COD）是一项具有挑战性的任务。此外，被包裹物体的外观变化很大，例如，对象的大小和形状，加重准确COD的困难。在本文中，提出了一种新的上下文感知跨级融合网络（C2F-Net），以解决具有挑战性的COD任务。

原创 深度学习Python前置知识

切片：与Python列表类似，numpy数组可以被切片。由于数组可能是多维的，因此必须为数组的每个维度指定一个切片。一维一维地看，从第几行/列开始的，到哪个。num[1:2]：1表示索引开始（包含该值），2表示索引末尾（不包含该值）；:元组是（不可变的）有序值列表。最重要的区别之一是元组可以用作字典中的键和集合的元素，而列表则不能。): index是索引，x是内容。数组的形状是一个整数元组，给出了数组沿每个维度的大小。：numpy array是一个值网格，所有值都具有。：可包含大小与类型都不同的元素。

原创 【论文阅读笔记】Thinking in Frequency: Face Forgery Detection by Mining Frequency-aware Clues

频率思考：基于频率感知线索的人脸伪造检测2020年发表在ECCV上。PaperCode随着人脸仿真伪造技术的发展，社会对这些技术可能被恶意滥用的担忧引发了人脸伪造检测的研究。然而，这是非常具有挑战性的，因为最近的进步能够伪造超越人眼的感知能力的人脸，特别是在压缩图像和视频中。我们发现，用频域挖掘伪造模式可能是一种解决方案，频率提供了一个补充的观点，可以很好描述微小的伪造人脸或压缩错误。

原创 【论文阅读笔记】Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation

Swin-Unet：用于医学图像分割的类Unet纯Transformer2022年发表在 Computer Vision – ECCV 2022 WorkshopsPaperCode在过去的几年里，卷积神经网络（CNN）在医学图像分析方面取得了里程碑式的成就。特别是基于U型结构和跳跃连接的深度神经网络，已经广泛应用于各种医学图像任务中。然而，尽管CNN取得了优异的性能，但由于卷积运算的局部性，它不能很好地学习全局和远程语义信息交互。

原创 【论文阅读笔记】Multi-organ segmentation network for abdominal CT images based on spatial attention and _

基于空间注意力和变形卷积的腹部CT图像多器官分割网络2022年发表在Expert Systems With Applications上。Paper基于计算机断层扫描（CT）图像的多器官的准确分割对于腹部疾病的诊断（诸如癌症分期）和手术规划（诸如减少对靶器官周围的健康组织的损伤）是重要的。由于CT背景的复杂性以及不同器官的可变大小和形状，这项任务极具挑战性。针对肝胆胰外科手术中涉及的胰腺、十二指肠、胆囊、肝脏和胃等5个器官，提出了一种基于U-Net的分割模型。该模型具有可变形的感受野。

原创 【论文阅读笔记】SAMNet: Stereoscopically Attentive Multi-scale Network for Lightweight Salient Object Detect

SAMNet：用于轻量级显著目标检测的立体关注多尺度网络2021年发表在IEEE Transactions on Image Processing。PaperCode显着目标检测（SOD）的最新进展主要得益于卷积神经网络（CNN）的爆炸性发展。然而，大部分改进都伴随着更大的网络规模和更重的计算开销，在我们看来，这对移动设备不友好，因此难以在实践中部署。为了促进更实用的SOD系统，我们引入了一种新的立体注意多尺度（SAM）模块，它采用了立体注意机制，自适应地融合各种尺度的功能。

原创 【论文阅读笔记】MobileSal: Extremely Efficient RGB-D Salient Object Detection

MobileSal：极其高效的RGB-D显著对象检测2021年发表在 IEEE Transactions on Pattern Analysis and Machine Intelligence。PaperCode神经网络的高计算成本阻碍了RGB-D显着对象检测（SOD）的最新成功，使其无法用于现实世界的应用。因此，本文介绍了一种新的网络MobileSal，它专注于使用mobile networks进行深度特征提取的高效RGB-D SOD。

原创 【论文阅读笔记】ISINet: An Instance-Based Approach for Surgical Instrument Segmentation

ISINet：一种基于实例的手术器械分割方法【Paper】【Code】我们研究了机器人辅助手术场景中手术器械的语义分割任务。我们提出了基于实例的手术器械分割网络（ISINet），一种从基于实例的分割角度解决这一任务的方法。我们的方法包括一个时间的一致性模块，考虑到以前被忽视的问题和固有的时间信息。我们在任务的现有基准，内窥镜视觉2017机器人仪器分割数据集和2018年版本的数据集上验证了我们的方法，我们扩展了仪器分割的细粒度版本的注释。

原创 【论文阅读笔记】Dichotomous Image Segmentation with Frequency Priors

基于频率先验的二分图像分割2023年发表在IJCAIPaperCode二分图像分割（DIS）具有广泛的实际应用，近年来得到了越来越多的研究关注。本文提出了解决DIS与信息的频率先验。模型称为FP-DIS，它源于这样一个事实，即在频域的先验知识可以提供有价值的线索，以确定细粒度的对象边界。具体来说，提出了一个频率先验发生器，共同利用一个固定的过滤器和可学习的过滤器来提取信息丰富的频率先验。在将频率先验嵌入网络之前，首先协调多尺度侧出特征以减少它们的异质性。

原创 【论文阅读笔记】Detecting Camouflaged Object in Frequency Domain

基于频域的视频目标检测2022年发表于CVPR[Paper][Code]隐藏目标检测（COD）旨在识别完美嵌入其环境中的目标，在医学，艺术和农业等领域有各种下游应用。然而，以人眼的感知能力来识别遮挡的物体是一项极具挑战性的任务。因此，我们主张COD任务的目标不仅仅是在单个RGB域中模仿人类的视觉能力，而是超越人类的生物视觉。然后，我们引入频域作为一个额外的线索，以更好地检测从背景中隐藏的对象。为了更好地将频率线索纳入CNN模型，我们提出了一个具有两个特殊组件的强大网络。我们首先设计了一个新的频率增强。

原创 使用【OpenI启智平台】进行模型训练

启智平台OpenI是一个人工智能开源开放平台，提供免费GPU算力可以进行模型训练。模式是git进行项目管理，可以创建调试任务调试代码以及保存镜像，创建训练任务训练模型，也提供推理和评测，我没用过就不讲述了。后来我才明白这是好多人工智能开放平台的运行模式，不同的是，这里训练任务修改的项目代码并不会保存到项目中，关掉任务就又回到原来的样子，所以我都用它debug找到问题点和创建镜像。下面详细介绍使用。

原创 【论文阅读笔记】PraNet: Parallel Reverse Attention Network for Polyp Segmentation

PraNet：用于息肉分割的并行反向注意力网络2020年发表在MICCAIPaperCode结肠镜检查是检测结直肠息肉的有效技术，结直肠息肉与结直肠癌高度相关。在临床实践中，从结肠镜图像中分割息肉是非常重要的，因为它为诊断和手术提供了有价值的信息。然而，由于两个主要原因，准确的息肉分割是一项具有挑战性的任务：（i）相同类型的息肉具有不同的大小、颜色和纹理;以及（ii）息肉与其周围粘膜之间的边界不清晰。为了解决这些挑战，我们提出了一种并行反向注意力网络（PraNet），用于结肠镜图像中的准确息肉分割。

原创 高等工程数学复习

原创 【周志华机器学习】学习笔记一：绪论

要谈论算法的相对优劣，必须要针对具体的学习问题，在某些问题上表现好的学习算法，在另一些问题上可能不尽如人意。没有免费午餐定理No Free Lunch Theorem，简称NFL定理：在所有问题出现的机会相同，或所有问题同样重要时，无论学习算法A多么聪明，B多么笨拙，它们的期望值都相同，即误差与学习算法无关。问题：不同模型的训练集假设一致，但是对应的模型在面临新的样本的时候却产生不同的输出，哪个是正确的？学习过程可以看作一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集匹配的假设。

原创 【论文阅读笔记】Branch Aggregation Attention Network for Robotic Surgical Instrument Segmentation

2023年发表在 IEEE TMI 上的文章，名字为《Branch Aggregation Attention Network forRobotic Surgical Instrument Segmentation》（用于机器人手术器械分割的分支聚合注意力网络），link，code在code（其实还没上传)。手术器械分割对机器人辅助手术具有重要意义，但手术过程中反射、水雾、运动模糊等噪声以及手术器械的不同形态会大大增加精确分割的难度。提出了一种新的基于分支聚合注意力网络。

原创 Windows本地配置带GPU的Pytorch环境

首先需要安装并配置好Anaconda环境，安装教程。

原创 TransNetR：用于多中心分布外测试的息肉分割的基于transformer的残差网络

结肠镜检查被认为是检测结直肠癌 (CRC) 及其癌前病变（即息肉）最有效的筛查测试。然而，由于息肉异质性和观察者间的依赖性，该手术的漏诊率很高。因此，考虑到临床实践中息肉检测和分割的重要性，提出了几种深度学习驱动的系统。尽管取得了改进的结果，但现有的自动化方法在实现实时处理速度方面效率较低。此外，在对患者间数据（尤其是从不同中心收集的数据）进行评估时，他们的性能显着下降。因此，我们打算开发一种新颖的基于实时深度学习。

原创 前端开发常踩坑汇总【常更新】

HTTP

原创 在服务器上运行论文中的深度学习模型

首先需要在服务器上搭建运行环境，参见上一篇博客：【服务器上搭建深度学习模型运行环境：ubuntu本文主要讲在搭建好运行环境的情况下如何跑开源模型，以这篇论文为例。以下部分我已在本地下载完毕并上传至服务器文件夹。

原创 服务器上搭建深度学习模型运行环境：ubuntu

服务器上搭建深度学习模型运行环境：ubuntu

原创 echarts实现仪表盘

官方封装的Chart组件无法直接使用仪表盘，因为不支持gauge类型，所以必须自己创建一个div，然后使用echarts初始化该div。

原创 前端面试题之【Vue】

Vue

原创 前端面试题之【JS/ES6】

ES6

原创 前端面试题之【CSS】

CSS3

原创 前端面试题之【HTTP/HTML/浏览器】

HTTP HTML 浏览器

原创 CSS盒子模型详解

盒子可见框的大小，由内容区、内边距、边框共同决定，所以在计算盒子大小时，需要将三个区域加到一起计算。CSS将页面中的所有元素都设置为了一个矩形的盒子，对页面的布局就是将不同的盒子摆放到不同的位置。子元素是在父元素的内容区中排列的，如果子元素的大小超过了父元素，则子元素会从父元素中溢出。怪异盒模型：内容的宽度 = 设置的宽度 - border的宽度 - padding的宽度。总结：兄弟元素之间的外边距的重叠，对于开发是有利的，不需要进行处理。内边距，也叫填充，是内容区和边框之间的空间，背景颜色会延申。