gltangwq-CSDN博客

Vision Transformer在一些任务上超越了CNN，得益于全局信息的聚合。在ViT论文中，作者引入了一个cls_token作为分类特征。如果没有cls_token，我们使用哪个patch token做分类呢？根据自注意机制，每个patch token一定程度上聚合了全局信息，但是主要是自身特征。ViT论文还使用了所有token取平均的方式，这意味每个patch对预测的贡献相同，似乎不太合理。实际上，这样做的效果基本和引入cls_token差不多。cls_token的作用cls_token与

2022-05-24 17:38:46 5036 2

原创 matplotlib图像设置

matplotlib是python中强大的可视化图像库，下面的代码是本人论文画图时的设置。import matplotlib.pyplot as pltimport numpy as npplt.figure()# 图片名称# plt.title('temp')bwith = 1.3 #边框宽度设置为2ax = plt.gca()#获取边框# ax.spines['top'].set_color('none') # 设置上‘脊梁’为红色# ax.spines['right'].set

2021-12-29 11:37:21 1791

原创特征融合的常见方法

深度学习中，假设有两个层次的特征x∈Rn,x∈Rm.x \in \mathbb{R}^n, x \in \mathbb{R}^m.x∈Rn,x∈Rm. 如何得到融合这两者的新特征z∈Rk.z \in \mathbb{R}^k.z∈Rk.常见的方法如下：concat : z=[x,y]∈Rm+n,k=m+n.z=[x,y] \in \mathbb{R}^{m+n}, k=m+n.z=[x,y]∈Rm+n,k=m+n.addition: z=x+y∈Rkz=x+y \in \mathbb{R}^{k}z

2021-12-03 11:36:14 6515

转载 ubuntu latex缺少包的解决方案

在ubuntu16下用 latex 编译 **.tex文件有时候时会提示: ! LaTeX Error: File `××××.sty' not found.说明在你系统缺少**.sty这个文件。其实如果只是少了这一个文件的话，可以去CTAN这个网站（http://www.ctan.org/）去搜，把该文件下下来后直接放到你所编译的文件夹中再重新编译即可。但是治根不治本，如果有很多此类的sty文件缺失的话，就说明可能是少安装了一个程序包，如何找到这个程序包linux下有一个非常简单的指令：apt-f

2021-11-16 17:38:50 1802 1

原创 latexVscode配置

{ "workbench.colorTheme": "Default Light+", "latex-workshop.view.pdf.viewer": "tab", "latex-workshop.latex.autoBuild.run": "onSave", "latex-workshop.latex.recipes": [ { "name": "latexmk ????", "tools": [

2021-11-14 01:25:21 316

原创 python config第三方库

python常见的设置congfig第三方库：ml_collections yacs

2021-10-30 20:00:18 1273

原创 os.listdir的随机性

python有一个列出特定目录下所有文件名的函数os.listdir，输入是文件夹名，输出是当前文件夹下所有的文件名，以List的形式展现。值得注意的是，os.listdir输出的list是无序的，在不同设备下，输出的顺序可能不一样！！！为了避免这种随机性，可以使用sorted函数进行排序，保证输出的顺序。import oslistdir = lambda f: sorted(os.listdir(f))...

2021-10-13 10:08:51 610

原创全局和局部随机种子

应实际需求，为某一个函数生成固定的随机数列，需要设置局部随机种子。通过搜索，发现了numpy.random.RandomState可以实现局部随机种子的设置。它的用法和numpy.random.seed类似，区别是它和全局随机种子隔离，下面的结果表明了它的独立性。局部随机种子的独立性在numpy.random.seed设置好的情况，再设置numpy.random.RandomState，不会影响numpy.random.seed随机数的生成。numpy.random.RandomState 用法

2021-09-13 11:10:43 979

原创 Towards Certifying L_Infinity Robustness using Neural Networks with L_Infinity-dist Neurons

这是一篇解决对抗稳定性的顶会(ICML2021)文章。摘要：现有的神经网络对输入的扰动较敏感，这对于神经网络的应用很不友好，如何对抗这种鲁棒性具有重要的价值。作者认为，现有网络设计必然导致这种不稳定性，稳定的函数具有Lipschitz性质。因此，作者重新设计了神经网络的forward操作，使得神经网络保持Lipschitz性，从而对抗神经网络的不稳定。贡献在网络层面对抗稳定性，使得网络具有Lipschitz性质重新设计了L∞L_\inftyL∞距离神经元，并克服了网络训练中的一些困难理论证明了

2021-07-12 22:35:36 215

原创 Knowledge Graph Transfer Network for Few-Shot Recognition 阅读笔记

核心思想小样本学习的挑战在于：识别新类别样本的过程容易受颜色、纹理、物体大小和背景的影响（特异性）。作者把与新样本相关的基类数据的语义标签信息迁移到新样本识别中，避免新样本的特异性影响，帮助小样本的学习，实现泛化到新样本。使用知识图建模了基类和新类别之间的相关性，提出了Knowledge Graph Transfer Network.样本特征和分类器的关系典型的分类模型由特征提取器ϕ\phiϕ和分类器fff组成。设输入为ximx_{im}xim，预测的标签为y^=arg max⁡k fk(x)=ar

2021-05-03 10:50:41 507

原创远程服务器传输文件

scp命令scp -r -P 200 [email protected]:/media/ubuntu/oriResize256/ ./oriResize256rsync命令还可以实现断点续传rsync -rP --rsh='ssh -p 200' [email protected]:/media/ubuntu/oriResize256/ ./oriResize256

2021-03-25 21:11:53 79

转载解决Latex 包缺失问题 Ubuntu16[转]

Ubuntu 安装了Texmaker，有时编译时会出现下列问题：! LaTeX Error: File `*.sty’ not found.说明缺少了这个包，我们可以选择下载并安装这些sty文件。也可以选择下面的办法。其实如果只是少了这一个文件的话，可以去CTAN这个网站去搜（http://www.ctan.org/），把该文件下下来后直接放到你所编译的文件夹中再重新编译即可。但是治根不治本，如果有很多此类的sty文件缺失的话，就说明可能是少安装了一个程序包，如何找到这个程序包linux下有一个非

2021-01-16 19:28:26 856

转载医学图像处理(AI) 期刊和会议

期刊TMI: IEEE Transactions on Medical ImagingSCI二区期刊链接：https://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=42MedIA: Medical Image AnalysisSCI二区期刊链接：https://www.journals.elsevier.com/medical-image-analysis/会议MICCAI: International Conferenc

2020-12-21 21:47:34 2091

原创 Ubuntu电脑NVIDIA-SMI出现问题的解决方法

Ubuntu系统的远程服务器，因为重启或者关机导致显卡出现了如下问题NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIAdriver. Make sure that the latest NVIDIA driver is installed andrunning按下列命令卸载和重装了显卡驱动：#删除之前安装的nvidia驱动sudo apt-get purge nvidia-*# 添加第三方驱动源su

2020-12-07 16:22:59 1328

原创判断回文数

回文数：一个非负数，从左到右和从右到左看，都是一样的。例如：1，131,1001如何判断一个数是否为回文数？数字转化为字符（可迭代对象）把数字转化为字符，然后逆序排列得到一个新字符，再比较新字符和旧字符是否相等。def isPalindrome(num): numstr = str(num) if numstr == numstr[::-1]: return True return False数学方法通过取余操作和整除操作获得逆序的数字。对于数字num

2020-11-14 20:20:09 127

转载 python logger

保存代码运行的日志import loggingdef get_logger(filename, verbosity=1, name=None): level_dict = {0: logging.DEBUG, 1: logging.INFO, 2: logging.WARNING} formatter = logging.Formatter( "[%(asctime)s][%(filename)s][line:%(lineno)d][%(levelname)s] %(

2020-10-18 10:53:40 230

原创连续素数和问题

对于一个大于1的正数，有些可以写成，1个或者多个连续素数和的形式，比如41，41=2+3+5+7+11+1341=11+13+1741=4141有三种形式。输入：大于1的正数int N输出：素数和的组数 int n# 判断素数def is_prime(number): if number > 1: if number == 2: return True if number % 2 == 0: r

2020-08-13 20:41:35 1481

原创个人AI论文阅读

本文章主要记录个人平常阅读的论文，具体细节不展开。Paper1Class-Balanced Loss Based on Effective Number of Samples摘要：设计了一个类平衡损失，用于解决长尾数据分布问题（即少数类占了大部分数据，而大多数类的代表性不足)。实现比较简单，只需要在现有的分类损失基础上，在每一个类别上乘上一个权重。CBLoss(p,y)=1−β1−βnyCELoss(p,y)CBLoss(p,y)=\frac{1-\beta}{1-\beta^{n_y}} C

2020-08-05 15:32:49 377

原创 Bash 语言

bsah For循环本人学习的是python, 但有时也需要一些bash语言。但在运行bash脚本时，比如实现for循环打印#!/bin/bashfor i in {1,2,3}do echo $idone运行：sh run.sh报错：Syntax error: “(” unexpected原因：sh 与 bash 有些地方不兼容，直接运行：bash xx.sh实现for循环的另一种方式如下adobe=(1 2 3)for item in ${adobe[@]}do

2020-07-31 09:47:28 494

原创 Pytorch 模型保存/加载

Pytorch是常用的深度学习框架之一，在训练神经网络时，我们经常需要保存模型或者加载模型。模型保存有两种方式：保存模型和保存模型的参数。保存模型即把整个模型的结构和参数保存下来，后者只保存参数（这种方式在加载模型时，必须知道模型的结构，才可以加载）保存模型保存torch.save(model, path)model是模型，path是模型保存的路径，例如：'./*.pkl' 或者 './*.tar' './*.pth', 保存参数的文件一定要有后缀扩展名。加载model = torch

2020-07-28 22:11:57 168

原创 ubuntu16 输入图标消失解决方法

ubuntu16 使用的是fcitx的小企鹅输入法, 有时出现图标消失或者无法输入中文的问题，可通过下面的几条命令解决killall fcitxfcitx -d最后重启ubuntu。

2020-06-19 19:39:14 442

原创 python&pytorch 随机种子简述

随机数广泛应用在科学研究, 但是计算机无法产生真正的随机数, 一般成为伪随机数. 它的产生过程: 给定一个随机种子(一个正整数), 根据随机算法和种子产生随机序列. 给定相同的随机种子, 计算机产生的随机数列是一样的(这也许是伪随机的原因).python random下面以python的random函数为例, 做了一个测试.当用户未指定随机种子, 系统默认随机生成, 一般与系统当前时间有关.用户指定随机种子后, 使用随机函数产生的随机数可以复现.种子确定后, 每次使用随机函数相当于从随机序列去获

2020-06-19 10:31:52 721

原创机器学习中分类任务的评价指标

学会分类是凸显人类智慧的技能之一. 如何使得机器也具备分类能力, 这便是时下机器学习的内容之一. 垃圾邮件识别, 动植物种类判断都属于分类任务. 常见的机器学习分类算法有朴素贝叶斯, 支持向量机, 决策树, 随机森林等. 如何定量地去度量一个算法的好坏呢? 为此, 我们需要引入一些分类的评价指标. 常见的评价指标有: 准确率, 精准率, 召回率, 灵敏度, 特异度, AUC, F1-score等. 下面以二分类为例:阳性(客观)阴性(客观)阳性(预测)TP(真阳性)FP(假阳性

2020-06-13 22:04:56 509

原创 pytoch 使用float64训练

pytorch默认使用单精度float32训练模型，原因在于：使用float16训练模型，模型效果会有损失，而使用double(float64)会有2倍的内存压力，且不会带来太多的精度提升。本人，最近遇到需要使用double数据类型训练模型的情况，具体实现需要把模型的权重参数数据类型和输入数据类型全部设置为torch.float64即可。可使用torch的一个函数，轻松地把模型参数转化为float64torch.set_default_dtype(torch.float64)输入类型可使用ten

2020-06-03 10:48:43 6259 5

原创 Kappa系数简单介绍

kappa系数是统计学中度量一致性的指标, 值在[-1,1]. 对于评分系统, 一致性就是不同打分人平均的一致性; 对于分类问题，一致性就是模型预测结果和实际分类结果是否一致. kappa系数的计算是基于混淆矩阵, 取值为-1到1之间, 通常大于0.简单kappa下面的表格是真实类别和预测类别的混淆矩阵, 其中aija_{ij}aij表示真实为iii预测为jjj的样本数量. NNN为样本总量. ai+=∑jaij, a+j=∑iaij.a_{i+}=\sum_{j} a_{ij}, \, a_{+j}

2020-05-26 16:25:06 30916

空空如也

空空如也