- 博客(92)
- 资源 (2)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 《Libra R-CNN: Towards Balanced Learning for Object Detection》笔记
Introduction这篇论文针对目标检测训练过程中的不平衡问题，提出了一种平衡化学习方法。关于目标检测中的不平衡问题，这篇博客有更详细的介绍。这篇论文讨论的不平衡问题包括三种：样本级别的不平衡：对于二阶段的目标检测算法，样本是通过随机采样得到的，这会导致大多数样本都是容易样本（容易学习），缺乏难样本。特征级别的不平衡：由于低层的特征层主要包含内容描述信息，高层特征层主要包含语义信息，不同特征层的特征信息不平衡。目标级别的不平衡：目标检测是多任务学习任务，有识别和定位两个目标，对应两种目标函数
2020-05-16 20:30:57
328
原创 《The graph neural network model》笔记
Introduction该论文应该是最早的讲GNN的论文。该论文的主要工作是实现一个转导(transduction)函数，把图GGG或者结点nnn映射到一个m维的嵌入向量：τ(G,n)∈Rm\tau(G,n) \in \mathbb{R}^mτ(G,n)∈Rm。图领域应用可以分成两类：graph focused 和 node focused。graph focused: 函数把图映射成嵌入...
2020-05-08 16:55:40
761
1
原创 《Inductive representation learning on large graphs》笔记
Introduction这篇论文介绍了一种图卷积网络(Graph convolution network)，该论文的图卷积方法很容易理解，没有涉及傅里叶变换。论文的出发点是为图中每个结点计算得到一个低维嵌入向量。已有的基于因式分解的嵌入方法直接为每个单独的结点训练结点的嵌入向量，是transductive。不知道transductive该怎么翻译，我觉得它的意思得到的低维嵌入向量是特定于某个任务...
2020-05-02 19:17:00
390
转载 GCN深入浅出
如何理解 Graph Convolutional Network（GCN）？我主要参考知乎上这个回答。这个回答从热传播模型开始说起，介绍了图卷积网络和热传播模型的关系，说明了图卷积网络方法的一般思路。本博客重述了该回答的主要内容。图卷积网络的本质“图中的每个结点无时无刻不因为邻居和更远的点的影响而在改变着自己的状态直到最终的平衡，关系越亲近的邻居影响越大。”结点状态的改变与GCN使用的Lapla...
2020-05-01 13:07:07
459
原创 《ResNeSt: Split-Attention Networks》笔记
IntroductionNAS系列方法大大提升了图片分类的精度，但是这些NAS系列方法是基于特定任务搜索出来的网络结构，提取出来的特征泛化性不高。而且NAS系列模型的训练效率和内存使用效率不高。NAS系列模型消耗很多内存，有些大模型不能使用合适的batch-size在GPU上训练。这限制了NAS系列模型用于其他应用，比如需要密集预测的分割任务。大多数针对计算机视觉任务的工作依然使用ResNet模...
2020-04-25 16:06:24
1135
1
原创 《Graph-FCN for image semantic segmentation》笔记
Introduction深度学习的语义分割方法使用卷积神经网络提取特征，这些特征因为下采样的原因损失了局部位置信息，而这些局部位置信息对于语义分割任务来说很重要。为了使特征保留局部位置信息，作者引入了Graph-FCN。作者首先使用语义分割网络的中间层特征层构造一个图网络模型，特征层的每个像素位置作为一个图节点，一个节点与它临近的节点连接。图网络模型传入GCN中，对图网络模型的每个节点进行分类，...
2020-04-18 13:02:27
2647
12
原创 《Scale-Aware Trident Networks for Object Detection》笔记
Introduction特征金字塔有一个缺点，它每层的特征都是由不同的参数卷积得到的，这样做牺牲了不同尺度下特征的一致性，这会减低训练数据的影响和在每个尺度下有过拟合的风险。这篇论文的目标就是生成对所有尺度都有效率的有统一表征能力的特征。论文首先从网络的感受野入手，研究不同的感受野对检测网络的影响。论文把conv4层的卷积层换成空洞卷积层，膨胀率从1到3分别做实验，实验结果如下从实验结果可...
2020-04-11 13:15:29
249
原创 《Learning Rich Features at High-Speed for Single-Shot Object Detection》笔记
Introduction论文针对目前一阶段目标检测方法在小物体检测的表现弱的问题，提出了一个新的一阶段目标检测框架。该框架主要的思路是在特征金字塔的过程中融入缺少的低级/中级特征，让低、中、高特征在各个级别的特征层上流动。另外，考虑到目标检测框架从头开始训练的效果更好，该框架结合了预训练模型微调和从头开始训练的优点。Method该框架的整体结构如下[外链图片转存失败,源站可能有防盗链机制,...
2020-04-03 14:11:48
341
1
原创 《Imbalance problems in object detection: A review》笔记
简介论文《Imbalance problems in object detection: A review》对目标检测中的不平衡问题做了综合的叙述。该论文对目标检测的不平衡问题做了系统性的分类，根据相关的输入属性，把不平衡问题划分成4大类，8个小类。与类别的不平衡问题相关的输入属性是不同类别的输入的边框数量，这也是这个类别的分类依据。前景类和背景类的边框数不同导致了前景-背景类别不平衡问题。...
2020-03-28 16:53:45
1206
原创 《Adapting Object Detectors via Selective Cross-Domain Alignment》笔记
Introduction深度卷积网络模型的性能非常依赖数据集。如果数据集的数据分布与现实生活的数据分布一致，深度模型能够表现出优异的性能。但是，现有的基础数据集只覆盖了有限范围内的场景。在现实世界的模型部署中，环境条件的变化，比如成像传感器、天气和光照的变化，会产生明显的域偏移，数据分布和数据集的数据分布不一致，导致了模型的表现性能下降。如下图所示，用城市风景数据集训练的检测模型在城市风景图像...
2020-03-21 21:36:46
812
原创 适用于目标检测的数据增强方法
论文《Learning Data Augmentation Strategies for Object Detection》研究了适用于目标检测的数据增强策略。该论文的思路和《AutoAugment: Learning Augmentation Strategies from Data》一样，选择一些常用的数据增强方法组成不同的策略，然后使用离散空间搜索算法找到适用于目标检测的数据增强策略。论文使...
2020-03-21 13:06:31
2610
原创 《AutoAugment: Learning Augmentation Strategies from Data》笔记
Introduction数据增强是提高分类模型精度的有效方法。大多数模型训练方法只是简单的使用数据增强方法，而没有探究该如何组合数据增强方法以获得最优的效果。该论文受到网络结构搜索方法的启发，搜索最优的数据增强方法。该论文定义了一个搜索空间，里面包括不同数据增强方法，称为子策略，然后用强化学习的方法从搜索空间中找到最优的策略。这种搜索数据增强策略的方法，称为AutoAugment。该方法有两种...
2020-03-13 15:59:47
1761
1
原创 《GhostNet: More Features from Cheap Operations》笔记
GhostNetIntroductionGhostNet是从模型设计方面精简卷积神经网络模型。Motivation卷积神经网络模型得到的特征中有许多特征是冗余的。比如下图是ResNet-50的第一个残差块得到的特征图，红色、绿色和蓝色框的特征图表现出非常高的相似性。同颜色的下一个特征图就像是上一个特征图的镜像(ghost)。而这些相似度高的特征图是由不同的卷积核参数计算得到的。作者的想法是...
2020-03-06 14:46:39
1010
原创 EM算法的推导、证明和例子
EM推导 1X={x1,x2,⋯ ,xN}\mathcal{X}=\{x_1, x_2, \cdots, x_N\}X={x1,x2,⋯,xN}: 观察数据z: 潜在变量似然估计函数logP(x;θ)=log∏iNP(xi;θ)=∑iNlogP(xi,θ)(1)\log P(x;\theta)=\log \prod_i^N P(x_i;\theta) = \sum_i^N ...
2020-03-01 13:25:10
334
原创 《Selectivity or Invariance: Boundary-aware Salient Object Detection》笔记
Introduction该论文利用显著性特征图（saliency feature map）来进行目标检测，得到物体的位置掩膜图(mask)，属于显著性目标检测模型（salient object detection, SOD）。SOD模型在处理物体内部和边界时面临相反的需求。内部的特征应该对强烈的外貌变化具有不变性（invariant）以便突出物体整体。然而边界的特征应该对外貌的轻微变化具有选择...
2020-02-15 12:15:07
875
原创 《DropBlock: A regularization method for convolutional networks》笔记
IntroductionDropout的思想是随机失活一部分激活单元，让输出的feature或feature map丢失一些信息，使得网络能够关注更多的有辨别能力的特征，而不是只关注某几个特征，从而使得网络更加鲁棒，从另一方面来说，dropout起到了正则化的作用。Dropout应用到卷积网络的feature map上，具体操作是在每个feature map上随机失活部分神经元。DropBlo...
2019-11-28 10:49:44
270
原创 《Self-Supervised Difference Detection for Weakly-Supervised Semantic Segmentation》笔记
Intorduction该论文讲述如何用弱监督的方法训练语义分割器。弱监督方法没有强监督信息，比如ground truth。在这篇论文里，语义分割的样本标签只有图片的分类类别。已经有许多方法能够从分类信息中生成语义分割的mask。论文在这些工作的基础上，对生成的语义分割的mask调整成更加准确的mask。输入的是粗糙的mask，输出是精细的mask的函数叫做mapping function。有...
2019-11-05 15:43:31
2112
9
原创 《Semi-Supervised Pedestrian Instance Synthesis and Detection with Mutual Reinforcement》笔记
Motivation该论文的内容是行人实例检测，针对的问题是数据集只有部分数据有标注，其他大部分数据没有标注，即半监督（semi-supervised）学习研究的内容。该论文使用GAN来生成行人实例样本，训练一个行人类别分类器，用该分类器对未标注的图片进行扫描分类，得到未标注图片的伪标注，最后使用有标注的数据和伪标注的数据训练重新训练检测器。Semi-supervised.适用情景：部分...
2019-11-02 11:19:33
375
原创 《Focal loss for dense object detection》笔记
目标检测中，类别不平衡问题很严重，特别是背景类和其他目标类的不平衡。一阶算法在一张图片上大概会评估104−10510^4-10^5104−105个候选位置，只有一些位置含有objects。训练样本类别不平衡会影响训练效果，导致分类器更倾向于预测数量非常多的背景类。针对这个问题，focal loss 把容易分类的类别的loss相对降低，其他类别的loss相对提高，从而保证网络能够正确学到东西。Fo...
2019-09-25 19:40:26
158
原创 《FreeAnchor: Learning to Match Anchors for Visual Object Detection》笔记
Introduction在目标检测中，从图片上预测出一些region proposals，这些region proposals会与预先设置好的anchors进行匹配，匹配的方式是nms，超过给定IoU阈值就匹配，否则不匹配。这种通过IoU指标进行匹配有缺点：在空间上对齐的region proposal，从它提取出来的特征不一定能够很好地预测object的类别和位置。论文给出了例子，对于长条形状的...
2019-09-23 09:18:20
1942
原创 《Learning Region Features for Object Detection》笔记
MotivationRoI pooing 是把 RoI 分成整齐的网格状的 bins，一共k×kk \times kk×k个 bins，在每个 bins 进行 pooling。这样一个RoI能够提取出k×k×ck \times k \times ck×k×c个特征（c表示通道数）。把RoI分成网络状的bins是hand-crafted，区域特征提取的方式可以设计的更加通用，而且减少人为的设计，即...
2019-09-14 18:54:06
199
原创 《Deformable part-based fully convolutional network for object detection》笔记
Introduction该论文参照传统目标检测方法DPM，在基于R-FCN的基础上，给网络添加了检测目标的部分形变的功能。把目标分成k×kk \times kk×k个网格部分，考虑到目标的各个部分在不同的场景下可能会发生形变或位置偏移，DP-FCN在R-FCN的结构上添加检测目标部分偏移量的额外结构。在网络中加入额外的目标形状位置信息，提高网络的目标检测的精度。Deformable part-...
2019-08-16 10:38:05
237
原创 《R-FCN: Object Detection via Region-based Fully Convolutional Networks》笔记
Introduction目标检测网络的backbone一般是分类网络，用网络的最后一层feature map的特征进行对目标的分类和定位。分类网络的高层feature map包含的是高层语义信息，具有平移不变性。平移不变性有助于分类任务，但是会影响目标定位，目标定位需要位置敏感的特征信息。平移不变性和平移变性这个两个矛盾的需求限制了目标检测网络的精度。作者实现了一个基于区域的全卷积网络R-FCN...
2019-08-11 11:06:09
160
原创 《Relational inductive biases, deep learning, and graph networks》笔记
该论文的作者来自AI界的两大组织——DeepMind和Google Brain，应该都是大牛。该论文主要回顾和总结现有的图网络，统一和扩展现有的方法，提出了自己的图网络结构 graph networks。Combinatorial generalization论文首先提出了一个观点：组合泛化combinatorial generalization。人类智慧的一个关键特征是能够“无限地使用有限的...
2019-08-04 14:31:45
444
原创 《Deformable Convolutional Network》笔记
IntroductionDeformable Convolutional Network 对卷积或池化的核的每个位置增加一个偏移量，与图片在非常规的滑动窗口中进行卷积或池化操作，以有效地对对象的空间形变进行建模。Deformable ConvolutionDeformable Convolution 首先通过一个卷积分支计算出卷积核的偏移量offsets。先对input feature ma...
2019-07-16 16:32:36
144
原创 《Structure Inference Net》笔记
Introduction这是一篇关于利用图像信息(scene-level context)和对象关系信息(object-object relationships)的目标检测网络。该论文把图像上的对象和对象之间的关系建模成一个图网络，如下图所示，每一个检测对象是图网络中的一个结点，而对象之间的关系(object-object relationship)是图网络的边。图网络包括结点VVV、有向边EE...
2019-07-15 16:14:03
713
原创 《Relation Networks for Object Detection》笔记
Introduction上下文信息或对象之间的关系有助于对象识别。该论文提出了一个对象关系模块，类似于自然语言处理的注意力机制。该对象关系模块使用对象的外貌特征和几何特征。后者模拟对象之间的空间关系，仅考虑它们之间的相对几何关系，使模块具有平移不变性——对象识别的理想属性。该对象关系模块对对象的外貌特征和几何特征进行加权操作得到新的特征，提高了目标检测的预测精度。同时，对象关系模块可以用于替换N...
2019-07-13 15:34:37
213
原创 《Spatial Memory for Context Reasoning in Object Detection》笔记
Introduction人是利用图像中的context来识别图像中的内容。在图像的目标检测任务中，一种很理所当然的改进方法就是利用图像中的context来推测图像中的对象。该论文提出了两种context类型，分别是image-level context和instance-level context。该论文显式地利用instance-level context，使用Spatial Memory N...
2019-07-11 19:59:08
1446
原创 SIFT论文翻译
Abstract本文提出了一种从图片中提取独特不变特征的方法，该方法可用于在对象或场景不同师徒之间执行可靠匹配。这些特征对于图像比例和旋转是不变的，并且被示为在大范围的仿射失真、3D视点变换、噪声的增加和光照的变化中提供鲁棒的匹配。这些特征非常独特，在某种意义上，单个特征可以与有许多图像的大型特征数据库高概率地正确匹配。本文还介绍了使用这些特征进行对象识别的方法。通过使用快速最近邻算法将各个特征...
2019-06-06 14:03:25
1375
原创 Gaussian Mixture Loss
Gaussian Mixture Loss前言该论文思考了深度神经网络提取的特征与类别之间的关系，假设学习到的特征服从高斯混合分布，提出了高斯混合损失函数，同时提高了特征的类内紧凑性和类间可分离性（intra-class compactness and inter-class separability）。Gaussian Mixture Loss 1假设：特征服从高斯混合分布。有K个类别...
2019-05-01 18:11:49
2916
原创 Large-Margin Softmax Loss
Large-Margin Softmax Loss前言前言Large-Margin Softmax Loss也是为了提高类内特征的紧凑性，拉大类间特征的间隔（intra-class compactness and inter-class separability）而提出来的。Large-Margin Softmax Loss1该论文提出了一个增大类间特征间隔的softmax loss。...
2019-04-30 14:30:50
488
原创 Center Loss
Center Loss前言在深度学习里，深度学习网络通常被看作是特征提取器（从第1层网络层到最后一层隐藏层），提取出来的特征x随后经过线性变换（WTxW^T xWTx）得到类别分数，通过softmax层计算损失。通常，我们没有对提取出来的特征x提出太大的约束，只要它能被最后一层分类器正确分类就可以了。特征x与其类别要有什么关系，需要特征x具有什么约束，这些都没有被明确地要求或规定。Softma...
2019-04-29 15:56:31
4246
4
原创 Batch Normalization的重新解释
有篇论文对于Batch Normalization（BN）如何加快网络的训练过程提出了新的看法，该论文为《How Does Batch Normalization Help Optimization?》Internal Covariate Shift首先说说BN提出来是针对什么问题的。BN那篇论文针对的问题是Internal Covariate shift (ICS)，具体地说，在训练过程中，...
2019-03-25 16:55:58
386
原创 《Supervised Descent Method and its Applications to Face Alignment》笔记
Introduction《Supervised Descent Method and its Applications to Face Alignment》是卡内基梅隆大学机器人研究所（The Robotics Institute）在CVPR2013发表的一篇论文，目前引用量有1K+。这篇论文提出了一种监督下降方法（SDM）用于最小化非线性最小二乘（non-linear Least Square...
2019-03-03 15:22:00
245
原创 《Face Alignment by Explicit Shape Regression》笔记
Introduction《Face Alignment by Explicit Shape Regression》发表在2012年的CVPR上。该论文的主要思想是不断调整已有的人脸特征点的位置，使得人脸特征点不断地往真实人脸靠拢，最终与真实人脸对齐，而且速度非常快。这个逐步缩小人脸特征点坐标误差的方法名为explicit shape regression，具体过程如下图所示：Motivati...
2019-03-03 15:11:11
1167
2
原创 Hessian Metrix
Hessian Metrix定义：在数学中，海森矩阵（Hessian matrix 或 Hessian）是一个多变量实值函数的二阶偏导数组成的方块矩阵，假设有一实数函数f(x1,x2,⋯ ,xn)f(x_{1}, x_{2}, \cdots, x_{n})f(x1,x2,⋯,xn)，如果fff所有的二阶偏导数都存在，那么fff的Hessian矩阵的第ijijij...
2019-01-21 16:51:16
257
原创 自动聚焦清晰度评价指标算法
自动聚焦清晰度评价指标算法自动聚焦简介自动聚焦最简单的做法是遍历所有的聚焦点，判断每个聚焦点成像图片的清晰程度或聚焦程度，使得成像镜头停在图片清晰度最高的聚焦位置上。这样做的缺点非常明显，聚焦点的数量是非常多的，判断每个聚焦点的图片清晰程度会使得自动聚焦过程特别长。更一般的做法是定义搜索策略，根据搜索算法遍历有限个数的聚焦点。这些做法都有一个关键的问题，如何判断图片的清晰度，如何设计一个清晰...
2019-01-14 18:49:24
5880
原创 DDEPM实例
DDEPM预测序列代码实例下面使用DDEPM1来预测几个时间序列函数。import numpy as npimport matplotlib.pyplot as plt%matplotlib inline%load_ext autoreload%autoreload 2class DDEPM(): def init(self, sequence): if l...
2019-01-05 10:39:33
570
翻译 Discrete Difference Equation Prediction Model (DDEPM)
Discrete Difference Equation Prediction Model (DDEPM)离散差分方程预测模型从灰度预测模型（grey prediction model）衍生出来，可以用于预测序列的发展趋势。DDEPM过程DDEPM的流程如下图所示其中x(0)x^{(0)}x(0)表示原始的序列，x(1)x^{(1)}x(1)表示DDEPM预测值。AGO表示累加生成器（A...
2019-01-04 19:40:53
506
原创 自动聚焦介绍
聚焦初中的时候，我们学过小孔成像的物理现象，在比较暗的环境下，蜡烛燃烧发出的光经过一个小孔，在小孔后面的白板上呈现蜡烛的倒像。根据这一原理，人们发明了相机。现在的相机一般是使用凸透镜把远方景物的光线聚集成一点，在这个点上放上成像元件，在电视电影里面看到的老式相机的成像元件是胶片，现在的数码相机是更先进的传感器，比如CCD，直接把光信号转成数字信号。聚焦的示意图如下所以。远出物体发射的光经过...
2018-12-24 10:30:18
2195
Jpcap安装包
2016-06-04
程序出现死锁了，为什么?
2017-04-24
gson解析对象数组，使用泛型封装报错
2016-10-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人