- 博客(38)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Non-Local Neural Networks
一.摘要卷积操作和循环神经元操作都是建立了一个处理一个局部范围信息的一个过程.本文呈现了一种非局部(non-local)操作,可以作为用于捕获长范围依赖的一类模块.本文提出的non-local操作在计算feature map上某点的响应值时就是通过对feature map上所有点与当前点的关系加权求和的一个结果.本文提出的non-local模块可以插入到许多计算机视觉网络结构中并取得不错的效果.二.Non-Local Neural Networks2.1公式2.2实例高斯编码高斯
2021-11-18 22:21:05
7347
1
原创 DeepLabv3+
一.摘要本文在进行语义分割任务时将空间金字塔池化模块或encoder-decoder结构引入到深度神经网络中。以前的网络通过对输入的feature map使用多种尺度的卷积核或者池化操作以及多种感受野能够编码出多尺度的环境信息。而之后的一些工作中提出的网络通过逐渐恢复空间信息能够捕获更加精细的物体边界。在本文中，将以上两种优势（多尺度特征+恢复空间信息）进行结合。特别地，本文提出的deeplabv3+在deeplabv3的基础上加入了简单却有效的decoder模块去细化分割结果，特别是物体的边界。二
2021-11-14 16:43:47
20852
1
原创 PointNet
一.摘要我们设计了一个新颖的神经网络类型，可以直接使用点云数据作为输入，并且能够很好的实现对输入点的排序不变性，即对于输入点的顺序变化不会产生输出结果的变化。所提出的网络对分类、部分分割以及场景语义解析提出了一个通用的结构。...
2021-10-13 15:29:11
1000
原创 EfficientDet训练cv2.imread返回None
EfficientDet代码:https://github.com/zylo117/Yet-Another-EfficientDet-Pytorch针对训练时efficientdet目录下的dataset.py文件中第52,53行中cv2.imread数据读取时出现None这个问题,首先检查了图片路径并没有问题,之后也没有找出是什么原因,通过如下方式解决:将下面代码def load_image(self, image_index): image_info = self.coco
2020-12-31 21:51:37
252
原创 Attentional Feature Fusion论文阅读
论文地址:https://arxiv.org/pdf/2009.14082.pdf代码地址:https://github.com/YimianDai/open-aff
2020-12-31 10:49:32
1157
1
原创 YOLOV2
继YOLOV1之后，这篇文章主要讲解YOLOV2，YOLOV2可以说是在YOLOV1的基础之上采取了一系列的trick去进行改进。YOLOV2在YOLOV1的基础之上效果也有了明显的提升，接下来开始介绍YOLOV2的改进之处。一.增加BN层相对于YOLOV1，YOLOV2中加入了batch normalization层，加入BN层之后作者发现对于模型收敛有着明显的提升，并且发现BN层后将D...
2020-04-23 20:08:29
483
1
原创 Meta-SR: A Magnification-Arbitrary Network for Super-Resolution论文阅读笔记
1.论文要解决的问题单一图像超分辨率旨在通过使用一副高分辨率图像降级后的低分辨率图像来重构这副高分辨率图像，即通过对一副低分辨率图像放大得到一副高分辨率图像，然而在现实生活中放大倍率或放大尺度不应当只是一个固定的正整数，任意尺度的放大有着极其重要的现实使用价值。例如，可以通过滑动鼠标滚轮来任意放大图像。然而，限于内存消耗等原因，我们不可能对于每一个尺度都训练一个模型并存储。因此，使用一个单一模...
2020-03-04 18:04:30
709
原创 Generative Adversarial Nets论文阅读笔记
这篇博客用于记录Generative Adversarial Nets这篇论文的阅读与理解。对于这篇论文，第一感觉就是数学推导很多，于是下载了一些其他有关GAN的论文，发现GAN系列的论文的一大特点就是基本都是数学推导，因此，第一眼看上去还是比较抵触的，不过还是硬着头皮看了下来。废话不多说，下面就介绍GAN的基本原理。一.摘要摘要部分主要说明了，作者通过一个对抗训练过程来估计生成模型，...
2020-02-05 23:36:06
896
3
原创 关于pytorch的gpu并行的问题
在深度学习任务中，使用多gpu并行操作是必不可少的，因为深度学习任务的计算量之大导致使用cpu进行计算会相当耗时，而gpu的计算速度是cpu的几十倍甚至上百倍。这是因为gpu内部是采用并行计算，而cpu采用的是串行。pytorch深度学习框架也能够指定多gpu并行，使用gpu并行需要指定以下几步：（1）声明可见物理gpu：这一步相当于告诉程序只能够看见那几块gpu，在python中声明如下...
2019-05-11 14:39:51
2229
1
原创 DensityPeaks寻找outlier
DensityPeaks是一种基于密度的聚类方法，其也可以用于检测异常值。其基本思想就是认为那些距离样本群落较远且自身周围又没有多少样本的样本点很有可能就是异常值。要说明DensityPeaks，首先说明密度的概念，什么叫密度呢，实际上就是给定某个半径，则某个样本点的密度定义为以此样本点为圆心，以半径做圆，落入圆内的样本点个数叫做这个样本点的密度，其数学定义如下所示：则为第i个样本点的...
2019-02-23 00:20:16
498
1
原创 kmeans与kmeans++
kmeans：kmeans为一种简单的聚类算法，是一种无监督学习算法，主要作用是将众多无标签样本聚为指定的几个类。接下来简单介绍一下kmeans。首先，我们假设聚类中心为，每个聚类中心有一个簇，每个簇的样本个数依次为。则我们认为k-means的损失函数为，则，令可以得到。因此，最优的聚类中心应当在每个簇的均值点处。从另一个角度来看，我们假设每个簇均服从正太分布，且方差都相等，但均值不等，其均值...
2019-02-18 23:18:25
6871
9
原创 MMAS
MMAS(Min Max Ant System)最大最小蚂蚁系统是在2000年提出的，MMAS与AS的差异主要在于以下几点：（1）采用精英规则，即在每次蚂蚁构造完解之后，只更新最优解对应路段上的信息素，这个解可以是历史最优解也可以是当前代最优解。如果只使用历史最优解的话那么有可能会造成算法过早收敛，算法的开发性强，但是探索性较弱，有可能会陷入局部最优，而使用当前代最优解可以一定程度避免这种...
2019-02-03 00:02:37
4883
7
原创 有限级信息素蚁群算法
有限级信息素蚁群算法使用路径等级作为信息素更新的依据，相比于传统的蚁群算法，舍弃了目标函数作为信息素更新的依据这一方法。在TSP问题中，目标函数实际就是路径长度，在传统的蚁群算法中信息素更新量为Q/f(x)，其中Q为某一常数，而f(x)就是目标函数值，即路径长度。而在有限级信息素蚁群算法中在这一点做出了改变。首先给出算法的基本步骤：步骤1：设定初始参数，初始化信息素步骤2：按照路径选择...
2019-01-14 11:39:41
2207
2
原创 多分类学习
多分类任务实质上可以使用多个二分类器来解决。这篇博客主要介绍三种使用二分类器解决多分类任务的方法。虽然softmax之后使用交叉熵损失也可以解决多分类任务，但这篇博客不介绍这种方法。这篇博客主要介绍以下三种方法，这三种方法均是基于对训练集的拆分来进行操作的。（1）一对一（One vs One，简称OvO）设数据集为，。OvO的思想就是使每两个类构造一个二分类器，之后使用投票方式来进行预测。...
2018-12-21 12:38:53
2091
2
原创 卷积神经网络（CNN）
卷积神经网络是深度学习中常用的一种网络结构，经常用来做图像识别等计算机视觉方面的应用。卷积神经网络同传统机器学习方法来做图像识别最大的一个不同点就是不需要人为的去寻找图像特征，卷积层会自动提取图像特征。那么接下来就说一说卷积神经网络的基本结构：（1）卷积层卷积是数学当中的一个定义，在这里不进行过多的说明，我们只说明在CNN中是如何进行卷积运算的。也许人们一听到卷积这个词语第一感觉就是很复杂...
2018-12-03 15:19:13
581
原创 softmax_cross_entropy
在tensorflow中对于分类问题采取的损失函数常常使用cross_entropy损失函数,我们常用的函数如下所示cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits=y_hat_tensor, labels=y_true)其中,logits参数是用来填写神经网络输出层输出的tensor的,而labels是用来传入...
2018-11-11 21:18:06
848
原创 单隐层前馈神经网络
这篇博客主要介绍神经网络基础，单隐层前馈神经网络与反向传播算法。神经网络故名思议是由人的神经系统启发而得来的一种模型。神经网络可以用来做分类和回归等任务，其具有很好的非线性拟合能力。接下来我们就来详细介绍一下但隐层前馈神经网络。首先我们来看一下神经元的数学模型，如下图所示：可以看到为输入信号，而神经元最终输出为，由此我们可以看到，单个神经元是多输入单输出的。但是从上图我们可以看到，...
2018-11-04 20:10:37
13199
4
原创 EM算法
EM算法是一种迭代求解隐变量概率模型参数的一种算法，其本质就是使用极大似然估计，但与以往不同的是，它并没有直接对似然函数求极大，而是以求取似然函数的下界的极大来近似逼近似然函数的极大，那么接下来就详细介绍一下这个算法。在介绍这个算法之前，首先介绍一下Jensen不等式：首先我们给定一个函数形状如下所示：显然它是一个凸函数，那么凸函数的定义是什么呢？如图所示，我们可以得凸函数的定义就...
2018-09-15 21:22:55
401
原创 梯度提升
这篇博客用来介绍梯度提升（Gradient boosting），在前向分步算法中，如果我们使用平方损失或者指数损失，那么其每一步的优化过程是很简单的，但是如果采用其他的损失函数呢，往往优化并不容易。因此这里给出一种更加通用的方式去求得最终的模型，即计算损失函数在当前模型上的梯度值，采取梯度下降的方式，使得当前模型逐渐逼近最优模型。在这里我们基模型还采用决策树（实际上为CART树），并且我们要解...
2018-09-07 21:18:22
1399
原创 前向分步算法与提升树模型
本篇博客主要来说明前向分步算法以及通过前向分步算法构造的提升树模型。首先，我们假设某一模型公式具有如下形式：其中我们称为基函数，为此基函数的系数，而为基函数的相关参数，我们称这样的模型为加法模型；我们通过使用这样一个模型来进行回归于分类任务。然而，这样一个模型改如何来构造呢？我们采用一种叫做前向分步算法的方法来构造这么一个模型。首先我们给定损失函数如下所示：那我们的任务...
2018-09-04 12:31:13
701
原创 Adaboost
这篇博客主要介绍提升方法中的Adaboost算法。在现实中，得到弱分类器要比得到强分类器更加的容易，因此，我们往往能够得到一些弱分类器。如果我们已经得到了一些弱分类器，我们能否将其提升为强分类器呢？其实是可以的，实际上我们只需要对每个弱分类器进行一定的组合，使每个弱分类器对最后的分类结果的决定都有一定的“话语权”，然而每个弱分类器的话语的分量又有所不同，这样由多个弱分类器进行组合，我们就得到了...
2018-09-02 13:37:57
1596
2
原创 支持向量机（下）
上两篇博客分别介绍了线性可分支持向量机，线性支持向量机，那么这篇博客为大家简要介绍非线性支持向量机。我们知道，对于线性不可分的数据，线性分类器是不可能将其分开的，但我们往往可以利用一条曲线或者是一个曲面将其分开。此时我们就说这是一个非线性可分的问题。对于这类问题，我们该如何解决呢？其实，想法也很简单，我们只需要将低维输入空间中的样本通过非线性映射映射到高维特征空间，样本在高维空间中近似线性可分...
2018-08-30 13:29:51
599
原创 支持向量机（中）
这篇博客为大家介绍第二类支持向量机，线性支持向量机上一篇博客中已经为大家介绍过线性可分支持向量机，其处理的是线性可分的样本集合，这篇博客主要为大家介绍线性支持向量机，主要处理的是线性不可分的样本集合，但最终构建的还是线性的分类超平面。对于线性不可分的数据集，我们如果还采用线性可分支持向量机的目标函数和约束条件肯定是不可行的，因为，对于线性不可分的数据，我们构建的线性分类超平面一定会出现误分...
2018-08-25 01:28:37
295
原创 支持向量机（上）
支持向量机（support vector machines, SVM）是一种二分类模型，当然它也可以用作解决回归问题，这里我们只讲解其在分类问题上的应用。之前已经写过感知机模型，支持向量机就是在感知机的基础上加上了间隔最大化的概念以及核技巧，间隔最大化使得其泛化能力要优于感知机模型，而核技巧使其具有了处理非线性数据的能力。支持向量机分为：线性可分支持向量机 线性支持向量机 非线性支持向...
2018-08-21 12:44:21
596
原创 协同过滤
这篇博客介绍一下本人对协同过滤算法的一点粗浅的理解协同过滤是一种经典的推荐算法，其主要功能是进行预测和推荐。协同过滤算法主要是通过对用户的历史数据进行挖掘，从而获取用户的偏好，进而对用户进行推荐。协同过滤算法主要分为两类：第一类是基于用户的协同过滤算法(user-based collaboratIve filtering)，第二种是基于物品的协同过滤算法(item-based collabor...
2018-08-13 01:28:10
1151
原创 决策树
这篇博客用来简要介绍决策树算法（DecisionTree）决策树是机器学习中常用的一种算法，它即可用于解决分类问题，也可用于解决回归问题，在这篇博客我们只介绍分类决策树。决策树顾名思义是一种树形结构，而我们的任务就是想办法构建出这样一颗树用它来进行分类。在开始介绍决策树的构建之前，首先介绍几个相关概念，信息熵、条件熵以及信息增益：信息熵：我个人的理解，信息熵就是用来衡量一个随机...
2018-07-27 12:59:07
15852
2
原创 逻辑回归
这篇博客为大家简单介绍logistic regression的基本原理。首先在这里先说明一下，虽然名字叫做逻辑回归，但实质上这是一个分类模型，实质上它是一个对于对数几率的回归。...
2018-07-13 01:35:43
293
原创 线性回归
这篇博客为大家介绍线性回归模型，也是本人写的第一篇回归模型的博客。之前介绍的模型预测结果都是离散值，也就是机器学习当中的分类问题，那么机器学习中还有一大类预测问题，其预测结果为连续值，我们称之为回归问题。线性回归属于机器学习中最基础的回归模型，因此，首先介绍线性回归模型。虽然线性回归模型是最基础的模型，但是其重要性也是不容小觑的。在很多实际项目应用当中，其效果还是不错的。首先我们用一个案例来引出线...
2018-07-11 01:08:40
2469
原创 K近邻
这篇博客给大家介绍一下k近邻分类算法。k近邻算法可以认为是机器学习中最简单的算法了，其原理简单，直观。k近邻输入为样本的特征向量；输出为样本类别，不只是二分类，也可以是多分类问题。...
2018-07-04 01:37:35
932
原创 感知机
这篇博客主要是为大家介绍一下感知机模型。感知机模型是机器学习当中的一个二分类器模型，并且是一种线性分类器。模型的输入为样本的特征，输出为样本类别，或者称之为样本标记。...
2018-07-02 16:45:18
1590
原创 蚁群算法理解与实现
蚁群算法，也是优化算法当中的一种。蚁群算法擅长解决组合优化问题。蚁群算法能够有效的解决著名的旅行商问题（TSP），不止如此，在其他的一些领域也取得了一定的成效，例如工序排序问题，图着色问题，网络路由问题等等。接下来便为大家简单介绍蚁群算法的基本原理。...
2018-06-27 21:49:51
23123
3
原创 遗传算法
由于本人在研究生期间，许多论文中涉及到优化问题，即给定某个目标函数，以及一些约束条件来求解最优值以及最优解。对于求解这类优化问题，遗传算法是一种不错的选择。接下来，我将分享给大家我对于遗传算法的一些拙见，如有不足之处，请大家多多指正。遗传算法，顾名思义就是根据生物界的遗传进化行为而得名的，其核心思想就是优胜劣汰。首先让我们先简单回顾一下生物界的遗传进化过程，假设存在某一物种，其种群在一代一...
2018-06-18 18:02:06
37326
12
线性分类器与非线性分类器
2017-10-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人