北漂人家

原创 视觉目标跟踪漫谈：从原理到应用

前言： 视觉目标跟踪 (visual object tracking) 是计算机视觉(computer vision) 领域的一个重要研究问题。通常来说，视觉目标跟踪是在一个视频的后续帧中找到在当前帧中定义的感兴趣物体 (object of interest) 的过程，主要应用于一些需要目标空间位置以及外观（形状、颜色等）特性的视觉应用中。1什么是视觉目标跟踪 跟踪是在一个视频的后续帧中找到在当前帧中定义的感兴趣物体 (object of interest) ...

原创 YOLOv4::Optimal Speed and Accuracy of Object 及code 各种新实现、配置、测试、训练资源）

闲谈： 今年初YOLO 之父Joseph Redmon宣布推出CV界，引起轩然大波，大家纷纷猜测YOLO是否不会再出v4版，退出历史舞台。 今天，YOLOv4重磅发布，作者为俄罗斯开发者 Alexey Bochkovskiy 和两位中国台湾开发者 Chien-Yao Wang、Hong-Yuan Mark Liao YOLOv4 没有理论创新，而是在...

转载 多层感知机（MLP）简介

一、多层感知机（MLP）原理简介 多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构，如下图： ...

原创 机器学习简要概述

通俗地讲，机器学习（Machine Learning，ML）就是让计算机从数据中进行自动学习，得到某种知识（或规律）。作为一门学科，机器学习通常指一类问题以及解决这类问题的方法，即如何从观测数据（样本）中寻找规律，并利用学习到的规律（模型）对未知或无法观测的数据进行预测。1.首先介绍下机器学习中的一些基本概念：包括样本、特征、标签、模型、学习算法等。以一个生活...

转载 python：pickle和训练模型保存、加载

在机器学习中使用pickle1. Python之pickle的用法（用于序列化和反序列化数据）该pickle模块实现了二进制协议，用于对Python对象结构进行序列化和反序列化Pickling是将Python对象层次结构转换为字节流的过程，而 “ unpickling”是逆运算，将字节流（来自二进制文件或类似字节的对象）转换回对象层次结构的过程。 python2.7导入import cPickle; python3导入import pickle 序列化指的是将对象的状态

转载 cython使用方法（不是 CPython）

cython概览参考文献：Cython的用法以及填坑姿势为什么用cython（注意区别于 CPython）因为项目需要，需要优化已有的Python代码。目前Python代码的执行过程是将Python代码转变成一行行指令，然后解释器解释指令的执行，调用到C代码层。如果去掉指令解释这个阶段，直接进入C代码层，效率就比较高了。如果用之前所述的使用Python C API将Python代码改造为C代码并作为Python的内建模块，工作量极其大，也不能保证其正确性，所以这种方法不太现实。而Cython库正

转载 python 在不同层级目录import 模块的方法

python包含子目录中的模块方法比较简单，关键是能够在sys.path里面找到通向模块文件的路径。下面将具体介绍几种常用情况:（1）主程序与模块程序在同一目录下:如下面程序结构:`-- src |-- mod1.py `-- test1.py 若在程序test1.py中导入模块mod1, 则直接使用importmod1或from mod1 import *;（2）主程序所在目录是模块所在目录的父(或祖辈)目录如下面程序结构:`-- src |-- mod1....

转载 图像处理之双线性插值法

图像处理之双线性插值法：https://blog.csdn.net/qq_37577735/article/details/80041586

转载 NVIDIA-SMI系列命令总结

转载https://blog.csdn.net/u013066730/article/details/84831552

转载 计算机视觉中的注意力机制

之前在看DETR这篇论文中的self_attention，然后结合之前实验室组会经常提起的注意力机制，所以本周时间对注意力机制进行了相关的梳理，以及相关的源码阅读了解其实现的机制01 注意力机制（attention mechanism）02 自注意力（self-attention）03 软注意力（soft-attention） 1、空间域注意力（spatial transformer network） 2、通道注意力（Channe...

原创 ypeError: __init__() got an unexpected keyword argument 'shape'

采用TensorFlow支持通过tf.Graph函数来生成新的向量图，代码如下：import tensorflow as tf# a = tf.constant([1.0,2.0],name="a")# b = tf.constant([2.0,3.0],name="b")# result = a+b# print(a.graph is tf.get_default_graph()...

原创 机器学习实战之k-近邻算法

k-近邻算法概述：简单地说，k-近邻算法采用测量不同特征值之间的距离方法进行分类 本书讲解的第一个机器学习算法是k-近邻算法（kNN），它的工作原理是：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相...

原创 目标检测中的不平衡问题综述

什么是不平衡问题？一个我们最常想到的不平衡问题是：目标类别的不平衡。比如猫狗数据标注数量差异比较大。但这只是类别个数这一个输入特性。将不平衡问题分成四种类型，如下表： 1. 类别不平衡：前景和背景不平衡、前景中不同类别输入包围框的个数不平衡；2. 尺度不平衡：输入图像和包围框的尺度不平衡，不同特征层对最终结果贡献不平衡；3. 空间不平衡：不同样本对回归损失...

原创 Online Video Object Detection using Association LSTM 总结

存在问题： 1. 利用基于图像的目标直接检测不能充分利用视频数据中内在的、丰富的时间信息，所以提倡对远程视频对象模式进行检测 2.传统的LSTM不能从根本上模拟连续帧之间的对象关联。解决方案： 基于上述两点问题，故提出了关联LSTM去处理连续帧之间的关联问题：关联LSTM不仅可以目标对象的位置和分类，也能够关联特征去表示每个输出对象（通过最小化这些特征之间的匹...

转载 机器学习算法中的准确率(Precision)、召回率(Recall)、F值(F-Measure)

摘要：　　数据挖掘、机器学习和推荐系统中的评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure)简介。引言：　　在机器学习、数据挖掘、推荐系统完成建模之后，需要对模型的效果做评价。业内目前常常采用的评价指标有准确率(Precision)、召回率(Recall)、F值(F-Measure)等，下图是不同机器学习算法的评价指标。下文讲对其中某些指标做...

转载 CNN中1*1 卷积核

卷积神经网络中卷积核的作用是提取图像更高维的特征，一个卷积核代表一种特征提取方式，对应产生一个特征图，卷积核的尺寸对应感受野的大小。经典的卷积示意图如下： 卷积核的大小一般是（2n+1）*(2n+1)的奇数乘奇数大小（n>=1），最常用的有3*3,5*5,7*7的。主要原因有两点：...

转载 拉格朗日乘数法

拉格朗日乘数法是用来求条件极值的，极值问题有两类，其一，求函数在给定区间上的极值，对自变量没有其它要求，这种极值称为无条件极值。其二，对自变量有一些附加的约束条件限制下的极值，称为条件极值。例如给定椭球 求这个椭球的内接长方体的最大体积。这个问题...

转载 物体检测的轮回: anchor-based 与 anchor-free

anchor-free 和 anchor-based 区别几何 这个问题首先需要回答为什么要有 anchor。在深度学习时代，物体检测问题通常都被建模成对一些候选区域进行分类和回归的问题。在单阶段检测器中，这些候选区域就是通过滑窗方式产生的 anchor；在两阶段检测器中，候选区域是 RPN 生成的 proposal，但是 RPN 本身仍然是对滑窗方式产生的 anchor 进行分类...

原创 卷积神经网络（其他卷积方式）

介绍一些其它的卷积方式：转置卷积 假设有一个高维向量为x ∈ ​​​​​​和一个低维向量为z ∈ ，p < d。如果用仿射变换来实现高维到低维的映射， z = Wx, (...

原创 典型的卷积神经网络

各层计算详解https://www.cnblogs.com/touch-skyer/p/9150039.html介绍几种广泛使用的典型深层卷积神经网络。（1）LeNet-5 （详解https://blog.csdn.net/happyorg/article/details/78274066） 基于LeNet-5 的手写数字识别系统在90 年...

原创 卷积神经网络中的参数学习

在卷积网络中，参数为卷积核中权重以及偏置。和全连接前馈网络类似，卷积网络也可以通过误差反向传播算法来进行参数学习。 在卷积神经网络中，主要有两种不同功能的神经层：卷积层和汇聚层。而参数为卷积核以及偏置，因此只需要计算卷积层中参数的梯度。 误差项的计算卷积层和汇聚层中...

原创 卷积神经网络（二）

卷积神经网络一般由卷积层、池化层和全连接层构成。 在全连接前馈神经网络中，如果第l 层有个神经元，第l − 1 层有个神经元，连接边有× 个，也就是权重矩阵有 个参数。当m和n都很大时，权重矩阵的参数非常多，训练的效率会非常低。 如果采用卷积来代替全连接，第L 层的净输入z(L) 为第L−1 层活性值a(L−1)和滤波器w(L) ∈ Rm 的卷积，即 ...

原创 卷积神经网络（一）

总体概述：卷积神经网络（Convolutional Neural Network，CNN或ConvNet）是一种具有局部连接、权重共享等特性的深层前馈神经网络。卷积神经网络最早是主要用来处理图像信息。如果用全连接前馈网络来处理图像时，会存在以下两个问题： （1）参数太多 （2）局部不变性特征（尺度缩放、平移、旋转等操作不影响其语义信息，而全连接前...

原创 U-Net: Convolutional Networks for Biomedical Image Segmentation 解析

网络结构包括一个捕获上下文信息的收缩路径和一个用于精确定位的对称扩张路径，该网络能使用很少的图像就能够进行端到端的训练，并且在ISBI对电子显微镜下神经元结构进行的分割挑战方面胜过先前的最佳方法（滑动窗口卷积网络）。结构卷积层： 无填充卷积+relu+（2*2，stride=2）的max pooling卷积滤波器的数量每次下采样后double。patch： 上采样的时候...

转载 卷积在深度学习中的作用

转自http://www.mamicode.com/info-detail-2340306.html 卷积可能是现在深入学习中最重要的概念。卷积网络和卷积网络将深度学习推向了几乎所有机器学习任务的最前沿。但是，卷积如此强大呢？它是如何工作的？在这篇博客文章中，我将解释卷积并将其与其他概念联系起来，以帮助您彻底理解卷积。什么是卷积？ 将卷积想象为信息...

转载 图像的上采样和小采样

上采样和下采样缩小图像（或称为下采样（subsampled）或降采样（downsampled））的主要目的有两个： 1、使得图像符合显示区域的大小； 2、生成对应图像的缩略图。放大图像（或称为上采样（upsampling）或图像插值（interpolating））的主要目的是放大原图像,可以显示在更高分...

转载 凸函数与凹函数

容易理解，若函数为凸函数，那么为凹函数。所以，讨论清楚了凸函数，等价于讨论清楚了凹函数。现在我们来讨论凸函数，现设一函数。在该函数定义域的凸区内任取两点。设一点，那么易得，该点必包含于之间。如图所示： 图中含...

转载 反向传播算法

一文弄懂神经网络中的反向传播法——BackPropagation　　最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大...

转载 归一化 （Normalization）、标准化 （Standardization）和中心化/零均值化 （Zero-centered）

 归一化： １）把数据变成(０，１)或者（1,1）之间的小数。 主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。 ２）把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加...

原创 多元复合函数的求导法则

转载 导数，偏导，方向导数，梯度

导数： 导数不仅仅表示该点切线的斜率，还反应了函数在该点的变化率。 ...

原创 前馈神经网络（Feedforward Neural Network，FNN）----最早发明的简单人工神 经网络

前馈神经网络的示例： 第0 层叫输入层，最后一层叫输出层，其它中间层叫做隐藏层。整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示 。（每一层的神经元可以接收前一层神经元的信号，并产生信号输出到下一层）前馈神经网络也经常称为多层感知器（Multi-Layer Perceptron，MLP）。...

原创 网络结构

要想模拟人脑的能力，单一的神经元是远远不够的，需要通过很多神经元一起协作来完成复杂的功能。这样通过一定的连接方式或信息传递方式进行协作的神经元可以看作是一个网络，就是神经网络。人工神经网络由神经元模型构成，这种由许多神经元组成的信息处理网络具有并行分布结构。目前常用的神经网络结构有以下三种： 前馈网络 ...

原创 神经元

人工神经元（Artificial Neuron），简称神经元（Neuron），是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接受一组输入信号并产出输出。 一个生物神经元通常具有多个树突和一条轴突。树突用来接受信息，轴突用来发送信息。当神经元所获得的输入信号的积累超过某个阈值时，它就处于兴奋状态，产生电脉冲。轴突尾端有许多末梢可以给其他个...

原创 主要介绍四种不同线性分类模型：SVM

支持向量机（Support Vector Machine，SVM）是一个经典两类分类算法，其找到的分割超平面具有更好的鲁棒性，因此广泛使用在很多任务上，并表现出了很强优势。 核函数 软间隔...

原创 主要介绍四种不同线性分类模型：感知器

我们主要介绍四种不同线性分类模型：logistic 回归、softmax 回归、感知器和支持向量机，这些模型区别主要在于使用了不同的损失函数。 感知器（Perceptron）由Frank Roseblatt 于1957 年提出，是一种广泛使用的线性分类器。感知器可谓是最简单的人工神经网络，只有一个神经元。 感知器是对...

原创 Softmax 回归

Softmax 回归（Softmax Regression），也称为多项（multinomial）或多类（multi-class）的logistic 回归，是logistic 回归在多类分类问题上的推广。 同样，我们贴一下wiki百科对softmax函数的定义：　　 softmax is a generalization of logistic fun...

原创 线性模型（线性判别函数和决策边界和 logistic 回归 ）

我们主要介绍四种不同线性分类模型：logistic 回归、softmax 回归、感知器和支持向量机，这些模型区别主要在于使用了不同的损失函数。 线性模型（Linear Model）是机器学习中应用最广泛的模型，指通过样本特征的线性组合来进行预测的模型。给定一个d 维样本[, · · · , ]T，其线性组合函数为 ...

原创 Logistic函数求导

Logistic函数是一种常用的S形函数，是比利时数学家 Pierre François Ver-hulst 在1844-1845 年研究种群数量的增长模型时提出命名的，最初作为一种生态学模型。...

转载 概率统计：数学期望、方差、协方差、相关系数、矩

一 、数学期望（均值）： 在概率论和统计学中，数学期望(mean)（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。是最基本的数学特征之一。它反映随机变量平均取值的大小。其公式如下： x...