迦小叶的博客

原创 近万字！关于相机标定，你想知道的这里全都有！（目的、数学原理、难点与代码）

相机标定的原理、实践与难点Definition确定相机成像的数学表达。MotivationDavid Marr的视觉计算理论提到过视觉的目的，在于从图像中建立对于物体的形状和位置的一个描述，这种描述有多个层次，而其中最高层是一种以物体为中心的完全三维的表达，那么要实现这一视觉最终目的，就需要从图像中完成对三维的重建。那么要实现对三维的重建，就离不开一个标定好的相机。为什么这么说呢？咱们可以从物理模型看一看，下面这张图是这个针孔相机的投影模型。比如说我们要从图像中确定一个物体的大小，假设先要确

转载 SIFT详解

https://blog.csdn.net/zddblog/article/details/7521424?utm_source=app&app_version=5.3.0

原创 OpenCV 4.5.2 SIFT使用方法 [error：‘SiftFeatureDetector’ is not a member of ‘cv::xfeature2d‘]

SIFT

原创 手动安装Ubuntu 16.04无线wifi驱动，任意网卡型号均可

安装Ubuntu连不上wifi？

原创 Ubuntu16.04安装cudnn最后检查版本时无输出的情况

参考官方教程安装参考教程在最后检查版本时，输入指令无反应cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2原因cudnn 8.0 之后将版本信息放在另一个头文件正确指令：cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2...

原创 计算机视觉中的多视图几何 -- 对极几何的推导

原创 机器学习判别式模型与生成式模型的区别

判别式模型直接计算P(Y∣X)P(Y|X)P(Y∣X),即对后验概率直接建模,如线性回归算法.生成式模型对P(X∣Y),P(Y)P(X|Y),P(Y)P(X∣Y),P(Y)建模,从数据中计算这些概率的参数值,再利用贝叶斯求后验概率.

原创 Involution论文解读：从卷积变换出的神经网络新算子

这篇文章来自CVPR2021，作者是港科大计算机系在读，本科毕业于清华，个人主页。Motivation既然是从卷积出发，我们需要先梳理卷积。卷积的操作如上图所示，是目前神经网络里最基础的算子。它具备两个特性：空间不变性因为卷积网络采用滑窗的形式，所以对于一张图片的各个部分，是共享卷积核参数的，相比于全连接网络，它在某个像素处，只考虑一个小邻域的信息，相当于加了一个很强的正则。这个特性的好处是大大降低了图像处理所需的参数量，以及使得网络输出具有平移不变性，也就是某一个特征不管出现在图像的.

原创 张氏相机标定法与绝对二次曲线的联系

Introduction相信很多人在看张正友教授的经典论文：A flexible new technique for camera calibration的时候，都会遇到一个问题，就是在2.4 Geometric Interpretation 部分，会发现看不懂，因为涉及到一个新的概念：Absolute Conic（绝对二次曲线）。一个通用的解决方法是去看Multiple view Geometry那本书，如果不想去花太多时间，可以看看我的一个总结。Absolute Conic Ω∞\Omega_\i

原创 计算机视觉中的多视图几何 -- 有限射影摄像机模型

有限摄像机模型摄像机是将三维世界中的点映射到二维世界的一种传感器，在齐次坐标坐标下，它可以表示为矩阵形式：秩为3的3x4矩阵。本篇先从最简单的针孔摄像机模型开始，逐步将该模型一般化，得到带有一定约束的摄像机矩阵（左边3x3的子矩阵非奇异）-- 有限摄像机模型。在下一篇则是将这个非奇异约束去除，得到更一般的摄像机矩阵 – 一般射影摄像机模型。三个基本坐标系摄像机模型可以理解为在三个基本坐标系之间的变换，所以先介绍三个基本坐标系。世界坐标系物体在真实世界中的坐标，可以自己选择位置。相机

原创 计算机视觉中的多视图几何 --3D射影几何中的面与直线

3D射影几何与变换（1）这篇主要介绍在3D射影几何中的基本元素，包括平面和直线，以及他们各自的性质。3D射影几何的许多内容是2D射影几何的直接推广，但也有许多不一样的地方，比如这篇要介绍的一个重要不同：在IP3IP^3IP3中，点与平面对偶，而直线自对偶。平面平面方程在3D空间中，平面方程写作：π1X+π2Y+π3Z+π4=0\pi_1 X + \pi_2 Y + \pi_3 Z + \pi_4 = 0π1​X+π2​Y+π3​Z+π4​=0显然，该等式乘一个非0标量仍成立，所以只有

原创 计算机视觉中的多视图几何 -- 射影空间与齐次坐标

计算机视觉中的多视图几何 引言这篇是引言，主要对射影几何的来源、齐次坐标等进行一个高屋建瓴的阐述。为什么需要射影空间欧式几何是我们最熟悉的几何空间，描述了真实世界中物体的角度和形状。但是它有一个特别麻烦的地方：为了推理该几何的一些基本概念，需要给出一些例外。比如直线的交点，我们不能大胆地说，两条直线都交于一点，因为有平行线的存在，一种弥补的方法是说平行线交于无穷远点，但在欧式空间中，并不能从代数上表示无穷远点，所以并不能让人信服。射影空间则是规避这个问题而产生的，即在平行线的相交处补充无穷远点来

原创 计算机视觉中的多视图几何 -- 2D射影几何与变换 --无穷远直线、虚圆点及其对偶以及恢复图像的仿射性质

2D射影几何与变换（3）这篇主要介绍在2D射影几何中的无穷远直线、虚圆点及其对偶二次曲线，以及他们各自对应的图像的仿射和度量性质。无穷远直线定义IP2IP^2IP2中的理想点（齐次坐标第三项为0）构成的直线，称为无穷远直线（I∞=(0,0,1)TI_{\infty}=(0,0,1)^TI∞​=(0,0,1)T）。在2D射影空间中，任意直线都与无穷远直线有交点，所以无穷远直线也可以看作是所有直线方向的集合。正因为指明了无穷远直线，2D射影空间比2D欧式空间更为完备。图像的仿射性质对于

原创 计算机视觉中的多视图几何 -- 2D射影几何与变换 -- 相似、仿射与射影变换的层次

2D射影几何与变换（2）这篇主要介绍在2D射影空间中的变换，以及各种变换的层次。几何研究的重点在于各种变换群下，不变的性质，对应于Gibson生态视觉中的环境不变量，是计算机视觉研究的重点。射影变换定义射影变换是从IP2IP^2IP2【射影空间，由平面向量齐次坐标构成，剔除（0，0，0）】到自身的一个可逆映射，他把直线映射到直线，也称为保线变换、射影映射或单应（Homography）。是IR3IR^3IR3上的一个线性变换。充要条件每一个射影变换都对应一个非奇异的KaTeX pars

原创 David Marr-《视觉计算理论》-思想总结

D. Marr计算机视觉领域的开山鼻祖。”David Marr生于1945年1月19日，早年就读于剑桥大学，获得数学硕士、神经生理学博士学位，同时还受过神经解剖学、心理学、生物化学等方面的严格训练。他在英国曾从事新皮层、海马，特别是小脑方面的理论研究。1974年访问美国，并应M.Minsky教授之请，留在麻省理工学院开展知觉和记忆方面的研究工作。他从计算机科学的观点出发，熔数学、心理物理学、神经生理学于一炉，首创人的视觉计算理论，从而使视觉研究的面貌为之一新。Marr于1980年11月17日在波士顿病死

原创 深度学习的数学基础之优化理论

基于梯度的优化深度学习中，输入输出都是向量，不同于单输入输出的梯度优化，输出对于输入的梯度有许多个，数学上将这些梯度组成一个矩阵，称为Jacobian矩阵。Jacobian矩阵由输出对输入的一阶导数组成，定义为：Ji,j=df(x)idxjJ_{i,j}=\frac{df(x)_i}{dx_j}Ji,j​=dxj​df(x)i​​有时候，我们也对二阶导数感兴趣，他会给我们关于极大极小的信息。同样的，对于多维输入与输出，其二阶导数组成Hessian矩阵。Hessian矩阵由二阶导数组成的矩

原创 神经网络的万能近似定理

一个前馈神经网络如果具有线性输出层和至少一层具有任何一种“挤压”性质的激活函数（非线性单元）的隐藏层，只要给予网络足够数量的隐藏单元，它可以以任意精度来近似任何一个从一个有限维空间到另一个有限维空间的Borel可测函数。Borel可测函数： 定义在RnR^nRn的有界闭集上的连续函数是Borel可测的。...

原创 在路径中对字符按照数字顺序排序

对于路径中的‘1.jpg’, ‘2.jpg’, ‘11.jpg’，我们希望得到按数字顺序的排序，但直接sort会得到’1.jpg’, ‘11.jpg’, ‘2.jpg’，所以可以采用下面的方法，用正则表达式实现：对‘1.jpg’,‘2.jpg’,'11.jpg’进行排序 import re pic_path=os.listdir(pic_dir) pic_path.sort(key=lambda i: int(re.search(r’(\d+)’, i).group()))对‘1_1.jp

原创 计算机视觉中的多视图几何 -- 2D射影几何与变换 -- 齐次坐标下的点、直线与二次曲线

2D射影几何与变换（1）这篇主要介绍在2D射影空间中，点、直线与二次曲线的相关概念。射影几何的核心在于从更高的维度看2维世界，从而可以得到很好的一些性质。点与直线直线平面上的直线可以用ax+by+c=0ax+by+c=0ax+by+c=0来表示，那么就可以用向量(a,b,c)T(a,b,c)^T(a,b,c)T来表示一条直线，称为直线的齐次向量，因为(a,b,c)T(a,b,c)^T(a,b,c)T和k(a,b,c)Tk(a,b,c)^Tk(a,b,c)T表示同一个直线。具有这种齐次性的向量称为

原创 opencv找亚像素角点的方法

亚像素角点角点的定义就是在原图上很突出的点，一般意义上，这种点在两个正交方向上的梯度都很明显，所以就先将其理想为国际象棋棋盘的样子。那么要求角点的亚像素精度的坐标，需要的就是找坐标的约束。如上图所示，如果一个点q是可能的角点，那它周围的点p就有两种情况。p点在平坦处，其梯度为0.p点在边缘，其梯度方向与pq向量方向垂直。不难发现，这两种情况下p的梯度与pq向量的点积都为0.那么求角点的原理就是在可能的点q的周围找许多点p，求其梯度与pq向量的点积，采用优化算法令这些点积接近于0，变量是q

原创 基于python-opencv的相机标定原理详解及难点分析和实现（含代码）

单目相机标定原理及实现基于python-opencv。原理整体的原理是张氏标定法，也就是用棋盘图片来完成标定的方法，由张正友教授在98年提出参考论文。手撕公式首先是从数学上推导标定的可行性，公式较多！ 标定原理的最底层一定是从相机投影矩阵说起，因为标定的目的就是要求得相机的相关成像参数。那么对于针孔相机模型，其投影的过程可以通过数学模型来描述，不过在此之前，先要介绍三个坐标系。世界坐标系为三维世界建立的坐标系，点常用大写字母表示，齐次坐标坐标为Q=[X,Y,Z,1]Q = [X,

原创 SuperGlue:基于图神经网络和注意力机制的特征点匹配网络

SuperGlueBackgroundSuperGlue是Magicleap团队在SuperPoint后的又一力作，其思路与方法之巧妙不输SuperPoint，完成的任务也是传统视觉问题中特征点提取和描述（SuperPoint）的后一步–特征点匹配。说起匹配，最传统的就是直接根据上一步提取出的特征描述子，计算两者间的欧式距离来衡量匹配的概率，也就是俗称的最近邻搜索（NN Search）。最近几年，随着深度学习的发展，有学者将处理点云数据的网络PointNet应用到匹配任务中，如PointCN，OAN

原创 Superpoint论文详细解读

Superpoint论文详细解读对于一篇论文，应该用何种框架去解构？之于背景的目的、之于目前challenge的出发点、新的ideal、验证实验、不足和后续。对于Learning-based方法，又该如何弄清楚它？输入、输出、结构、loss、训练方法、metric背景Superpoint的作者Daniel DeTone来自Magicleap，一家做AR的独角兽。作者在Superpoint之前，还发过几篇相关的文章，可以看作是Superpoint的酝酿过程。第一篇是做单应矩阵估计的‘Deep i

原创 传火：YOLO V1

YOLO V1概览YOLO是You Only Look Once的简称，和人眼识别物体一样，看一眼就能识别出来，YOLO力求实现端到端的目标检测，只用一个简单的神经网络结构，从单张图片就可以输出图中目标的位置和目标的种类，而且因为其没有其他检测网络的复杂结构（说的就是你，Faster RCNN），所以其检测速度很快，可以实现实时的目标检测。YOLO诞生之前 – 无火的时代Long May The Sunshine. 在YOLO之前，目标检测的方法是从图像分类衍化而来，毕竟检测的第一步确实是

原创 论文笔记 | The Fundamental Matrix: Theory, Algorithms, and Stability Analysis

原创 论文笔记 | Deep Fundamental Matrix Estimation

原创 CV神经网络基础

原创 深度学习发展历史概述

原创 吴恩达深度学习课程笔记（13）|深层神经网络

原创 网络正则化理解

原创 吴恩达深度学习课程笔记（12）|HomeworkWeek2

主要是搭建了含有一个隐藏层的网络，做了一个非线性分类的任务。

原创 论文笔记|OANet-ICCV2019

THU在PointCN[1]的基础上，强化了local/global context capture,提出了新的用于两图匹配点建立的网络–Order-Aware Network[2]，发在ICCV2019。[1] K. M. Yi, E. Trulls, Y. Ono, V. Lepetit, M. Salzmann, and P. Fua, “Learning to Find Good C...

原创 pytorch函数理解 | DataLoader, Conv2d, ConvTranspose2d... (Real-Time Updating)

原创 Python实现的双目相机标定系统

Python实现的自标定系统copyright@EasonRequirementspython-opencv 3.14numpyossys基本流程Created with Raphaël 2.2.0Load DatasetEstimate Fundamental matrixGet essential matrixGet camera matrix[R t]Rectify Im...

原创 论文笔记 | Universal Correspondence Network 通用匹配网络

原创 吴恩达深度学习课程笔记（11）| 激活函数

原创 吴恩达深度学习课程笔记（10）|神经网络的表示和计算

原创 吴恩达深度学习课程笔记（9）| HomeWork 1

原创 数字图像处理四 | 灰度形态学操作原理及python实现

图像处理总结4灰度形态学之前说过：形态学起源于法国巴黎高等矿业学院，因为人家是搞地质的。可见一斑，形态学的精要就是在于将图像看作是等高线组成的地形图，他的基本操作就是动土，平高填低等等。之前的二值形态学针对的是二值图片，在地形上，就像是现代的建筑，拔地而起没有一定的梯度。而这篇是针对灰度图片的形态学，这时的图片就更像自然界的地貌，像山川，像河谷。基本操作基本操作也是腐蚀和膨胀。...

原创 数字图像处理三 | 二值形态学操作（Distance Transform, 骨架提取，Conditional Dilation）的原理及Python实现

图像处理总结3二值形态学形态学起源于法国巴黎高等矿业学院，因为人家是搞地质的。可见一斑，形态学的精要就是在于将图像看作是等高线组成的地形图，他的基本操作就是动土，平高填低等等。当然，这是哲学层面的抽象概念，太玄，还是整点实际的。需要注意的是，这里处理的图片都是二值图片（0 or 1）。基本操作结构元素（SE）就是你要动土的那块地方多大，以及要怎么动土。腐蚀（Erosion）：...