- 博客(159)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MVSFormer论文阅读和代码分析
特征表示学习是实现基于学习的多视点立体视觉的关键。作为基于学习的MVS的通用特征提取器，普通特征金字塔网络(FPNs)在反射和无纹理区域存在特征表示不理想的问题，限制了MVS的泛化。即使FPNs与预训练的卷积神经网络(CNN)一起工作，也无法解决这些问题。另一方面，视觉Transformers(ViTs)在许多2D视觉任务中取得了显著的成功。那么，ViTs是否能够促进MVS中的特征学习呢?本文提出一种预训练的ViT增强MVS网络，称为MVSFormer，它可以从ViT中受益于信息先验学习更可靠的特征表示。
2023-10-22 12:32:30
545
原创 深度估计的地面假设
则图像中每个像素对应的3D点，等于从相机光心发射的、通过该像素的射线与地面的交点。求解该交点，并将其投影到相机坐标系，即可得到每个像素距离地面的深度。平面外某条射线的起点。假设已知相机到地面的位姿。求：射线 和平面的交点。已知：空间平面上的点。
2023-09-13 23:08:43
193
原创 MVSNet,CVP-MVSNet论文阅读和代码解析
提出一种基于cost volume的神经网络，用于多视图图像的深度推断。我们证明了以一种coarse-to-fine的方式构建cost volume金字塔，而不是以固定分辨率构建cost volume，可以得到一个紧凑、轻量级的网络，并允许推断高分辨率深度图，以获得更好的重建结果。为此，首先以图像的最粗分辨率在整个深度范围内对前平行平面(fronto-parallel planes)进行均匀采样，以此为基础构建cost volume。然后，给定当前深度估计，我们在像素深度残差上迭代构建新的cost volu
2023-09-11 12:43:14
287
1
原创 流形上的预积分（下）
论文：IMU Preintegration on Manifold for Effificient Visual-Inertial Maximum-a-Posteriori Estimation引言接上文…考虑(31)中的预积分测量模型，由于测量噪声为零均值且为一阶高斯(35)，残差 rIij≡[rΔRijT,rΔvijT,rΔpijT]T∈R9\bold{r}_{\mathcal{I}_{ij}} \equiv [ \bold{r}_{\Delta \bold{R}_{ij}}^T , \bold{r}_
2022-11-05 22:34:54
570
1
原创 流形上的预积分（中）
论文：IMU Preintegration on Manifold for Effificient Visual-Inertial Maximum-a-Posteriori Estimation引言接上文…从旋转噪声开始:ΔR~ij=Ri⊤RjExp(δϕij)⇒Exp(−δϕij)≐∏k=ij−1Exp(−ΔR~k+1j⊤JrkηkgdΔt)(32)\Delta \tilde{\mathrm{R}}_{i j} =\mathrm{R}_{i}^{\top} \mathrm{R}_{j} \ope
2022-11-05 22:31:58
645
原创 流形上的预积分（上）
论文：IMU Preintegration on Manifold for Effificient Visual-Inertial Maximum-a-Posteriori Estimation引言本文提出了一个使用增量平滑（incremental smoothing）快速计算最大后验估计(MAP)的系统。第一项贡献是发展出了一种新颖的预积分理论。 预积分IMU测量的使用是在[26]中首次提出的，包括将两个关键帧之间的许多惯性测量组合成一个相对运动约束。 本文在此工作的基础上提出了一个预积分理论，该理论恰当
2022-11-05 22:27:38
804
原创 对极几何-三角测量-知识点
所谓极线约束就是说同一个点在两幅图像上的映射，已知左图映射点 ，那么右图映射点 一定在相对于 的极线上，这样可以减少待匹配的点数量。
2022-09-21 16:04:56
873
2
原创 3D Dynamic Scene Graphs论文阅读
3D Dynamic Scene Graphs: Actionable Spatial Perception with Places, Objects, and HumansAntoni Rosinol, Arjun Gupta, Marcus Abate, Jingnan Shi, Luca CarloneLaboratory for Information & Decision Systems (LIDS)Massachusetts Institute of TechnologyRSS2
2022-05-22 16:28:18
753
1
原创 CubeSLAM论文阅读
CubeSLAM: Monocular 3-D Object SLAMShichao Yang and Sebastian Scherer摘要In this paper, we present a method for single image three-dimensional (3-D) cuboid object detection and multiview object simultaneous localization and mapping in both static and dyn
2022-05-11 21:20:11
1057
原创 PL-VIO论文阅读
PL-VIO: Tightly-Coupled Monocular Visual–Inertial Odometry Using Point and Line FeaturesYijia He 1,2,* , Ji Zhao 3, Yue Guo 1,2, Wenhao He 1 and Kui Yuan 12018摘要To address the problem of estimating camera trajectory and to build a structural 3D map ba
2022-04-19 20:30:45
1368
原创 VDO-SLAM论文阅读
VDO-SLAM: A Visual Dynamic Object-aware SLAM SystemJun Zhang[co]1, Mina Henein[co]1, Robert Mahony1 and Viorela Ila21Australian National University, Canberra2University of Sydney, Sydney2020年摘要The scene rigidity assumption, also known as the static
2022-04-14 22:40:29
649
原创 光流估计算法RAFT的论文和代码阅读
RAFT论文和代码阅读RAFT: Recurrent All-Pairs Field Transforms for Optical FlowZachary Teed and Jia DengECCV2020 best paper摘要We introduce Recurrent All-Pairs Field Transforms (RAFT), a new deep network architecture for optical flow. RAFT extracts per-pixel fe
2022-04-08 22:12:00
3545
1
原创 PointNet++论文和代码阅读
PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric SpaceCharles R. Qi Li Yi Hao Su Leonidas J. GuibasStanford UniversityAbstractFew prior works study deep learning on point sets. PointNet is a pioneer in this direction. However, b
2022-04-03 19:28:27
4140
原创 Realsense的使用
获取Realsense的相关参数1.1获取Realsense的串口号rs2::context ctx;autodevs = ctx.query_devices();///获取设备列表intdevice_num = devs.size();std::cout<<"device num: "<<device_num<<std::endl;///设备数量///查看第0个设备的信息rs2::device dev = devs[0];///设备...
2021-08-21 17:47:47
3808
4
原创 NLP-结巴分词
结巴分词结巴分词是有国内程序员(https://github.com/fxsjy/jieba)做的一个分词工具，刚开始是Python版本的，后来由anderscui(https://github.com/anderscui/jieba.NET )移植到.Net上面。结巴分词的分词过程大致为：·前缀词典（Trie）：用于存储主词典，也可以动态增删词条，这个词典可以理解为jieba所“知道”的词，或者说已登录词；·有向无环图（DAG）：通过前缀词典，可以找出句子所有可能的成词结果；·最大概率
2021-08-21 11:01:25
2097
原创 聊天机器人-ChatterBot初试
聊天机器人ChatterBotChatterBot是一个基于Python的开源聊天机器人框架。ChatterBot支持中文，且可以在对话中实时改进。一个未经训练的ChatterBot实例开始时不知道如何通信。每次用户输入语句时，库都会保存他们输入的文本以及语句响应的文本。当ChatterBot收到更多输入时，它可以回复的响应数量以及与输入语句相关的每个响应的准确性都会增加。程序通过搜索与输入匹配的最接近的匹配已知语句来选择最接近的匹配响应，然后从选择对该语句的已知响应中选择...
2021-08-21 10:59:58
1166
原创 聊天机器人概述
目录<span style="color:#333333"><span style="background-color:#f5f5f5">1.前言2.机器人3.聊天机器人4.分类5.好的聊天机器人应该具备的特点6.基于模板的聊天机器人7.检索式聊天机器人8.生成式聊天机器人9.参考文献</span></span>前言 网上的资料太乱了，参考着网上的文章写了这篇关于聊天机器人的概述文章，文章的很多内容并非原...
2021-08-21 10:58:32
2816
原创 基于FPGA的车牌识别系统
程序基于Xilinx公司的Pynq-Z2开发板,使用opencv库完成车牌识别.项目背景和设计目的•车牌识别系统是计算机视频图像识别技术在车辆牌照识别中的一种应用，在高速公路、停车场、小区、道路等环境下有着广泛的应用。•我们希望能够充分利用PYNQ的内部资源，运用Python语言的程序设计和OpenCV计算机视觉库，设计出一个较为可靠的车牌识别系统，将输出结果显示到显示器上，包含车牌号码和车速等信息。•对于停车场门口或收费站等应用场景,本系统还可以直...
2021-08-21 10:57:09
7501
1
原创 聊天机器人-AIML人工智能标记语言
目录<span style="color:#333333"><span style="background-color:#f5f5f5">1.AIML简介2.AIML的安装3.AIML的使用4.AIML语法简介5.添加多个AIML文件6.加速AIML的载入7.会话和谓词</span></span>AIML简介 AIML，全名为A...
2021-08-21 10:54:24
2276
1
原创 2020论文计划
今天是2020年的第一天，这里列出来我今年的CV论文阅读计划，也包括我前面读过的一些论文。 15 Jan 2010.ReLU.Xavier Glorot,Antoine Bordes,Y. Bengio Deep Sparse Rectifier Neural Networks http://www.chenjianqu.com/show-63.html Jan 2012.AlexNet.Alex Krizhevsky，I Sutskever，G Hinton Ima.
2021-08-21 10:48:42
203
原创 OpenCV编译安装
最近重新开始使用opencv-cpp，有些项目需要的是OpenCV2，有些需要多是OpenCV3，这两个版本的如何共存是个值得研究多问题。这里记录一次OpenCV3和2的安装过程。安装OpenCV31.源码下载我这里使用的是OpenCV3.4.1，再github可以下载其源代码：https://github.com/opencv/opencv/tags?after=4.0.0-beta。2.依赖安装我使用的是opencv3.4.1，需要安装以下依赖.sudoapt...
2021-08-21 10:47:30
758
原创 Ceres和g2o的配置和使用
上文非线性优化介绍了非线性优化的基本求解方法，并使用C++手动实现了曲线拟合实例。本文介绍ceres和g2o库的配置方法，并通过曲线拟合实例介绍其使用方法。Ceres安装Google Ceres 是一个广泛使用的最小二乘问题求解库。在 Ceres 中，我们作为用户，只需按照一定步骤定义待解的优化问题，然后交给求解器计算即可。Google Ceres库的源码：https://github.com/ceres-solver/ceres-solver依赖项：...
2021-08-21 10:41:56
1690
原创 SLAM基本概念
SLAM (simultaneous localization and mapping),也称为CML (Concurrent Mapping and Localization),即时定位与地图构建，或并发建图与定位。问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图，所谓完全的地图（a consistent map）是指不受障碍行进到房间可进入的每个角落。整个视觉 SLAM 流程包括以下步骤。 1.传感器信息...
2021-08-20 11:10:57
5866
原创 点云地图的二维投影
通过SLAM或其他方式构建的点云地图是无法直接用于导航的，我知道的解决方案有三种：一、将点云地图二维投影，转换为可用于导航的二维栅格地图；二、将点云转换为Octomap八叉树地图，即可使用导航算法，比如RRT*进行三维导航；三、将实时点云数据转换为实时激光数据，这样就可以愉快的使用ROS的move_base和acml包了。这里尝试使用第一种方案。构建点云地图构建点云地图需要深度图和对应的位姿，这里使用高翔的<视觉SLAM14讲>的深度图和位姿。...
2021-08-20 11:05:09
4571
3
原创 ROS-OccupancyGrid学习笔记
OccupancyGridROS通过OccupancyGrid(占据网格)进行导航，OccupancyGrid由一个.yaml格式的元数据文件，和图片格式的地图数据文件组成。 地图元数据 地图元数据 xxx.yaml 的格式如下： image:testmap.pgmresolution:0.1origin:[0.0,0.0,0.0]occupied_thresh:0.65free_thresh:0.196negate:0 注释如下：imag...
2021-08-20 11:03:07
3496
原创 ROS-机器人导航
导航常用的数据类型std_msgs/Header标准消息头uint32seq#序号timestamp#时间戳stringframe_id#该数据所在的坐标系geometry_msgs/Point空间三维坐标float64xfloat64yfloat64zgeometry_msgs/Quaternion表示旋转的四元数float64xfloat64yfloat64zfloat64wgeometry_msgs/Po...
2021-08-20 11:00:51
2153
原创 YOLACT论文笔记
YOLACT: Real-time Instance Segmentation.Daniel Bolya,Chong Zhou,Fanyi Xiao,Yong,Jae Lee.来自加州大学戴维斯分校.摘要本文提出一个全卷积的、实时实例分割模型：YOLACT，使用Titan Xp在MS COCO上以33.5 fps达到29.8 mAP，可以说是第一个达到达到实时的现代的实例分割模型。这还是在单个GPU上训练就得到的结果。YOLACT将实例分割分成两个并行的子任务：(1)生成一组原型掩码(...
2021-08-20 10:57:37
1725
2
原创 QT5+ROS程序开发
很多时候我们开发ROS程序的时候，会遇到GUI的需求。有几种方法可以在ROS中开发GUI程序，比如使用rqt_qt。若基于Python语言，还可以使用pyqt、thinker等GUI库。若基于C++，最好的选择是QT。ROS官方是支持QT4的，比如可以使用catkin_create_qt_pkg创建qt功能包，而ROS中很多著名的工具都是基于QT4。但是2020年，谁还用QT4，当然是拥抱QT5了。此外，ROS并没有一个官方的IDE，虽然使用编辑器+命令行也能满足需求，但是带界面的IDE更加赏...
2021-08-20 10:54:47
9587
3
原创 SOLO论文笔记
论文：Xinlong Wang,Tao Kong,Chunhua Shen1,Yuning Jiang,Lei Li.SOLO: Segmenting Objects by Locations.阿莱德大学和字节跳动。摘要这篇论文提出了一个新的实例分割模型SOLO。与语义分割相比，实例分割任务由于实例数量的不确定,因此更加困难。为了预测实例掩码，主流方法要么“detect-then-segment”，比如Mask R-CNN；要么先预测每个像素的类别，再使用聚类技术划分实例。本文从...
2021-08-20 10:50:21
1097
原创 RetinaNet和Focal Loss论文笔记
论文：Focal Loss for Dense Object Detection.Tsung-Yi Lin Priya Goyal Ross Girshick Kaiming He Piotr Dollar.Facebook AI Research (FAIR)摘要当前最精确的目标检测算法是two-stage的，这类方法的的分类器处理的包围框是稀疏的。而单阶段目标检测器处理的是规则的、稠密的的包围框上，因此更快、更简单，但是精度不及两阶段目标检测算法。本文对这个现象进行了研究，认为...
2021-08-20 10:48:27
567
原创 终生学习(增量学习)概述
概念终生学习(Life Long Learning,LLL)，又称为Continuous Learning、Never Ending Learning、Incremental Learning，就是机器可以不断学习新知识，而不会忘记学过的知识。LLL需要解决三个问题：Knowledge Retention、Knowledge Transfer、Model Expansion。本文内容总结自李宏毅的PPT。1.Knowledge Retention问题提出Knowledge...
2021-08-20 10:46:38
2235
原创 IROS2019目标识别比赛
本文根据IROS 2019 Lifelong Robotic Vision: Object Recognition Challenge和IROS 2019 Lifelong Robotic Vision Challenge -- Lifelong Object Recognition Report这两篇报告总结而来，包括8个决赛队伍的方法和结果。比赛主页：https://lifelong-robotic-vision.github.io/competition/引言人类具有从外部环境...
2021-08-20 10:44:48
530
原创 MobileNet论文笔记
论文：Andrew G. Howard,Menglong Zhu,Bo Chen,Dmitry Kalenichenko,Weijun Wang,Tobias Weyand,Marco Andreetto,Hartwig Adam.Google Inc.MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications.摘要本文提出了一个轻量级的骨干网络：MobileNet，可应用在移...
2021-08-20 10:42:06
847
原创 Xception论文笔记
论文：Franc¸ois Chollet.Xception: Deep Learning with Depthwise Separable Convolutions引言本文将Inception模块解释为标准卷积和深度可分离卷积的中间步骤。此时深度可分离卷积可以看作一个具有最大分枝数的Inception模块。因此本文提出了一种新的卷积神经网络结构，其中Inception模块使用深度可分离卷积替代，称为Xception。在ImageNet数据集上，Xception性能轻微胜过Inceptio...
2021-08-20 10:39:50
826
原创 Inception-v4,Inception-ResNet论文笔记
论文：Christian Szegedy,Sergey Ioffe,Vincent Vanhoucke,Alex Alemi.Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning摘要非常深的卷积神经网络已经称为最近几年CV任务中的核心，比如Inception架构可以低计算代价实现高精度的特征抽取。本文在Inception-v3的基础上提出了Inception-v4，并将Ince...
2021-08-20 10:38:15
808
原创 DenseNet论文笔记
论文：Gao Huang, Zhuang Liu, Laurens van der Maaten, Kilian Q. Weinberger.Densely Connected Convolutional Networks.CVPR 2017摘要最近的研究表明，如果CNNs在靠近输入层和接近输出层之间使用较短的连接，那么可以更深入、更准确、更有效地进行训练网络。由此，本文提出了稠密卷积网络(DenseNet)，以前馈的方式各层相互连接。传统的L层CNNs有L个连接，每层与它前一层和后一...
2021-08-20 10:35:31
376
原创 基于图搜索的路径规划方法
ps:本文的相关图片来自与深蓝学院的课件。图搜索的基本概念Workspace：现实空间。配置空间：机器人表示为一个点，障碍物表示为无法达到的点。下面是不同的图的形式：抽象图、无向图、带权重的图、有向图。对于一个搜索问题，都对应一个状态空间图，图中节点之间的连接性由有向或无向边表示。如下图左的栅格地图就是以每个栅格为节点而构建一个搜索图，下图右的采样地图需要人为构建一个图：对图进行搜索可以得到一个搜索树：对于多数搜索...
2021-08-20 10:33:35
2221
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人