Matrix_11-CSDN博客

原创计算摄影资源汇总

计算摄影资源汇总计算摄影是一个交叉学科，融合了图像处理，光学，信号处理，计算机视觉，计算机图形学，优化，机器学习等各个领域，计算摄影最早在国外的大学里只是一个比较小众的研究方向，比如早期斯坦福大学的光场，相机阵列，以及杜克大学的多光谱成像等，基本还是停留在学术研究阶段，而且比起计算机领域的识别，检测，分割，跟踪等方向来说，计算摄影这块算是比较低调的一个研究方向。这些年，随着智能手机拍照的兴起，计算摄影也获得了越来越多的关注，因为以前的单反相机，尺寸比较大，所以长焦比拼的都是镜头模组的设计，sensor

2020-07-12 10:50:52 2447 1

原创机器学习笔记

博客专栏：机器学习PDF 文档下载地址：Machine Learning 学习笔记机器学习 scikit-learn 图谱人脸表情识别常用的几个数据库机器学习 F1-Score, recall, precision机器学习 DeepDreaming with TensorFlow (三)机器学习 DeepDreaming with TensorFlow (二)机器学习 DeepDre...

2015-02-05 19:01:01 4999

原创图像特效及滤镜算法汇总

OpenCV 版：OpenCV 图像处理图层混合算法：PS图层混合算法之一（不透明度，正片叠底，颜色加深，颜色减淡）PS图层混合算法之二（线性加深，线性减淡，变亮，变暗）PS图层混合算法之三（滤色，叠加，柔光，强光）PS图层混合算法之四（亮光，点光，线性光，实色混合）PS图层混合算法之五（饱和度，色相，颜色，亮度）PS图层混合算法之六（差值，溶解，排除）图像调整算法...

2015-01-15 17:41:34 16348 3

原创读书笔记--金字塔原理

界定问题：也就是使用连续分析的方法来界定问题：背景 —— R1（非期望结果）—— R2（目标，即期望结果）—— 实现R1到R2的解决方案。结构化分析问题：标准流程是收集信息–描述发现–得出结论–提出方案。金字塔内部结构的逻辑关系。

2024-04-05 21:32:46 305

原创浅谈泰勒展开与优化

优化，可以说是最常见到的一类数学问题，尤其在深度学习时代，大部分的工作都是围绕着数据构建，模型设计，loss 设计来开展的，深度学习训练模型的目的是拟合训练数据，或者说让设计的 loss 最优，无论是拟合训练数据，还是让 loss 最优，这都涉及到优化问题。有些函数很复杂，比如现在的 AI 模型，AI 模型本身也是一种函数，只是这个函数的表达式过于复杂，已经不能显式地将表达式写出来了。对于这类优化问题，大家都知道可以用梯度下降结合链式法则去优化，现在的深度学习，本质上也是上面这种形式，

2024-03-24 14:38:42 950

原创论文阅读：Face Deblurring using Dual Camera Fusion on Mobile Phones

今天介绍一篇发表在 ACM SIGGRAPH 上的文章，是用手机的双摄系统来做人脸去模糊的工作。这也是谷歌计算摄影研究组的工作。快速运动物体的运动模糊在摄影中是一个一直以来的难题，在手机摄影中也是非常常见的问题，尤其在光照不足，需要延长曝光时间的场景。最近几年，我们也看到了图像去模糊领域的巨大进步，不过大多数的图像去模糊方法的算法开销很高，需要依赖很高的算力，同时在处理高分辨率图像时还存在局限于不足。

2024-03-17 09:59:08 1028

原创论文阅读：Iterative Denoiser and Noise Estimator for Self-Supervised Image Denoising

随着深度学习工具的兴起，越来越多的图像降噪模型对降噪的效果变得更好。然而，这种效果的巨大进步都严重依赖大量的高质量的数据对，这种对大量训练的依赖，在真实环境中比较难获取，这在一定程度上限制了这些降噪模型的实际应用。为了克服对数据的依赖，很多研究者也开始探索自监督的学习方法，这类方法可以不依赖成对的数据。然而，由于噪声先验的不可获得以及特征提取不够有效，同样也让这类自监督学习方法实用性及精确性大打折扣。这篇文章提出了一个 Denoise-Corrupt-Denoise （DCD）的自监督学习的流程框架。

2024-03-10 08:12:54 922

原创论文阅读：Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography

这是一篇发表在 CVPR2023 的文章，文章的作者之一是 Felix Heide，是普林斯顿大学的一名教授，也是计算成像领域的一个大牛，主要研究计算成像，软硬件联合优化等课题。这篇文章的出发点是基于如下的假设，三维空间的场景通过相机的内外参投影到相机所在的二维平面，如果有深度信息，和相机的内外参，那么可以得到不同视角下的二维图像。那么反过来说，如果我有一组序列图像，这组序列图像可以看成是同一个三维空间的场景在二维平面的投影，那么这组序列图像之间借助深度信息和相机的内外参是可以互相转换的。

2024-03-03 10:14:59 918

原创论文阅读：Differentiable Compound Optics and Processing Pipeline Optimization for End-to-end Camera Desig

这是一篇发表在 2021 年 ACM TOG 上的文章，TOG 是图形学领域的顶刊，不过也会经常发表一些关于计算成像相关的文章，这篇文章的作者之一是 Felix Heide，普林斯顿大学的一名教授，也是计算成像领域的一个大牛，这个老师主要做一些计算成像相关的工作，尤其是软硬件联合优化这块，这篇文章算是这个老师早期的一个研究工作。

2024-02-18 22:22:25 948 1

原创论文阅读：GamutMLP A Lightweight MLP for Color Loss Recovery

这篇文章是关于色彩恢复的一项工作，发表在 CVPR2023，其中之一的作者是 Michael S. Brown，这个老师是加拿大 York 大学的，也是 ISP 领域的大牛，现在好像也在三星研究院担任兼职，这个老师做了很多这种类似的工作，通过一些轻量模型，将一些数据转换过程中的变换关系进行拟合，然后再进行恢复，比如 RAW域到 sRGB 域的转换，这篇文章是 wide RGB 到 sRGB 的转换。表示最终恢复的 wide gamut 的 RGB 值，网络的输入是一个五维的向量。是一个色彩转换矩阵，

2024-02-13 09:38:21 1408

原创论文阅读：Learning Lens Blur Fields

光学模糊是光学镜头的固有性质，因为实际镜头都存在各种各样的像差，光学模糊与物距，焦距，入射光线的波长都有关系。光学镜头的表现可以用点扩散函数，也就是 PSF 来表示，实际镜头的 PSF 场非常复杂。这篇文章提出一种标定的方法，来构建这样一个实际光学镜头的 PSF 场，然后设计了一个高维的神经表征来学习这个 PSF 场。文章中用 MLP 来建模这个神经表征，这个镜头模糊场，可以准确地获得镜头在成像面的不同成像位置，不同对焦设置以及不同深度下的 PSF；

2024-02-03 09:32:37 1298

原创论文阅读 Self-Supervised Burst Super-Resolution

这篇文章介绍了一种基于自监督的学习方式来进行多帧超分的任务，这种方法只需要原始的带噪的低分辨率的图。它不需要利用模拟退化的方法来构造数据，而且模拟退化的方法又可能存在域差异的问题，可能无法匹配真实场景下的图像分布。另外，它也不同于那种同时拍摄手机和高清单反的弱配对的方法，弱配对的方法，需要进行实际的数据的采集，无法实现大规模的数据构造，而且也不用担心会出现手机与单反的颜色差异问题。为了避免模拟退化以及采集数据对的这些问题，文章提出利用自监督学习的方法，从低清带噪图像中直接学习超分模式。

2024-01-14 09:37:46 1176

原创论文阅读：Blind Super-Resolution Kernel Estimation using an Internal-GAN

这是发表在 2019 年 NIPS 上的一篇文章，那个时候还叫 NIPS，现在已经改名为 NeurIPS 了。文章中的其中一个作者 Michal Irani 是以色 Weizmann Institute of Science (魏茨曼科学研究学院) 的一名教授，对图像纹理的内在统计规律有着很深入的研究，提出了很多基于单帧图像的 GAN 模型。这篇文章也是提出了基于单张图像的一种 Internal-GAN 模型，也算是最早开始尝试研究用深度学习进行盲超分的工作，今天看来，依然有一定的借鉴意义。

2023-12-24 16:45:04 680

原创论文阅读：Learning sRGB-to-Raw-RGB De-rendering with Content-Aware Metadata

大多数的 Camera ISP 会将 RAW 图经过一系列的处理，变成 sRGB 图像，ISP 的处理中很多模块是非线性的操作，这些操作会破坏环境光照的线性关系，这对于一些希望获取环境光照线性关系的 CV 任务来说是不友好的，对于这类任务来说，线性的 RAW-RGB 图像来说更合适，不过，一般的 RAW-RGB 图像的 bit 位都是 12 或者 14 比特的，直接存储 RAW-RGB 图像比较费存储空间。

2023-12-17 09:40:02 531

原创论文阅读：Auto White-Balance Correction for Mixed-Illuminant Scenes

自动白平衡（AWB）是相机 ISP 通路中比较重要的一个模块，主要用于校正环境光照引起的色偏问题，不过常见的 AWB 算法都是基于单光照的假设去做的，然而，实际场景中都是多光源环境，这篇文章提出了一种高效的方法去处理实际场景中的多光源问题，与传统 AWB 方法的一个显著不同点在于，这篇文章不需要对光照进行估计，而是通过对一组预设的白平衡参数，将预设的白平衡参数的权重进行调节，然后加权得到混合光照下的白平衡效果，实验结果说明这种方法相比之前的单光照或者混合光照下的白平衡算法都更有效。

2023-11-19 09:06:20 792

原创论文阅读：Graphics2RAW: Mapping Computer Graphics Images to Sensor RAW Images

CG 渲染得到的图像与相机拍摄得到的图像越来越像了，这种摄影级的渲染逼近效果让越来越多的 CG 渲染图像参与到 high level 的计算机视觉任务的训练数据构建中，比如自动驾驶领域和图像分割领域，有很多的 CG 渲染图像构建的数据集。不过 CG 渲染图像，还无法像 high level 任务一样，可以很便捷地应用到 low level 的图像处理领域，尤其是对于处理对象会 sensor RAW 的图像。

2023-10-22 08:28:12 310

原创论文阅读：Seeing in Extra Darkness Using a Deep-Red Flash

本篇文章提出了一种新的闪光灯技术，利用一个深红波段的闪光灯进行补光，文章作者说，他们主要观察到在明亮环境下，人眼由视锥细胞主导成像感知，在暗光环境下，人眼主要由视杆细胞主导成像感知。人眼的视杆细胞对波长大于 620nm 的红外光谱并不敏感，然而相机 sensor 依然有感应。文章作者提出了一种新的调制策略，通过 CNN 网络实现图像引导的滤波，将一张有噪的 RGB 图像与一张闪光拍摄的图像进行融合。

2023-10-15 15:33:51 898 1

原创论文阅读：DisCO Portrait Distortion Correction with Perspective-Aware 3D GANs

文章的摘要，一开始就介绍说，近距离成像的时候，人脸会产生比较明显的变形，使得最终的成像看起来不太自然。这篇文章提出了一种有效的方法来解决这个问题。首先，将 GAN inversion 作用于有形变的人脸图像上，联合优化得到对应的相机参数以及人脸的 latent code，为了解决这个联合优化的多义性问题，文章作者提出了一种顺序优化的策略，先对虚拟相机的焦距进行重参数化，然后再从一个较短的物距开始优化，最后还有一个几何的正则化。

2023-09-24 17:07:26 155 1

原创论文阅读：Distortion-Free Wide-Angle Portraits on Camera Phones

广角摄影，可以带来不一样的摄影体验，因为广角的 FOV 更大，所以能将更多的内容拍摄进画面，在多人集体合影的时候，一般用广角可以将大家都拍到，但是广角摄影也有弊端，最显著的问题就是畸变，随着 FOV 的增加，画面边缘的人很容易发生变形，比如人头，身体被拉伸。这种畸变让画面边缘的人与真实的人差异很大。这篇论文就是为了解决广角摄影下的畸变问题的。给定一张广角下的人像照，文章中的算法是通过构建一个能量优化函数，将球极投影下的人脸区域与透视投影下的背景区域的位移 mesh 进行联合优化，从而达到一个畸变校正的目的。

2023-09-03 16:49:01 969 1

原创近轴成像的相关性质

本文介绍薄透镜近轴成像的一些性质，所谓近轴成像，就是入射光线非常靠近光轴，意味着入射角很小。

2023-07-02 10:45:01 769

原创费马原理与光的反射折射

光传播的路径是光程取极值的路径。

2023-07-01 21:07:36 1408

原创论文阅读：Denoising Diffusion Probabilistic Models

在 AE 之后，出现了 DAE，也就是 Denoising Autoencoder，DAE 与 AE 的流程也非常类似，唯一的区别在于编码器的输入，AE 的编码器的输入是原始的高维向量，而 DAE 的编码器的输入是对原始高维向量加入噪声扰动之后的高维向量，DAE 就是希望把加了噪声的高维向量恢复成原始的高维向量，这个过程有点像是对高维向量去噪，所以就叫 Denoising Autoencoder。是从原始图像分布中抽取的一个初始样本，然后每次叠加少量的噪声，生成一系列的带噪图像，扩散与采样过程的程序。

2023-06-11 15:13:44 1420

原创论文学习笔记：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

文章的作者在摘要一开始就说他们提出了一种新的 vision transformer，叫做 swin transformer，能够作为视觉任务的通用骨干网络。然后作者说将 transformer 从 NLP 领域迁移到视觉领域的时候，因为两个领域之间的诸多差异，所以面临很多的挑战。一个是分辨率上的差异所带来的，因为视觉一般需要处理的都是图像，图像的分辨率比起文本来说维度要高很多。

2023-06-03 16:40:14 1077

原创论文学习笔记：ViT Vision Transformer An Image is worth 16X16 words

首先看摘要部分，文章作者一开始就提到说虽然 transformer 已经成为了 NLP 领域的主流模型，但是在 CV 领域，这个模型的使用还是非常的受限。因为 transformer 模型里面的核心模块是 attention 机制，所以作者接下来说到，在视觉领域，attention 要不与卷积神经网络一起使用，要不是用 attention 去替换卷积神经网络里的一些模块，但是整体的 CNN 架构还是保持的。

2023-05-14 15:00:42 380 1

原创论文学习笔记：Transformer Attention Is All You Need

在主流的序列转录模型中，主要是依赖复杂的循环网络或者卷积神经网络，这类模型都包含一个 Encoder 和 Decoder。在性能最好的模型里，通常会在编码器与解码器之间使用一个注意力机制进行连接。这篇文章提出了一个简单的架构，称为 Transformer，仅仅只依靠注意力机制，不再需要循环或者卷积。文章提出的模型，在两个机器翻译任务上取得了更好的效果，同时具备更好的并行化以及更少的训练耗时。同时模型泛化到其它任务上也有不错的表现。

2023-05-01 10:32:56 1074

原创 Image Deconvolution with the Half-quadratic Splitting Method

在处理图像重建或者逆问题的时候，我们经常会看到一种称为 Half-quadratic Splitting（HQS）的方法，这是在优化领域里非常经典的一种方法，之前也断断续续地找了很多相关的资料，发现斯坦福大学的计算成像课里某一节 lecture note 把这个方法在图像反卷积中的使用介绍地非常详细。这篇文章也是基于这个 lecture note 的一个学习笔记。一般来说，图像的成像过程可以用下面的式子表示：b=c∗x+η(1) b = c * x + \eta \tag{1}b=c∗x+η(1)其中，b

2023-04-09 09:07:18 1021

原创论文解读：High Dynamic Range and Super-Resolution from Raw Image Bursts

论文解读：High Dynamic Range and Super-Resolution from Raw Image Bursts今天介绍一篇发表于 2022 年 ACM Tranaction on Graphic 上的文章，这篇文章通过多帧曝光将 HDR 与 SR 放在一起解决，与一般的文章不同的地方在于，这篇文章是在 RAW 域处理这个问题。

2023-03-05 11:52:20 582

原创论文阅读：NeRF Representing Scenes as Neural Radiance Fields for View Synthesis

论文阅读–NeRF Representing Scenes as Neural Radiance Fields for View Synthesis这是 2020 ECCV 的一篇文章，记得好像还获得了最佳论文奖的提名，这篇文章相当于将自由视点生成这个方向开辟出了一个新的解决思路。文章的作者们提出了一种可以对复杂场景进行新视点生成的方法，这个方法只需要少量的不同视角的输入，通过优化一个潜在的连续体场景函数，从而可以对复杂场景的新视角进行渲染，获得非常逼真的渲染效果。

2023-02-26 07:52:49 1257 1

原创光，影像与计算摄影

手机的计算摄影，同样经历了几个阶段，早期的手机运算能力较弱，只能实现一些简单的图像处理算法，所以早期的手机摄影，可以看到明显的粗糙感，和美学是完全没有关系的，随着手机芯片制程的提升，从十几纳米，到十纳米，现在最好的手机芯片可以到 5 纳米，甚至 3 纳米，这意味着手机的运算能力有了质的飞跃，很多复杂的图像处理算法都可以支持了，这个时候，计算摄影才是真正的爆发了。从标准镜头，到广角，到长焦；人类经过漫长的进化，发展出一套神奇的视觉系统，可以感受色彩，可以适应暗光，通过调节瞳孔的大小，还能控制进光量；

2023-01-14 16:22:10 1006

原创论文阅读：Practical Deep Raw Image Denoising on Mobile Devices

论文阅读： Practical Deep Raw Image Denoising on Mobile Devices旷视 2020 ECCV基于深度学习的降噪方法在近几年得到了大量的研究，这些方法的效果也霸榜了很多公开的数据集。不过这些方法用到的网络模型都很大，无法在手机端侧运行。这篇文章的作者设计了一种能够在手机端运行的轻量级地的降噪模型，而且在主流的旗舰机上还取得了不错的效果。

2022-11-20 17:24:53 1000 1

原创论文阅读：Hyperparameter Optimization in Black-box Image Processing using Differentiable Proxies

Hyperparameter Optimization in Black-box Image Processing using Differentiable ProxiesABSTRACT在我们的日常生活中，我们会接触到各种各样的数码设备，不管是直接接触，比如手机，相机等；还是间接接触，比如城市里的监控摄像头等。这些数码设备都有一个复杂的成像系统，我们一般称为 ISP (image signal processing)，ISP 可以硬化之后运行在硬件单元，也可以通过 “软算法” 实现，一般来说，ISP

2022-05-29 13:56:38 698 2

原创论文阅读：Deep Bilateral Learning for Real-Time Image Enhancement

Deep Bilateral Learning for Real-Time Image EnhancementABSTRACT对于移动端的图像处理，性能功耗是一个非常大的挑战，这篇文章提出了一种新的网络架构可以实现实时的图像处理，这种网络架构是基于 bilateral grid processin 和 local affine color transforms，利用成对的输入-输出图像，文章作者训练一个卷积神经网络去预测 bilateral space 中的局部仿射变换模型的系数，这个网络结构可以同时在

2022-05-14 07:56:59 1343 1

原创论文解读：Deep High Dynamic Range Imaging of Dynamic Scenes

Deep High Dynamic Range Imaging of Dynamic ScenesAbstract这篇文章介绍了一种在动态场景中，如何将不同曝光的图像进行融合从而得到高动态图像的方法，我们知道，在动态场景中，将不同曝光的图像进行融合是非常挑战的，现有方法的一种就是先对多帧不同曝光的图像进行配准对齐，都对齐到某一参考帧上，然后再讲对齐后的图像进行融合。但是有的时候，这种配准对齐会引入 artifact，而这些 artifact 在最终融合的图像上会有 ghost 残留，也就是我们说的鬼影残

2022-04-17 09:48:57 1387

翻译有趣的纹理合成

有趣的纹理合成texture synthesis，中文翻译叫纹理合成，是一个很有趣的计算机渲染技术，简单来说，就是通过给定的有重复纹理的小图，通过这种纹理合成技术，可以渲染出一张有类似纹理的大图，而且完全看不出什么违和感。如下图所示：可以看到，小图和大图之间的相似性很高，但是也可以注意到，并不是所有的小图都可以达到这样的效果，关键是图像里面有相似的重复纹理，当你把小图随机切成很多小的 patch 的时候，可以发现这些 patch 之间有很高的相似性，这是这类纹理合成方法的基础：利用 patch 之间的

2021-11-17 21:16:38 2389

原创相机的内外参与相机标定

相机的内外参与相机标定我们所生活的现实世界是一个三维的世界，人类生活期间，已经能够熟练地估计周围物体的深度及定位，但是，现在的照相机一般都只能拍摄二维图像，场景从三维变到二维的时候，一个最重要的信息，深度，就丢失了，在只是为了观赏的时候，一个二维的图像也是足够的，如果想做导航，定位及其它3D 重建等应用的时候，这个深度信息及物体之间的相对关系，距离就显得很重要了，如何从二维图像，估计出真实的三维世界，也是计算机视觉一个比较重要的任务，由此发展出多视几何，计算几何等学科。相机的内外参估计，是几何测量的基础

2021-11-04 22:03:07 10227 1

原创图像的几何变换

图像的几何变换在图像处理中，我们经常会进行两种类型的操作，一种是像素值的变换，最常见的比如直方图均衡，对比度，颜色的变换，这一类都属于像素值的变换；还有一种是几何变换，比如常见的旋转，平移，仿射变换，透视变换等。像素值变换：这种变换，主要改变像素值的大小，但不会改变像素的坐标几何变换：这种变换，会改变像素原有的坐标关系，但一般不会改变像素值接下来，我们就来看看图像常见的一些几何变换当我们讨论几何变换的时候，我们首先需要建立一个坐标系，最常见的就是笛卡尔坐标系，以二维空间为例，笛卡尔坐标系，以相

2021-10-26 21:23:07 1970

翻译利用 FFT 模拟菲涅尔衍射积分

利用 FFT 模拟菲涅尔衍射积分一束光线穿过一个孔径为 S′S'S′ 的平面，在距离平面为 LLL 的时候，其波函数可以由菲涅尔积分定义：Ψ(r,t)=C∫S′eik∣r−r′∣∣r−r′∣cos⁡(θ)d2r′,withC=kΨ0e−itw2πi \Psi(\mathbf{r}, t) = C \int_{S'} \frac{e^{ik|r-r'|}}{|r-r'|} \cos(\theta)d^2r', \quad with \quad C = \frac{k \Psi_{0} e^{-itw}}{

2021-10-17 22:52:29 2418

原创图像处理与傅里叶变换

图像处理与傅里叶变换一维傅里叶变换连续域F(w)=∫−∞∞f(x)e−j2πwxdx F(w) = \int_{-\infty}^{\infty} f(x) e^{-j2\pi wx} dx F(w)=∫−∞∞f(x)e−j2πwxdxf(x)=∫−∞∞F(w)ej2πwxdw f(x) = \int_{-\infty}^{\infty} F(w)e^{j2\pi wx}dw f(x)=∫−∞∞F(w)ej2πwxdw离散域F(k)=1N∑x=0N−1f(x)e−j2πkx/N,k=

2021-10-10 23:10:22 1448

原创光学系统中的像差

费马原理费马原理A more modern statement of the principle is that rays of light traverse the path of stationary optical length with respect to variations of the path光线在介质中传播的时候，在所有可能的传播路径中，会选择光程最稳定的那条。均匀介质中光沿直线传播对于一个光学系统来说，最简单的情况，就是一个点光源通过光学系统，最终会汇聚成一个像点，一

2021-09-23 22:21:59 2744

转载 Radiometry and Photometry 辐射度量学与光度学

Radiometry and Photometry摄影是与我们周围环境的光影打交道的，但是因为人眼的特殊构造，或者说大自然的奇妙，让人眼对不同波长的光的敏感度是不同的，不仅是人类，不同生物的视觉系统，对不同波长的光谱都有一定的选择性，所以我们衡量周围环境的光线的时候，有两个不同的度量体系，一个是 Radiometry，另外一个是 Photometry，Radiometry 表示的是环境中光线的实际能量，而 Photometry 表示的是人眼感受到的环境光线的能量。很多生物的视觉系统，包括人眼在内，都可以

2021-08-11 22:34:01 536