- 博客(46)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 【论文阅读笔记】InstantID : Zero-shot Identity-Preserving Generation in Seconds
现有的基于 ID 嵌入的方法，虽然只需要一个前向推理，但面临挑战：它们要么需要对众多模型参数进行广泛的微调，缺乏与社区预训练模型的兼容性，要么无法保持高人脸保真度为了解决这些限制，我们引入了 InstantID，这是一种强大的基于扩散模型的解决方案。我们的即插即用模块擅长仅使用单个面部图像处理各种风格的图像个性化，同时确保高保真度为此，我们设计了一种新的，通过施加强语义和弱的空间条件，将人脸和地标图像与文本提示相结合，引导图像生成。
2024-02-04 16:40:28
1826
2
原创 【论文阅读笔记】Taming Transformers for High-Resolution Image Synthesis
旨在学习序列数据的远程交互，transformer继续在各种任务中展示最先进的结果。与 CNN 相比，它们不包含优先考虑局部交互的归纳偏差。这使得它们具有表现力，但对于长序列(如高分辨率图像)也在计算上是不可行的。我们演示了如何将cnn的归纳偏差与变压器的表达能力相结合，使它们能够建模，从而合成高分辨率图像。我们展示了如何 (i) 使用CNN 来学习图像成分的上下文丰富的词汇进而 (ii) 利用transformer有效地对它们在高分辨率图像中的组成进行建模。
2024-02-02 21:25:47
1366
1
原创 【论文阅读笔记】Advances in 3D Generation: A Survey
生成 3D 模型位于计算机图形学的核心，一直是几十年研究的重点。随着高级神经表示和生成模型的出现，3D 内容生成领域发展迅速，能够创建越来越高质量和多样化的 3D 模型。该领域的快速增长使得很难跟上所有最近的发展。在本次调查中，我们旨在介绍 3D 生成方法的基本方法并建立结构化路线图，包括 3D 表示、生成方法、数据集和相应应用。
2024-02-01 18:28:24
788
原创 【论文阅读笔记】Würstchen: AN EFFICIENT ARCHITECTURE FOR LARGE-SCALETEXT-TO-IMAGE DIFFUSION MODELS
开发了一种潜在的扩散技术，其中我们学习了一个用于指导扩散过程的详细但极其紧凑的语义图像表示。与语言的潜在表示相比，图像的这种高度压缩的表示提供了更详细的指导，这显着减少了实现最先进结果的计算要求。(直观上理解就是文本的表示和图像的表示tokens一起作为条件引导图像生成)基于用户偏好研究提高了文本条件图像生成的质量。与稳定扩散 2.1 的200,000 GPU 小时相比，我们方法的训练需求由 24,602 A100-GPU 小时组成。我们的方法还需要较少的训练数据来实现这些结果。
2024-02-01 17:31:38
1153
2
原创 【论文阅读笔记】Make-A-Character: High Quality Text-to-3D Character Generation within Minutes
定制和富有表现力的3D角色的需求越来越大，但传统的计算机图形学手动创建创建是昂贵的。提出了一个名为 Make-A-Character (Mach) 的用户友好的框架，以从文本描述中创建类似生命的 3D 化身。该框架利用大型语言模型的强大功能进行文本意图理解和中间图像生成，然后是一系列面向人类的视觉感知和 3D 生成模块。两分钟左右生成、可以和现有CG管道集成、可支持动画驱动。
2024-02-01 15:31:59
1089
1
原创 【论文阅读笔记】NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images
通过联合优化许多输入图像上的单个场景表示，NeRF对高水平的图像噪声具有惊人的鲁棒性。我们利用这一事实直接在完全未处理的HDR线性原始图像上训练RawNeRF。在这个仅由单个蜡烛 (a) 照明的夜间场景中，RawNeRF 可以从经过后处理 (b, c) 破坏的噪声原始数据中提取细节。RawNeRF 恢复完整的 HDR 颜色信息，使 HDR 视图合成任务成为可能，例如改变渲染新视图的焦点和曝光。生成的渲染可以像任何原始照片一样修饰：在这里，我们展示了 (d, left) 具有简单全局色调映射的暗全焦曝光和 (
2024-01-05 01:50:18
566
原创 【论文阅读笔记】Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields
MipNeRF360是在NeRF++和MipNeRF的基础上进行的扩展，利用NeRF++提出的远景参数化技巧和MipNeRF的低通滤波思想同时实现了无界场景的高质量渲染与抗锯齿。现有方法在新视角合成方面取得了令人影响深刻的结果但是现有方案由于附近和远处物体的细节和比例不平衡导致模糊和低分辨率渲染场景参数化在线蒸馏和一种失真正则化来克服抗锯齿和无界场景渲染目标场景是相机围绕一个点旋转360度的场景，同时能够得到较低的误差和更好的渲染质量、更详细的深度图使用一种新颖的类卡尔曼场景参数化。
2024-01-04 14:38:33
1723
原创 【论文阅读笔记】DreamFace: Progressive Generation of Animatable 3D Faces under Text Guidance
文本引导的3D数字人脸生成。
2023-12-31 18:16:59
887
1
原创 【论文阅读笔记】NeRF+Mip-NeRF+Instant-NGP
NeRF是NeRF系列的开山之作，将三维场景隐式的表达为神经网络的权重用于新视角合成。MipNeRF和Instant NGP分别代表了NeRF的两个研究方向，前者是抗锯齿，代表着渲染质量提升方向；后者是采用多分辨率哈希表用于加速NeRF的训练与推理速度。通过NeRF实现新视角合成。
2023-12-10 23:26:16
1355
1
原创 【论文阅读笔记】Prompt-to-Prompt Image Editing with Cross-Attention Control
文本驱动的图像编辑
2023-11-28 19:26:08
708
原创 【论文阅读笔记】InstructDiffusion: A Generalist Modeling Interface for Vision Tasks
通过训练统一多视觉任务提升模型性能和泛化性能
2023-11-27 19:44:55
519
原创 【论文阅读笔记】StyleAvatar3D: Leveraging Image-Text Diffusion Models for High-Fidelity 3D Avatar Generation
伴随文生图扩散模型在3d内容生成方面的应用，提出一种3D风格化身生成方法。通过利用预训练的文本到图像扩散模型来生成风格化的 3D 化身，该框架提供了使用文本提示定义样式和面部属性的能力，大大提高了化身创建的灵活性。所提出的从粗到细的鉴别器可以有效地解决生成的训练图像和姿势之间的错位问题，从而提高利用姿态标注不准确的图像数据。最后，开发了一个基于潜在扩散的附加条件生成模块，实现了基于图像输入的 3D 模型生成。
2023-11-25 22:38:37
116
原创 【论文阅读笔记】Emu Edit: Precise Image Editing via Recognition and Generation Tasks
基于指令的图像编辑，Emu Edit
2023-11-22 18:42:26
1078
原创 【论文阅读笔记】Emu: Enhancing Image Generation Models Using Photogenic Needles in a Haystack
论文阅读笔记：Emu
2023-11-22 13:53:30
192
原创 【面试题合集】（1）
生成对抗网络（GAN）中的模式崩塌是指生成器网络只能生成有限的几种样本，而不能生成更多的样本。在扩散模型中，模型通过迭代地应用马尔可夫链的转移算子来生成样本，而不需要通过生成器和判别器的对抗训练。生成过程更加确定性：扩散模型的生成过程是确定性的，每个时间步都根据前一个时间步的样本生成下一个时间步的样本。这种确定性的生成过程可以避免生成器网络学习到有限的样本特征，并且可以保证生成样本的多样性。这种简单的模型结构使得模型更容易学习到数据的分布，并且不容易出现模式崩塌的问题。
2023-09-24 18:41:41
397
原创 百度conda、pypi、apt源
Miniconda 是一个 Anaconda 的轻量级替代，默认只包含了 python 和 conda，但是可以通过 pip 和 conda 来安装所需要的包。Miniconda 安装包可以到http://mirrors.baidubce.com/anaconda/miniconda/下载。Anaconda安装包可以到http://mirrors.baidubce.com/anaconda/archive下载。配置完后，即可使用百度pypi源安装您所需要的Python库。
2023-09-04 15:05:40
822
原创 ubuntu20.04 安装colmap 报错：Cmake error while running “cmake .. -GNinja“ command during installation
日常Debug：Colmap安装过程中编译报错
2023-07-28 02:40:03
397
原创 使用FFmpeg将视频帧转换为png图像
一个使用ffmpeg多进程将大量mp4文件转换为对应多帧png/jpg/bmp等图片文件的代码实例，其中png存储于与视频同名的文件夹当中。
2023-02-28 04:11:07
3015
1
原创 关于python：Cython ValueError：ValueError: Buffer has wrong number of dimensions (expected 2, got 3)
[TOC](关于python：Cython ValueError：ValueError: Buffer has wrong number of dimensions (expected 1, got 2))
2023-02-12 03:23:45
336
原创 ubuntu 20.04配置蓝牙以及 btusb not found解决
想把ubuntu20.04当做日常开发平台，需要连接蓝牙耳机所以记录一下蓝牙配置和debug过程。又是debug的一天。有问题欢迎留言~
2022-07-31 16:50:05
8813
4
原创 AttributeError: module ‘distutils‘ has no attribute ‘version‘
（深度学习日常报错）AttributeError: module 'distutils' has no attribute 'version' :
2022-07-14 20:55:01
883
原创 python提取COCO，VOC数据集中特定类，实现xml转coco(voc转coco)格式
python提取COCO数据集中特定类别，VOC数据集中特定类别，实现xml转json(voc转coco)格式
2022-05-05 00:08:11
2069
1
原创 Mac端Clion首次运行debug，无法执行解决方案
Mac端Clion首次运行debug，无法执行解决方案将Perferences中的Toochains下的Debuuger设置为gdb即可将Perferences中的Toochains下的Debuuger设置为gdb即可Mac端Clion首次运行debug，无法执行解决方案
2022-02-14 02:10:56
1328
翻译 LIME原文翻译
文章目录前言“Why Should I Trust You?” Explaining the Predictions of Any Classifier摘要1 介绍2 The Case for Explanations 解释的理由Desired Characteristics for Explainers 解释者期望的特征3 Local Interpretable Model-Agnostic Explanations 局部可解释模型不可知解释3.1 Interpretable Data Represent
2021-05-27 16:16:57
1645
2
原创 Linux学习笔记（3）- 网络编程以及范例程序
网络编程以及范例程序前言网络介绍IP地址的介绍端口和端口号的介绍通信流程socket介绍TCP介绍python3编码转换TCP客户端程序开发流程多任务版TCP服务器程序开发总结前言TCP/IP网络编程基础知识可参见1.https://blog.csdn.net/weixin_42048417/article/details/80459671?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-0&spm=1001.210
2021-03-15 21:33:03
186
原创 Linux学习笔记（2）-进程与线程相关介绍与范例
Linux学习笔记（2）-进程与线程相关介绍与范例前言多任务介绍进程的介绍多进程完成多任务线程的介绍多线程完成多任务总结前言本文详细介绍了进程与线程的概念与对比，两者作用都为提高程序的执行效率。提示：以下是本篇文章正文内容，下面案例可供参考多任务介绍比如百度网盘的并行下载，操作系统都是多任务操作系统好处：利用cpu资源，提高程序执行效率两种表现形式:并发：在一段时间内交替去执行多个任务（任务数量>cpu的核心数）例子：多个任务交替执行，A0.01s->B0.
2021-03-11 23:46:15
129
原创 Linux学习笔记（1）-基本覆盖了ubuntu初学的所有命令/快捷键
Linux学习笔记（1）-基本覆盖了ubuntu初学的所有命令/快捷键1.Linux常用基础命令2.Linux常用基高级命令3.Vim介绍4.其他知识博主使用windows 10安装VMare虚拟机，ubuntu使用版本为18.04，仅供参考。因为笔者也是初学者，如有错误，欢迎大佬指正！1.Linux常用基础命令ls 显示当前路径下ia文件（夹）目录-l 以列表方式显示，默认字节-h 只能显示文件的大小-a 显示隐藏文件或者目录pwd 显示当前路径clear 清屏tre
2021-03-10 00:05:38
159
原创 《百度架构师手把手带你零基础实践深度学习》学习体会
《百度架构师手把手带你零基础实践深度学习》学习体会初次使用深度学习框架关于课程AI识虫竞赛感悟一些改进想法后续初次使用深度学习框架百度飞桨应该是国内首个开源开放、技术领先、功能完备的产业级深度学习平台，我也是首次接触类似的学习框架，有兴趣体验一下的小伙伴可以登录以下链接https://www.paddlepaddle.org.cn/关于课程如果想对机器学习和深度学习进行学习，我个人建议还是先补充基本的理论知识，可以在B站上搜索浙大的研究生机器学习课程，其次很多大佬的课程也都可以搜索到。之后可以在与飞
2020-08-29 09:50:59
213
原创 python学习笔记（1）- 利用SMPT 实现自动发送邮件脚本
python学习笔记（1）- 利用SMPT 实现自动发送邮件脚本，读取txt和excel邮箱列表起因涉及内容原理Python内置SMTP模块SMPT发送邮件流程发送纯文本参考程序如下：发送附件参考程序如下：读取txt和Excel中保存的邮箱信息最后程序，可实现单发与群发，更改正文名字起因学校正好组织夏令营，需要邮件通知参与夏令营的同学，报名信息中包含手机号和邮件（运营费问题，放弃了手机）。然后，有小伙伴提出python发送邮件的方式，参考了几篇博客之后，有了此文章。涉及内容python 读取txt文
2020-07-18 10:17:11
1172
原创 C++学习笔记（5） C语言与C++的区别
C++学习笔记（5） C语言与C++的区别两者关系：C++是C的一些扩充头文件命名空间输入输出iostream基本数据类型结构体强制类型转换条件运算符 ？ ：for循环作用域运算符 ：：动态内存分配变量的引用&（important）内置函数内联带默认参数的函数函数的重载函数模板(参数化思想)两者关系：C++是C的一些扩充头文件C语言C++stido.h...
2020-04-11 17:15:30
193
原创 C++学习笔记（4）——运算符重载实现
C++学习笔记（4）——运算符重载实现上次回顾：拷贝构造运算符重载：运算符的本质：函数运算符重载的本质：如何定义（声明）运算符重载运算符重载的两种方式语法和规范练习运算符重载tips：题目：实现Mystring类的运算符重载 “+” ，字符串相连上次回顾：拷贝构造 用对象来构造对象引用：给内存段取别名拷贝构造参数必须是引用： 传参过程不会产生临时变量，没有值传递深拷贝： 开...
2020-04-05 19:41:00
230
原创 C++学习笔记（3）——拷贝构造与MyString类实现
C++学习笔记（3）——拷贝构造与MyString类实现部分功能引用：拷贝构造：用对象构造对象深拷贝：重新分配内存，拷贝数据浅拷贝：直接赋值，保存指针变量地址实现MyString类引用：（和引用变量名要区分开,这里是一种类型）本质： 给内存段取别名int main(){ int n = 10; int& m = n; //引用类型 m = 666; ...
2020-04-04 11:41:46
343
原创 C++学习笔记（2）——类与对象
C++学习笔记（2）——类与对象回顾：类与对象：名字空间：C++的头文件：C++的动态内存分配：内联函数，this指针：C语言实现面向对象：回顾：1.函数的缺省参数 1.1 声明的时候写，定义的时候不写 1.2 从右往左 1.3 核函数重载同用时需注意二义性问题2.函数重载 2.1 在同一作用域内，函数名相同，参数列表不通 2.2 参数列表不同的方式 2.2.1 参...
2020-03-22 18:16:32
162
原创 C++学习笔记（1）——C语言到C++
C++学习笔记（1）——C语言到C++函数的缺省参数函数重载vs的编程框架字符集难点在于思维方式，怎么把现实转换为编程语言！1.void func(void)与void func() C编译器中是有区别的，一个允许传入参数，一个不允许2.int func(…) 可以传入任意类型的多个参数，不定长参数3.参数的传递是一个入栈的过程void test(int a,int b,int ...
2020-03-22 00:58:57
138
原创 C语言学习笔记（7）——C总结与贪吃蛇小游戏实现
C语言学习笔记（7）——C总结与图形化贪吃蛇小游戏实现知识点总结：贪吃蛇小游戏：知识点总结：内存管理： 最小单位：bit 最小管理单位：bytemain函数开始，一条一条语句从上往下执行进制转换：数据本身就是数，不同进制只是表现形式不同数据类型：int char float double unsigned signed short long 数据占内存段大小 数据存储方...
2020-03-19 12:30:36
383
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人