- 博客(115)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 UserWarning: torch.range is deprecated and will be removed in a future release because its behavior
跑代码时，报了一个**UserWarning: torch.range is deprecated and will be removed in a future release because its behavior is inconsistent with Python’s range builtin.torch.range()**函数，问题得以解决。
2023-11-13 16:46:04
436
原创 利用pandas处理Excel，将宽表打成窄表
有个需求需要处理Excel表格，将宽表的形式变成窄表，也就是行转列，如果是二位表格，直接利用。基本上可以满足复杂表格的行转列情况，对于函数要查阅资料，灵活应用。函数进行处理就可以。
2023-03-03 16:01:30
336
原创 获取数据表的字段信息
函数，但是这是Mysql提供的函数，其他数据库不一定支持这个函数，例如presto sql。有个获取数据表的所有字段（集合的形式）的需求，在网上查询，基本上都是获取到字段之后使用。其中，自查询中可以获取到所有的字段信息，是一个名为col的列，通过。函数将其变成数组的形式，再通过。进行拼接就可以拿到所有的字段。
2023-03-03 13:44:53
565
转载 Yarn运行原理
Attempt：提交到Yarn中的应用程序被称为Application，它可能会尝试运行多次，每次的尝试运行称为“Application Attempt”，如果一次尝试运行失败，则由RMApp创建另一个继续运行，直至达到失败次数的上限。Node Manager：一台机器上的管理者，类似于部门经理。Container：一台机器上具体提供运算资源，将设备上的内存、CPU、磁盘、网络等资源封装在一起的抽象概念——“资源容器”，Container是一个动态资源分配单位，为了限定每个任务使用的资源量。
2022-12-09 10:28:14
214
原创 二维卷积输出特征图的计算公式
- H：高度；- W：宽度；- N：batch-size的大小；- Cin：输入的通道数；- Cout：卷积后输出的通道数；- dilation：膨胀率，的默认值是1；- stride：步长，默认是1。
2022-10-28 17:33:52
2040
原创 图像修复（Image Inpainting）任务中常用的掩码数据集
目前图像修复任务中最长用的数据集是来自于 Liu 等人2018年发布的论文， 该论文中提出用部分卷积解决inpainting的任务的同时，也公布了一个大型的mask数据集，该数据集在之后的 Inpainting 任务中被大量使用。作者对mask的孔洞大小进行了分类。每个种类有孔洞靠近边界的mask和孔洞不靠近边界的mask各1000张。所以，一共有6 ∗ 2 ∗ 1000 = 12000 个mask。
2022-10-26 21:01:04
5314
22
原创 Tensorboard 无法启动---Fatal error in launcher: Unable to create process using.......tensorboard.exe“
使用Tensorboard时，启动不了，报下图所示的错误：Fatal error in launcher: Unable to create process using.......tensorboard.exe"
2022-10-26 15:50:06
1618
3
原创 关于深度学习中概念【训练集】【验证集】【测试集】【参数】【超参数】的理解
对深度学习中的相关概念一直含糊不清，尤其是验证集和测试集，一直感觉差不多，查阅相关资料后，有了较深的理解，在此记录，方便之后在查看或者补充。
2022-10-22 10:54:12
1758
原创 【报错记录】AttributeError: ‘xxx‘ object has no attribute ‘module‘
今天在跑代码时，报出 `AttributeError: 'InpaintGenerator' object has no attribute 'module'` 的错误在保存模型时，如果电脑是单GPU，报的错误的话，只需要把中第一个参数的.moudle去掉即可。
2022-10-20 21:46:11
12023
9
原创 pytorch dataset实战----读取数据集
这段代码可以作为读取数据集的一个DataSet类的基础类，可以扩充进行修改，以后有类似需要可以拿过来修改。代码中涉及到torch.transforms、合并路径等知识点，我在代码中都进行了详细的注释，路径要对照着项目结构，如果自己用的话要根据项目结构去将相对路径改过来。
2022-10-20 17:28:35
1099
1
原创 UserWarning:NVIDIA GeForce RTX 3060 Laptop GPU with CUD.......warnings.warn(incompatible_device_warn
更换与 pytorch 版本相匹配的cuda，这个代价比较大；更换与 cuda 版本相匹配，并且与项目所用 pytorch 相近的 pytorch 版本，这个代价没那么大，但是有可能版本不适用于项目。总之，每次遇到环境问题都想死，但是还是要解决的不是吗？焯了！
2022-10-19 10:00:17
1913
4
原创 【报错记录】RuntimeError: don‘t know how to restore data location of torch.FloatStorage (tagged with CPU)
在调试一个代码时，在输入参数都正确的情况下，报出 `RuntimeError: don't know how to restore data location of torch.FloatStorage (tagged with CPU)` 的错误Github上的代码好多都是在Linux上跑的，我们在Windows上跑时，就经常出现类似的问题，将备的参数设置为0貌似是个通用的方法，类似的还有参数的问题。
2022-10-18 10:38:26
4649
4
原创 Pycharm 的项目目录背景为淡黄色、众多操作失效
在调试一个项目时，误删了一些文件，通过Local History找回后，项目的背景就变成了淡黄色。一开始没在意，用了一会，复制文件的绝对路径时发现找不到了。将根路径设置为Sources Root，如下图所示，问题得以解决。此时，项目背景变回了白色，各项功能也恢复正常。那就在Setting里去设置看是否能解决。
2022-10-17 21:10:35
2502
原创 【图像修复】AOT-GAN《Aggregated Contextual Transformations for High-Resolution Image Inpainting》
1. 提出用于高分辨率图像修复的aggregated contextual transformations(AOT)，它允许捕获信息丰富的远程上下文和丰富的感兴趣模式，以进行上下文推理。2. 设计了一个新的掩模预测任务来训练用于图像修复的判别器，使判别器可以区分真实patch和合成patch，从而有助于生成器合成细粒度纹理。 。
2022-10-17 16:11:10
3897
8
原创 【报错记录】----RuntimeError：An attempt........ if __name__ == ‘__main__‘: freeze_support()
RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you are not using fork to start your child processes and you have forgo
2022-10-15 20:24:52
344
2
原创 ERROR: No matching distribution found for torch==XXX
在跑论文里的一个代码时，需要根据requirements.txt下载依赖包，在安装到 pytorch 0.4.1时， 报No matching distribution found for torch==0.4.1 (from -r requirements.txt (line 6))的错误
2022-10-13 21:19:54
9194
3
原创 将Anaconda迁移至另外一个盘符
一开始将 Anaconda 安装在了E盘，但是随着创建的环境越来越多，已经快将E盘给占满了。为了避免卸载重装，就最好将其整个迁移到另外一个盘符F，F盘还有很大的空间由于存储空间不够，本文将conda环境迁移到了其他盘符。目前测试没有问题，后期使用如果出现问题的话，回来进行更新补充说明。
2022-10-13 18:57:10
4762
1
原创 如何在论文中正确引用参考文献（自动标注）
本文讲解了如何给论文添加参考文献。示例中用了3个文献作为说明，但是掌握这个方法，无论参考文献数量多大，都可以很方便得进行引用。给参考文献自动标号在文章中利用交叉引用，从而引用到论文。
2022-10-10 16:14:33
44535
4
原创 【数据增强】--- 使用 Pytorch 批量裁剪文件夹里图片并保存
在上一篇博客使用Pytorch裁剪图片并保存中说明了如何使用Pytorch对单张图片进行裁剪并保存。在实际使用过程中可能会面临对于一整个文件夹里的数据集批量进行裁剪并以指定的文件名保存到某一路径之下，本文基于这种需求对其进行实现。上面给的示例中，文件夹中只有3张图片，但是只要上面代码码跑通，无论文件夹中有多少张图片都是可以处理的。同时，可以更根据上面的示例去用Pytorch提供的其他方法切割图片，实现数据增强。
2022-10-08 15:55:06
2836
7
原创 【数据增强】---- 使用 Pytorch 裁剪图片并保存
最近需要制作一个数据集，由于数据集的数量不够，而这些数据集中的单张照片很大，因此可以通过裁剪的方式进行数据增强，从而获取到更多的数据，扩充数据集。在这个过程中还要将裁剪得到的图片保存下来。
2022-10-07 16:08:00
5234
2
原创 读取文件报错：FileNotFoundError: [Errno 2] No such file or directory
当前文件 crop2.py 在 src/crop/ 路径下，项目的根吗目录为 crop_mural，而要访问的图片 DSC_8923.jpg 在 data/ 目录下，相对于当前的 crop2.py 来说，需要跳出两级目录才能找到该图片，由图中也可以看出。因此，直接跳到根目录再进入 data/ 目录比较方便。按照下面方式修改当前文件的工作目录到项目根目录。很明显，错误是因为没有找到要访问的图片的路径。，那么就是当前文件的工作目录的问题了。再次运行代码，就可以正常获取到图片了。将工作目录修改到项目的根目录。
2022-10-07 15:22:10
8642
3
原创 绝对路径和相对路径
1. 绝对路径 绝对路径是指文件在硬盘上真正存在的路径，是指从硬盘的根目录(盘符)开始，进行一级级目录指向文件。2. 相对路径 相对路径就是以当前文件为基准，进行一级级目录指向被引用的资源文件
2022-10-07 14:53:47
901
原创 【图像修复】----论文阅读笔记《EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning》
文章提出了一种两阶段对抗性模型EdgeConnect，包括边缘生成器和图像完成网络。边缘生成器使图像的缺失区域（规则和不规则）的边缘产生幻觉，并且图像补全网络使用幻觉边缘作为先验填充缺失区域。并在公共可用的数据集CelebA、Places2和巴黎街景上对模型进行了端到端的评估。端到端：端到端指的是输入是原始数据，输出是最后的结果。以前输入端不是直接的原始数据，而是在原始数据中提取的特征。将图像修复分为两个阶段：边缘生成和图像完成。边缘生成仅关注缺失区域中的假想边缘。
2022-09-29 22:03:33
2218
10
原创 对于PatchGAN的理解
atchGAN输出一个矩阵，N*N矩阵中每个点（true or false）即代表原始图像中的一块小区域（这也就是patch含义）评价值,最终结果求平均，考虑到图像的不同部分的影响，就像考虑了多人的建议然后给出决定，相当于是众人投票的结果。
2022-09-28 16:26:16
2842
原创 对于CNN中卷积的一些理解
图像是由一个个的像素点组合起来的。一般的彩色图像都分为RGB三个通道。图像就像是一个高纬度的张量，其本质还是由一个个0-255的像素所构成的，对于图像的操作，相当于是对这些像素点的数值进行计算。
2022-09-27 22:15:14
1563
2
原创 Pytorch中使用显卡（GPU）训练模型
在进行深度学习训练模型时，对于计算量小一些的模型，是可以在CPU上进行的。但是当计算量比较大时，我们希望利用GPU并行计算的能力去加快训练的速度。
2022-09-27 22:00:16
5985
原创 Pytorch加载数据集（DataSet和DataLoader）
Pytorch对于数据集的操作使用 DataSet 和 DataLoader。__len__在加载数据时，一般使用Mini-Batch，原因有以下两个：（1）通过使用batch，可以在梯度下降中更新参数时通过随机梯度下降的方法，这可以帮助我们跨越部分鞍点。（鞍点会导致梯度为0）（2）通过将数据划分为batch，可以充分利用计算机并行计算的能力，加快计算的速度。
2022-09-27 21:39:26
1671
原创 用Pytorch实现一个线性回归
对于一个模型，都要将其构建成一个类，并且继承自Module,至少定义两个方法，一个是构造函数，另一个是forward()。而backward会由Module里自动根据计算图计算。然后就是不断的前馈—反馈—更新----前馈—反馈—更新最后使Loss收敛。
2022-09-26 20:53:10
364
原创 Pytorch搭建基本的GAN模型及训练过程
本文通过Pytorch搭建基本的GAN模型结构，并通过 torchvision 的 MNIST 数据集进行测试。GAN的理论知识及公式的理解下文的实现完全对照这一篇博客的基本理论。
2022-09-18 21:51:50
3793
5
原创 GAN的理论知识及公式的理解
生成器(Generator)：通过机器生成数据（大部分情况下是图像），目的是“骗过”判别器；判器(Discriminator)：判断这张图像是真实的还是机器生成的，目的是找出生成器做的“假数据”
2022-09-18 21:29:17
1022
8
原创 在jupyter notebook中添加conda环境
安装好annaconda后，在annaconda中创建了名为pytorch的conda环境。但是jupyter默认安装在C盘，每次打开创建的文件都默认在C盘，想在其他盘符（例如F）创建pytorch的jupyter环境。此时默认打开的是C盘系统盘。如果要在其他盘（如F盘）打开创建jupyter文件。可以在后面添加上盘符的参数。此时就进入到了F盘，可以在F盘创建pytorch环境的jupyter文件了。以下pytorch为环境名，可将其修改为自己所要添加的conda环境。
2022-09-18 15:09:56
3008
2
原创 Typora、Markdown笔记为文字添加颜色的快捷键设置
注意将热键不要设置成与Typora内置的冲突的热键（例如Ctrl + B是加粗），第二行可以根据自己想要的颜色进行设置。第一步：下载 AutoHotkey 进行安装，傻瓜式安，记得修改一下安装位置就可以。在使用Typora记MarkDdwn笔记的过程中，有时候想要为文字设置不同的颜色。上面的设置中，会将加颜色的目标内容加粗，如果不想加粗，可以将。这段代码中，第一行是设置的热键，第二行是设置的颜色标签。但是每次手动进行设置比较麻烦，要是有快捷键就好了。选中目标内容，直接按上面设置的快捷键就好了。
2022-09-06 15:33:53
3168
5
原创 整型变量、字符串与数组的互相转化
Java中将整型变量转化为整型数组，或者将整型数组转化为整型变量，都有相应的API可以调用。方法，传入上年转化的字符串，将字符串类型转化为字符数组类型。方法，传入整型变量，将整型变量转化为字符串类型；方法，传入字符数组，将数组转化为字符串类型；方法将字符串类型转化为字符数组类型。1. 将整型变量转化为整型数组。2. 将整型数组转化为整型变量。
2022-09-06 09:31:06
1383
原创 【图像修复】论文阅读笔记 ----- 《Image inpainting based on deep learning: A review》
本篇论文综述发表于2021年。文章总结了基于深度学习的不同类型神经网络结构的修复方法，然后分析和研究了重要的技术改进机制；从模型网络结构和恢复方法等方面对各种算法进行了综合评述。并选择了一些有代表性的图像修复方法进行比较和分析。最后，总结了当前图像修复存在的问题，并展望了未来的发展趋势和研究方向。当前的图像修复研究主要包括修复矩形块掩模、不规则掩模、目标移除、去噪、移除水印、移除文本、移除划痕和旧照片着色等任务。传统的图像修复方法基于补丁和基于扩散的方法，在2014年之前发展。
2022-09-05 19:41:25
8069
原创 对二维数组从两个维度进行排序（Arrays.sort()方法使用Lambada表达式）
我们可以把 Lambda 表达式理解为是一段可以传递的代码（将代码作为实参）,也可以理解为函数式编程，将一个函数作为参数进行传递。Lambda 表达式的主要作用就是可以用于简化创建匿名内部类对象，Lambda 表达式的代码块将会用于实现抽象方法的方法体，Lambda 表达式就相当于一个匿名方法。{ } 中部分，接收来自 ( ) 中的参数，完成一定的功能。可以看到，数组是先按照第二个维度排序的，当第二个维度的元素相等时，则按照第一个维度的元素进行排序。方法，传入参数，利用Lambada表达式进行判断。
2022-09-03 09:10:59
1543
原创 图像修复论文阅读笔记------Image Inpainting for Irregular Holes Using Partial Convolutions
最后一个部分卷积层的输入将包含带孔的原始输入图像和原始掩模的拼接，使得模型可以复制非孔像素。X是当前卷积（滑动）窗口的特征值（像素值），M是对应的二进制掩码，⊙ 表示逐元素乘法。在每次部分卷积操作之后，将进行更新掩码：如果卷积能够根据至少一个有效的输入值调节其输出，则将该位置标记为有效。在图像边界处使用具有适当掩蔽的部分卷积来代替典型的填充，这确保图像边界处的修复内容不会受到图像外部无效值的影响。为了正确处理不规则掩码，提出使用部分卷积层，包括掩码和重新归一化卷积操作，然后是掩码更新步骤。...
2022-08-31 15:00:48
454
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人