- 博客(34)
- 收藏
- 关注
RSS订阅原创 pytorch 2.0初探：和pytorch 1.13的速度对比
通过多次实验对比pytorch1.13和pytorch2.0.1，发现2.0.1比1.13提速8%左右，但是compile没有效果，暂时没搞清楚什么原因。难道是40系显卡还不支持？另外从官方介绍也可以看出，提速效果跟硬件、模型结构都有关系，所以具体能提速多少，还得自己在实际项目中尝试。
2023-07-19 16:29:29
2421
1
原创 Vision Transformer (ViT)介绍
把transformer直接应用于图像块序列，也可以在图像分类任务上表现很好。通过在大数据集上预训练，然后迁移到中等规模和小规模数据集上，ViT可以取得和SOTA的卷积网络同样出色（甚至更好）的结果，同时需要更少的训练资源。1、将标准transformer直接应用于图像，只做最小可能修改将一幅图像分割成多个图像块，然后将这些图像块的embedding序列作为输入，送到transformer。这里的图像块类似于NLP中的token。
2023-07-10 16:38:58
988
原创 Transformer原理理解
本文介绍Transformer的基本原理，主要记录一下自己的学习过程。论文：https://arxiv.org/abs/1706.03762主要参考了链接1中的内容，链接3是其翻译版本。Transformer架构完全依赖于Attention机制，解决了输入输出的长期依赖问题，并且拥有并行计算的能力。整体结构如下图所示：结构分四个部分：输入、encoder、decoder、输出。
2023-07-10 11:24:40
940
原创 Ubuntu系统下固态硬盘速度测试工具
是一个命令行工具，可以用来测试硬盘的性能。虽然它主要用于设置硬盘的参数，但它也提供了一个选项用于测试读取速度。在左侧的设备列表中选择你的固态硬盘，然后点击右上角的菜单图标（三个竖点），选择 "Benchmark Disk" 来进行速度测试。是一个功能强大的磁盘性能测试工具，可以执行各种读取和写入测试，并提供详细的性能报告。，它是一个提供硬盘信息和测试功能的图形界面工具。，并在其中定义测试的参数。安装完成后，你可以创建一个配置文件，例如。替换为你的固态硬盘对应的设备名称）替换为你的固态硬盘对应的设备名称）
2023-07-03 15:09:14
2607
原创 使用torchserve时出错：RESOURCE_EXHAUSTED: gRPC message exceeds maximum size 6553500: 10838210
torchserve提示gRPC消息超出最大值
2022-04-20 09:59:04
1437
原创 每天学点pytorch--torch.nn.Module的apply()方法
官方连接：Module — PyTorch 1.10.0 documentationapply(fn)的官网介绍，该方法会将fn递归的应用于模块的每一个子模块（.children()的结果）及其自身。典型的用法是，对一个model的参数进行初始化。示例：import torchimport torch.nn as [email protected]_grad()def init_weights(m): print(m) if type(m) == nn.Linear:
2021-11-16 15:11:18
7356
原创 每天学点pytorch--torch.nn.ReLU(inplace=False)中inplace的作用
记录pytorch中遇到的一些问题，文章没有顺序关系官方连接：ReLU — PyTorch 1.10.0 documentationinplace为True时，计算结果会对原来的结果进行覆盖。还是看下pytorch中的具体操作：>>> import torch>>> import torch.nn as nn>>> conv1 = nn.Conv2d(3, 3, kernel_size=3)>>> rl1 =
2021-11-03 10:30:59
1684
原创 pytorch中的pixelshuffle通道变换
Pixelshuffle会将shape为(B, r^2*C, H, W)的tensor变成shape为(B, C, rxH, rxW)的tensor。0-r*2的通道映射为输出的第一个通道，以此类推。如下例子中，前4个通道映射为输出的第一个通道；中间4个通道映射为输出的第二个通道；最后4个通道映射为输出的第三个通道。>>> import torch>>> import torch.nn as nn>>> ps = nn.PixelShuffl
2021-09-28 14:32:02
503
2
原创 pytorch的DP和DDP
参考https://andrew.gibiansky.com/blog/machine-learning/baidu-allreduce/#https://zhuanlan.zhihu.com/p/343951042本文只记录一下，为什么DDP的通信比DP的高效。1、DP假设共有K个GPU，GPU的通信带宽是B，每个GPU要发送的数据量是P（所有参数的梯度信息），那GPU0接收完所有信息，需要耗时(K-1)P/B，GPU0更新完参数后，需要同步给其他GPU，又需要耗时(K-1).
2021-09-08 15:23:56
880
原创 COCO 格式的数据集转化为 YOLO 格式的数据集
参考：https://github.com/Weifeng-Chen/DL_tools/blob/main/coco2yolo.py源代码时间复杂度太高，O(mxn)，修改后为O(m+n)，时间从几个小时变成几秒。"""COCO 格式的数据集转化为 YOLO 格式的数据集--json_path 输入的json文件路径--save_path 保存的文件夹名字，默认为当前目录下的labels。"""import os import jsonfrom tqdm import tqdm
2021-07-27 19:55:04
3175
7
原创 numpy.pad对图片进行填充
一、接口pad(array, pad_width, mode, **kwargs)其中，第一个参数是输入数组；第二个参数是需要pad的值，参数输入方式为：（(before_1, after_1), … (before_N, after_N)），其中(before_1, after_1)表示第1轴两边缘分别填充before_1个和after_1个数值；第三个参数是pad模式‘constant’——表示连续填充相同的值，每个轴可以分别指定填充值，constant_values=（x, y
2021-06-08 15:57:11
579
原创 pytorch模型转到TensorFlow lite：pytorch-＞onnx-＞tensorflow-＞tensorflow lite
现在很多算法都是用pytorch框架训练的，但是在移动端部署很多又使用TensorFlow lite，因此需要将pytorch模型转换到TensorFlow lite。将pytorch模型转到TensorFlow lite的流程是pytorch->onnx->tensorflow->tensorflow lite，本文记录一下踩坑的过程。1、pytorch转onnx这一步比较简单，使用pytorch自带接口就行。不过有一点需要注意的，就是opset版本，可能会影响后续的转换。
2021-05-14 17:45:27
4627
2
原创 linux系统下解压rar包
1、下载安装工具https://www.rarlab.com/download.htm，根据自己系统下载对应包安装：tar -zxvf rarlinux-x64-6.0.1.tar.gzcd rarmakemake install2、压缩解压解压：rar e XXX.rar //解压到当前目录rar e XXX.rar /home/tmp/ //解压到指定目录压缩：rar a XXX.rar ddd/ //压缩目录ddd的内容到XXX.rar不过Li...
2021-05-10 14:36:10
207
原创 pytorch模型转CoreML的相关问题
1、prelu''ValueError: Size of dimension 0 of alpha should be the same as the size of dimension -3 of x.''2、expand_asraise TypeError("cannot determine truth value of Relational")3、upsample不支持多种输入大小可以改用pixelshuffle代替实现上采样...
2021-03-16 11:13:53
827
原创 Python计算softmax和pytorch计算结果比较
1、softmax计算公式2、pytorch计算结果import torchimport torch.nn as nnimport numpy as npn1 = np.array([[1, 2, 3], [1000, 0, -1000]], dtype=np.float32)m = nn.Softmax(dim=1)out = m(torch.from_numpy(n1))print(out)执行后输出结果：tensor([[0.0900, 0.2447,.
2020-12-28 15:17:40
673
1
原创 yolov5的上采样层改为反卷积层
对于有的硬件不支持上采样层的，可以将上采样层改为反卷积层。修改配置文件：# parametersnc: 80 # number of classesdepth_multiple: 0.33 # model depth multiplewidth_multiple: 0.50 # layer channel multiple# anchorsanchors: - [10,13, 16,30, 33,23] # P3/8 - [30,61, 62,45, 59,119]
2020-12-22 17:50:22
4404
11
原创 Python opencv读图后保存，再次读取跟之前结果不一样
读取图片，保存后再次读取：>>> ip = '0.jpg'>>> import cv2>>> im1 = cv2.imread(ip)>>> cv2.imwrite('1.jpg', im1)True>>> im2 = cv2.imread('1.jpg')>>> (im1 != im2).sum()70358>>> im1.shape(456, 809, 3
2020-12-04 10:12:59
1412
6
原创 Python3中初始化二维列表
1、列表乘以一个数```>>> l1 = [[2] * 3] * 4>>> l1[[2, 2, 2], [2, 2, 2], [2, 2, 2], [2, 2, 2]]```修改某行中元素的值：```>>> l1[0][1] = 5>>> l1[[2, 5, 2], [2, 5, 2], [2, 5, 2], [2, 5, 2]]```可以发现每行的对应位置元素全都被修改了。 查看每行的id，发现是一样的。.
2020-11-11 11:06:39
641
1
原创 gitlab push 时提示 “Empty Reply From Server”
公司内部搭建的gitlab平台，结果其他人可以正常使用，我在push时提示fatal: unable to access : Empty reply from server。经过一番查找，网上搜到的几个解决方法都不行，最后发现是我设置了代理，使用git config --global --unset http.proxy之后即可正常使用。...
2019-10-31 08:55:02
6183
2
原创 TensorFlow学习实践（五）：基于vgg-16、inception_v3、resnet_v1_50模型进行fine-tune全过程
本文基于vgg-16、inception_v3、resnet_v1_50模型进行fine-tune，完成一个二分类模型的训练。目录一、环境准备二、准备数据三、数据解析及图片预处理四、模型定义五、模型训练六、模型预测最后：完整代码 一、环境准备我使用了TensorFlow的model库中的slim模块，路径：https://github.com/tenso...
2018-09-11 10:49:55
4800
8
原创 TensorFlow学习实践（四）：使用TFRecord格式数据和tf.contrib.slim API进行模型训练和预测
本文以mnist为例，介绍如何使用TFRecord格式数据和tf.contrib.slim API进行模型训练和预测。参考：1、https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/slim目录一、数据输入二、模型定义三、模型训练四、模型验证一、数据输入数据输入与上篇中的相...
2018-08-30 21:55:54
1011
原创 TensorFlow学习实践（三）：使用TFRecord格式数据和tf.estimator API进行模型训练和预测
本文以mnist为例，介绍如何使用TFRecord格式数据和tf.estimator API进行模型训练和预测。参考：1、https://tensorflow.google.cn/tutorials/estimators/cnn目录一、数据输入二、模型定义三、模型训练和验证一、数据输入def input_fn(filenames, training): d...
2018-08-29 21:58:43
3897
1
原创 TensorFlow学习实践（二）：使用TFRecord格式数据和tf.data API进行模型训练和预测
本文以mnist为例，介绍如何使用TFRecord格式数据和tf.data API进行模型训练和预测。参考：1、cifar102、https://tensorflow.google.cn/guide/datasets目录一、数据解析二、定义模型、损失和训练操作三、模型训练一、数据解析def parse_data(example_proto): feat...
2018-08-26 20:10:58
2618
2
原创 TensorFlow学习实践（一）：使用TFRecord格式数据和队列进行模型训练和预测
本文以mnist为例，介绍如何使用TFRecord格式数据和队列进行模型训练和预测。参考：1、cifar102、https://tensorflow.google.cn/guide/datasetsTFRecord格式数据的制作参见将mnist数据转成原始图片数据再转成TFRecord格式目录一、输入数据的解析和预处理二、定义模型三、计算损失并定义训练操作四、模...
2018-08-26 19:26:11
2860
原创 将mnist数据转成原始图片数据再转成TFRecord格式
1、将mnist数据转成原始图片数据def convert_mnist_img(data, save_path): for i in range(data.images.shape[0]): img = data.images[i].reshape([28, 28, 1]) img = (img * 255).astype(np.uint8) ...
2018-08-20 14:49:16
744
原创 coursera上的“机器学习”课程练习
之前在coursera上完成了斯坦福的“机器学习”课程。课程编程作业全部通过（ex1~ex8）现将课程练习整理记录一下https://github.com/buptlj/MachineLearning
2018-08-13 21:51:23
431
原创 使用dlib库进行人脸识别
一、安装opencv和dlib我使用的anaconda，安装比较方便。安装opencv，在指定环境下输入：conda install opencv安装dlib：conda install -c conda-forge dlib二、实现1、项目结构介绍其中face_detect文件夹保存检查到的人脸，face_repo里是待检测的人脸照片，face_test里...
2018-08-12 22:05:38
19983
1
原创 TensorFlow训练模型的过程中打开tensorboard
在训练的过程中，想通过tensorboard实时观察训练损失和验证集准确率，一直出错，打开tensorboard后在浏览器查看，然后训练就停止了，提示信息如下：File "D:/ProgramData/PycharmProjects/tf_learn/mnist/mnist_train.py", line 88, in main train() File "D:/ProgramD...
2018-08-08 10:46:08
4339
1
原创 把Python变量记录到TensorFlow的summary中
在用tensorboard可视化时，遇到过一个坑：打算每训练一定步数，将验证集准确率记录下来。一般做法如下：...# 1、计算准确率correct_prediction = tf.equal(tf.argmax(logits, 1), tf.argmax(y, 1))accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.f...
2018-08-07 22:27:10
1880
原创 pycharm运行程序时在Python console窗口中运行
问题：在pycharm中点击run运行程序，发现没有打开run窗口，而是打开的Python console窗口。解决方法：打开菜单栏run->edit configurations，把下图中的复选框取消就可以了。 ...
2018-08-07 09:20:04
66487
12
原创 git bash和GitHub建立连接
1、设置全局账户git config --global user.name "yourname"git config --global user.email "your email addr"2、打开ssh agenteval "$(ssh-agent -s)"3、创建密钥ssh-keygen -t rsa -C "your email addr"输入文件名那里直...
2018-08-06 19:50:40
857
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人