- 博客(221)
- 收藏
- 关注
RSS订阅
原创 Pytorch Dataloader之batch_sampler
sampler是返回Dataset所有数据的索引，batch_sampler是返回一个mini-batch数据的索引。
2024-04-18 20:11:14
276
原创 Pytorch Dataloader之sampler
sampler是从数据集中采样的策略。可以自定义，任何实现了 __len__方法的 Iterable；也可以使用dataloader中提供的默认的sampler。dataloader中提供了两个默认的sampler：RandomSampler（随机采样）和SequentialSampler（顺序采样）。使用那个默认的sampler是由shuffle参数决定的。因此，sampler参数与shuffle参数是冲突的，两个只能指定一个。
2024-04-17 14:30:32
327
原创 Pytorch Dataloader入门
line43-line53：Dataset每次只能读取一个样本，而且是顺序的。line55-line66：Dataloader的默认参数：batch_size=1, shuffle=False, drop_last=False，每次返回的是一个mini-batch的数据，类型是一个列表，默认长度为1。line69-line72：Dataloader修改参数batch_size=4，返回的mini-batch数据中长度变为4，而且是顺序的。
2024-04-16 19:41:32
537
原创 远程主机可能不符合glibc和libstdc++ VS Code服务器的先决条件
VSCode最近更新了一次版本，到了1.86.0，有个GLIBC库，低于v2.28.0的版本不再满足需求。
2024-02-06 23:25:10
3946
1
原创 VOC2012数据集的探索性数据分析（EDA）
对VOC2012数据集的探索性数据分析。文章结尾有EDA python代码和Github EDA代码仓库（包含多个数据集EDA代码）。
2022-10-01 10:06:17
997
原创 mmdetection使用wandb查看训练日志
mmdetection查看日志之前一直是在用TextLoggerHook，已经觉得挺方便的了，自从用了wandb之后，发现wandb真不错，看log更方便了，回不去了。
2022-09-28 20:07:03
2395
6
原创 wandb一个简单demo
wandb绘制曲线：sin函数，cos函数，log函数。wandb绘制matplotlib图片。wandb绘制numpy图片。wandb绘制本地图片。
2022-09-27 16:16:15
562
原创 coco2017 数据集探索性数据分析（EDA）
对coco数据集的分析，近期忙着写论文，空余时间很少能写博文了。EDA的代码放在结尾了，Github仓库里也有。仓库里还有其他的一些EDA分析，不定时更新。
2022-09-20 09:38:48
857
原创 mmcls 多标签模型部署在torch serve
各个文件说明：cls_requests_demo：分类模型请求api服务的demodet_requests_demo：检测模型请求api服务的demoinference：要修改的inference代码mmcls_handler：要修改的mmcls_handler代码torchserve_log：过程中遇到的报错集合。
2022-09-08 17:18:56
584
原创 mm系列权重文件瘦身
我们训练完的mmcls，mmdet等模型，保存好的训练权重pth是比较大的。并且里边有两个参数是我们推理的时候用不到的。我们能够看到瘦身前180m，瘦身后92m，跟pytorch官方的resnet50预训练权重差不多大。（会在resnet50.pth文件的同级目录下生成一个resnet50_thin.pth）我们在推理过程中其实只需要state_dict就可以了，里边保存的是我们训练好的权重参数。state_dict：我们模型的参数。optimizer：优化器的参数。meta：训练时的环境配置。
2022-08-24 20:38:28
625
原创 MMdeploy TensorRT 模型实时监控桌面，PyQt5实现
利用PyQt5搭建界面，使用mmdeploy的api，加载转换好的TensorRT模型，推理图片，或者监控桌面。
2022-08-12 14:14:11
530
原创 MMDeploy部署实战系列【第六章】：将编译好的MMdeploy导入到自己的项目中 (C++)
MMDeploy部署实战系列【第六章】：将编译好的MMdeploy导入到自己的项目中
2022-08-01 14:04:33
2446
15
原创 MMDeploy部署实战系列【第五章】：Windows下Release x64编译mmdeploy(C++)，对TensorRT模型进行推理
MMDeploy部署实战系列【第五章】：Windows下Release x64编译mmdeploy c++SDK，对TensorRT模型进行推理
2022-07-27 11:19:02
3557
16
原创 MMDeploy部署实战系列【第四章】：onnx，tensorrt模型推理
MMDeploy部署实战系列【第四章】：onnx，tensorrt模型推理
2022-07-27 11:04:42
4218
20
原创 MMDeploy部署实战系列【第三章】：MMdeploy pytorch模型转换onnx，tensorrt
MMDeploy部署实战系列【第三章】MMdeploy pytorch模型转换onnx，tensorrt
2022-07-27 11:02:49
4161
13
原创 xml转voc，voc转coco，coco转yolo，coco划分，coco检查，yolo检查，coco可视化
xml转voc，voc转coco，coco转yolo，coco划分，coco检查，coco可视化
2022-07-13 12:22:40
869
原创 堡垒机安装pytorch，mmcv，mmclassification，并训练自己的数据集
mmcls训练上传并安装在堡垒机中进入你的conda环境（下面的mmclassification改为自己的conda环境名字），然后安装一下就可以了。堡垒机安装mmcv下载mmcv安装包也是同样，去 mmcv GitHub官网 下载mmcv你想要的版本，复制-f后边的网址打开，然后选择自己要装的mmcv版本，下载下来。上传到堡垒机中后安装。堡垒机安装mmclassification1️⃣ ........................
2022-06-15 19:54:28
1076
2
原创 自己diy一个smi（可以监控gpu,cpu,memory）
diy-smi 1.0（DIY System management interface)在我们训练自己深度学习模型时，我们想看GPU信息，也想看CPU和内存信息。我常用的是nvidia-smi和htop，同时要开两个窗口，并且很多参数，我其实并不想查看。我们可以根据我们想要查看硬件那些信息，来自己diy一个监控窗口。代码：Github diy-smi 1.0使用：1️⃣ 首先需要安装三个包，分别是用于收集gpu信息，cpu信息，美化我们的输出窗口。pip install nvidia-ml-py3
2022-05-25 13:03:11
277
原创 Swin Transformer安装记录（国内源，飞快）
0. 设备环境ubuntu–20.10GPU–3080cuda–11.0torch–1.7.0mmcv–1.3.8mmdetection–2.11.0所有的git的项目，都可以用 GitHub Proxy 代理加速 (ghproxy.com) 转链，尤其是swin transformer的权重文件，又大下载的又慢，转完链后就飞快了。1. 创建环境conda create -n swin python=3.7conda activate swin2. 安装pytorch(利用国内源
2022-05-04 16:08:33
1663
3
原创 一文读懂IoU，GIoU, DIoU, CIoU, Alpha-IoU (代码非常优雅)
IoU就是就是我们说的交并比 Intersection over Union ，具体就是两个box的交集除以并集。当我们计算我们的anchors 或者 proposals 与 ground truth bounding boxes 的损失的时候，就需要用到IoU。不同的IoU有不同的特性。IoU：IoU计算了最简单的情况： GIoU：当两个anchor与gt box都不相交的时候，IoU的loss是一样大的，我们理论认为anchor距离gt box越近，loss应该越小，不应
2022-04-27 15:58:23
3472
6
原创 # AssertionError: The `num_classes` (80) in Shared2FCBBoxHead of MMDataParallel does not matche
我看很多人都遇到了这个问题，有很多解决了的。我就把这篇博文再完善一下，让大家对mmdetection使用得心应手。mmdetection训练自己的数据集时报错 ⚠️ ：# AssertionError: The `num_classes` (3) in Shared2FCBBoxHead of MMDataParallel does not matches the length of `CLASSES` 80) in CocoDataset你可能已经修改了以下两个文件，但是还是报错：mmdetec
2022-04-26 22:17:09
3402
7
原创 布匹瑕疵检测数据集EDA分析
分析数据集中 train 集的每个类别的 bboxes 数量分布情况。因为训练集分了两个：train1，train2。先根据两个数据集的 anno_train.json 文件分析类别分布。数据集：布匹瑕疵检测数据集-阿里云天池 (aliyun.com)数据集bbox数量缺陷图片数量正常图片数量train1772847742538train2179511391125总共952358233663EDA.pyimport jsonimport o
2022-01-19 17:34:06
5579
9
原创 EDA（Exploratory Data Analysis）数据探索性分析
EDA目的：通过了解数据集的分布情况，数据之间的关系，来帮我们更好的后期进行特征工程和建立模型。本文主要是一个根据coco数据集格式的json文件，来分析数据集中图片尺寸，宽高比，bbox尺寸，宽高比，以及每张图片中bbox数量的分布情况。分析的数据集来自：零基础入门CV - 街景字符编码识别赛题与数据-天池大赛-阿里云天池 (aliyun.com) ，主要是分析训练集，一共有三万张图片。instances_train2017.json，是我们通过将数据集json文件转换后符合coco数据集标准的j
2021-12-30 15:10:36
2158
mmdetection yolox-s TensorRT模型2060/2060s显卡可用
2022-08-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人