- 博客(77)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 ubuntu16.04显卡驱动更新（踩坑记）
我因为pytorch某些函数要用，必须要用cuda10以上，所以要更新驱动，折腾了四天，终于成功了，真是不容易。记录下这烦人的驱动。一、驱动卸载 主要使用一条命令来卸载sudo apt-get --purge remove nvidia* 执行这条命令的时候，如果卸载的时候让你选择yes or no，切记要选择yes;判断 是否卸载成功， nvidia-smi是否有显示，若还是有显示，则二、安装驱动三种方式1、下载驱动run文件手动安装...
2021-02-06 11:53:35
1208
原创 Ubuntu16.04系统安装QQ+百度云盘+微信+迅雷下载等
重装系统后，有很多必要的软件，博主目前常见的软件安装教程汇总在下面链接，需要的可以看看；Ubuntu系统软件安装教程系列 一、引言 对于用windows习惯的人来说，微信QQ 百度云盘，迅雷下载，Foxmail等软件很好用，但是在Ubuntu中却没有相应的安装包，导致在用Ubuntu系统的时候，没有这些很不习惯，大部分都是用网页版，网页版使用体验是真不好，接下来就教大家如何在Ub...
2019-11-06 20:31:57
3573
原创 类别不均衡处理办法总结
对于深度学习而言，数据量不平衡是很常见的问题，如：工厂的产品缺陷率一般在 0.1% 左右，患者病例比较少等。最近遇到个项目，样本类别极其不均衡，多的类别有上万张，少的仅有几百张，为了有好的训练效果，尝试了很多方法，在这篇博客总结下我使用的，还有见到的一些方法。一、过采样欠采样 既然不平衡，那就想办法让他平衡，增加数据和减少数据。一般的方法是过采样和欠采样。 过采样的意思就是...
2019-07-12 18:26:24
4446
原创 目标检测——SSD-TensorFlow训练自己的数据集踩坑记
一、首先下载代码：https://github.com/balancap/SSD-Tensorflow 目前是github基于TensorFlow星星最高的开源SSD。2、解压至某个文件夹，我这里解压的路径是 /media/comway/data/dial_SSD/SSD-Tensorflow-master若是其他路径，后面进行相应的更改。3、制作2007VOC数据集（谷歌一下，一...
2019-01-12 11:11:31
9150
28
原创 ubuntu16.04安装Detectron教程及解决方案
本博客介绍了如何安装Detectron，其依赖项（包括Caffe2）和COCO数据集。安装前所需知道的知识：a、Detectron运营商目前没有CPU实施;需要GPU系统。b、caffe2 已经集成到pytorch1.0中，所以框架我们直接安装pytorch即可。c、Detectron已经过CUDA 8.0和cuDNN 6.0.21的广泛测试，不过cuda其他版本也是可以的，比如...
2018-12-22 10:33:43
2311
原创 TensorFlow学习（五）之Ubuntu16.04安装TensorFlow———GPU版本（gtx1070+ubuntu16.04）
Ubuntu16.04系统安装系列： Ubuntu系统安装QQ+百度云盘+微信+迅雷下载等 Ubuntu系统安装网易云音乐 Ubuntu系统安装搜狗输入法 Ubuntu系统安装SMPlayer播放器 Ubuntu系统安装sublime编辑器 Ubuntu系统安装vim...
2018-12-08 15:16:33
5678
2
原创 深度学习模型之——Stochastic depth（随机深度）
前言：随机深度文章是发表于ECCV2016，这篇文章早于DenseNet.，DenseNet也是因为随机深度网络受到启发，才提出来。Deep Network with Stochastic depth，在训练过程中，随机去掉很多层，并没有影响算法的收敛性，说明了ResNet具有很好的冗余性。而且去掉中间几层对最终的结果也没什么影响，说明ResNet每一层学习的特征信息都非常少，也说明了ResN...
2018-09-01 11:35:47
15819
13
原创 深度学习模型之——DenseNet算法详解及优点分析
引言作为2017年CVPR最佳论文，足以体现其重要性和创新性，清华大学黄高博士第一作者发表的。现其重要性，博主人读完这文章后，自然感叹我们国内也是人才辈出，清华大学确实是国内人工智能的顶尖。废话不多说开始分享算法。DenseNet论文算法解释网络上有很多关于这篇论文的解读，博主读了几个，解释的明白清楚的还是下面链接中解释的明白，既有解释又有代码还有论文链接，有想法的可以看看原文，博主在...
2018-08-25 21:15:05
17466
1
原创 深度学习中的batch_size设置
Batch_Size（批尺寸）是深度学习中的重要参数，本文通过讲解batch_size存在的原因，选取合理的参数值的优缺点，建议设置的大小。 一、Mini-batches 方法的重要性如果数据集比较小，完全可以把整个数据集用来训练，这样有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。其二，由于不同权重的梯度值差别巨大，因此选取一个全局...
2018-08-20 16:15:26
17335
9
原创 TensorFlow学习（四）之基于win10实现官方Object Detection API 步骤及出现的坑bug解决办法
第一步：安装所需的库1 下载Tensorflow object detection API ； https://github.com/tensorflow/models 到本地，这一步一般不会报错下载后，配置环境变量，在 ‘此电脑’-‘属性’- ‘高级系统设置’ -‘环境变量’-‘系统变量’ 中，将tensorflow-models\research\ 和tensorflow-m...
2018-08-05 20:03:35
2779
9
原创 C++链接错误：未定义的引用Undefined Reference to
1、如果是动态库或者静态库中的函数，则需要检查是否将库链接（检查路径），若已经库链接，但还是有问题，则检查是否各个依赖库的顺序不对。编译的时候，如果文件。文件的时候并不需要函数的具体实现，只要有函数的原型即可。但是在链接为可执行文件的时候就必须要函数的具体实现了，故而该错误那就是找不到函数的原型。以为添加了，实际找到不到指定的路径，某些参数就为空，需要message输出检查一下。3、模板函数或者模板类数据没有实例化，也可能导致这个问题，需要指定模板，对模板函数或模板类做实例化。，那么编译的时候必须把。
2023-07-24 17:46:41
2425
原创 训练过程中多线程冲突: “RuntimeError: main thread is not in main loop“
一、问题 在训练过程中，训练了几个epoch，后出现"RuntimeError: main thread is not in main loop"问题；二、问题分析 在多卡训练的时候和某个子线程冲突，大概率是因为每个epoch结束都使用了matplotlib和sns等作图工具包, 相当于进入了另一个线程之中。在主线程main和作图的小线程来回，很容易线程出错。且随着训练过程，epoch越大，出错概率越大。三、解决 把相应的作图工具代码注释就好了；...
2021-12-01 17:55:37
3081
1
原创 pytorch各种交叉熵函数的汇总具体使用
一、引言 最近被pytorch的各种交叉熵损失弄迷糊了，现在我所知道的交叉熵损失有：torch.nn.CrossEntropyLoss()torch.nn.BCELoss()torch.nn.BCEWithLogitsLoss()torch.nn.functional.cross_entropy()torch.nn.functional.binary_cross_entropy()torch.nn.functional.binary_cross_entropy_with_log
2021-11-23 17:04:36
3710
原创 VsCode设置特殊格式（*.cu,*.cc等）代码风格为C++高亮风格
一、问题描述编写c++代码时候，弄一些特殊文件后缀名字点时候，全都是黑的，代码及其难读。怎么向编写cpp文件一样有高亮呢，需要设置一下。二、解决办法1、打开VScode，2、File->Preferences->Settings。出现一下界面3、在Search settings中，搜索files.associations点击Add Item填入*.cu cpp 确认即可如果时其他格式，比如cc文件，则添加*.cc cpp。...
2021-11-17 20:35:49
2806
原创 半监督学习之了解
一、定义 半监督学习(Semi-Supervised Learning，SSL)是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作；二、self-training，即自我训练，也称之为伪标签技术，初代半监督思想的经典代表 其基本思路就是，在已标记的数据上训练，然后对未标注数据进行预测，取预测置信度最高的样本直接对其进行标签定义，然后将这类样本纳入当前训练样本中继续训练，直到模型的
2021-11-17 15:02:46
748
原创 深度学习常用数据脚本转换
深度学习常用的脚本，比如公共数据集（Tusimple,VOC等）的转换(xml2json,json2xml,yolo2voc)，读取视频，分离训练验证集等计算机视觉领域搬砖人员一些常用的python工具，持续更新............代码链接欢迎各位star...
2021-09-26 11:37:58
366
2
原创 ubuntu 16.04 Git入门学习笔记
引言：最近自学来git，把学习笔记写下来，记录以下，再推荐几个学习网站;一、安装安装就几条命令而已：apt-get install libcurl4-gnutls-dev libexpat1-dev gettext libz-dev libssl-devapt-get install gitgit --version二、配置第一步就是要配置，需要指定邮箱，与用户名，这样你开发一个仓库的时候，提交就会有显示时谁提交的，相当于时你的id;git config --globa...
2021-03-28 22:27:21
231
原创 RuntimeError: cuDNN error: CUDNN_STATUS_NOT_INITIALIZED
问题：调用显卡时，出现RuntimeError: cuDNN error: CUDNN_STATUS_NOT_INITIALIZED问题分析：出现这种问题，一般是因为cuda、cudnn、显卡驱动、torch版本不匹配造成的。解决：1、第一个办法就是重启大法哈哈哈；2、查看cuda版本与cudnn版本是否匹配；3、查看pytorch版本是否与显卡匹配，不知道是否匹配，就试试，或许降低版本会有意料之外的效果，即解决了；4、看驱动版本是否与cuda匹配；我的解决办..
2021-03-10 10:29:21
16017
3
原创 tensorflow转onnx模型
一、准备相应的库 tensorflow当然是要的。 安装onnx-tensorrtgit clone https://github.com/onnx/onnx-tensorflow.git && cd onnx-tensorflow && pip install -e .二、转pb文件 一般来说的模型导出方法会将网络信息与权重信息分开存储在不同文件当中，比如ckpt,meta等文件这在部署时候不是很方便。官方提供了一种Fre...
2021-02-20 16:43:00
6257
原创 apt-get更新报错：Could not get lock /var/lib/dpkg/lock-frontend
apt-get更新时候报错：Could not get lock /var/lib/dpkg/lock-frontend解决办法：原因是因为有相关程序在占用，没有正常关闭，还在运行，只要把相关进程PID找出来，kill就行。查看相关进程 ps afx|grep apt杀死：sudo kill -9 569(PID进程号)如果还有问题rm -rf /var/lib/dpkg/lock...
2021-02-06 12:28:50
2883
1
原创 Anaconda使用conda 安装更新库时出错或者网速很慢
一般我们安装Anaconda时更新库以后，要下载很多包，添加国内点镜像源以后还是会很慢，经常更新到一半就会出错，会出现以下错误，导致conda 更新失败.CondaHTTPError: HTTP None None for urlhttps://mirrors.tuna.tsinghua.An HTTP error occurred when trying to retrieve this URL.解决办法：1 打开终端：sudo gedit ~/.condarc移除过channe...
2021-02-06 12:18:06
972
2
原创 pytorch 分布式多卡训练DistributedDataParallel 踩坑记
前言： 近几天想研究了多卡训练，就花了点时间，本以为会很轻松，可是好多坑，一步一步踏过来，一般分布式训练分为单机多卡与多机多卡两种类型； 主要有两种方式实现：１、DataParallel: Parameter Server模式，一张卡位reducer，实现也超级简单，一行代码DataParallel是基于Parameter server的算法，负载不均衡的问题比较严重，有时在模型较大的时候（比如bert-large），reducer的那张卡会多出3-4g的显存占用２、Distr...
2020-07-23 19:55:11
37919
27
原创 获取网络模型的每一层参数量与计算量（Flops）———Pytorch
一、前言 在现在AI各种技术需要luo地的时期，网络模型大小能够满足嵌入式平台极为重要，不仅仅需要看模型效果，也要看模型的计算量与参数，所以在评估模型的时候就要分析网络的参数量与计算量；二、推荐pytorch工具 1、ptflops 安装： pip3 install --upgrade git+https://github.com/sov...
2020-03-24 20:23:12
10814
18
原创 计算机视觉中注意力机制基础知识（Attention Mechanism）
最近学习了关于计算机视觉中的注意力机制一些基础知识，整理下，方便复习，也分享一下；一、前言二、分类也就是两类；软注意力与强注意力，如下软注意力： 为了更清楚地介绍计算机视觉中的注意力机制，这篇文章将从注意力域（attention domain）的角度来分析几种注意力的实现方法。其中主要是三种注意力域，空间域(spati...
2020-03-22 17:44:12
1192
原创 深度学习 warmup 策略
一、介绍 warmup顾名思义就是热身，在刚刚开始训练时以很小的学习率进行训练，使得网络熟悉数据，随着训练的进行学习率慢慢变大，到了一定程度，以设置的初始学习率进行训练，接着过了一些inter后，学习率再慢慢变小；学习率变化：上升——平稳——下降；具体步骤： 启用warm up，设置warm up setp（一般等于epoch*inter_per_epoch），当...
2020-03-21 21:07:45
14311
7
原创 github搜索技巧入门（作为一个猿，怎么能github用不好呢？）
GitHub非常重要既可以学习也可用来工作，有很大的帮助，想找个开源项目，进行学习，获取项目实战经验。但是问题来了：“我不会搜啊，我只会输入回车搜索，我该怎么找啊？怎么找才能找到自己想要的，而不是出现一大堆无关的项目；如何精确找到自己想要的项目呢？希望大家看完这篇文章，可以学会如何精准找到自己所想要的项目：就像知网搜索一样，想要进行精准搜索，也就是增加筛选条件：一、三种方式搜索1、...
2020-03-15 15:50:25
421
原创 YOLOV3+ASFF（Learning Spatial Fusion for Single-Shot Object Detection）训练踩坑记
文章：https://arxiv.org/pdf/1911.09516v2.pdfgithub：https://github.com/ruinmessi/ASFF博客分析：https://blog.csdn.net/weixin_42096202/article/details/103293579前沿：下图是ASFF文章的效果，与yolov3对比，yolov3+ASFF 320的尺...
2020-03-12 14:35:47
4064
35
原创 Ubuntu关机开机之后出现NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver
给大家分享一个tip:问题：Ubuntu关机开机之后出现NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.查了一下，应该是由于内核版本更新造成的。解决方案：...
2020-03-02 09:49:24
2281
原创 ubuntu系统boot空间不足解决方案（No space left on device）
问题：执行更新命令apt-get update时，出现No space left on device：cannot copy extracted data for './boot/vmlinuz-4.4.0-116-generic' to '/boot/vmlinuz-4.4.0-116-generic.dpkg-new': failed to write (No space left...
2019-12-10 15:27:25
7563
1
原创 Tensorflow训练出现could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR 错误
Tensorflow1.10 Gpu:2080 cuda:9问题：执行训练的时候，就算batchsize设置为1，也会出现一下问题 could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR解决办法： 搜了很多办法，下面罗列解决的办法一、config = tf.ConfigProto()c...
2019-11-07 14:10:32
1795
5
原创 Ubuntu16.04系统VScode与常用插件推荐
重装系统后，有很多必要的软件，博主目前常见的软件安装教程汇总在下面链接，需要的可以看看；Ubuntu系统软件安装教程系列VScode是我最喜欢的一个代码编辑器，因为占用内存小，切ui看着舒服，最重要的是有有很多方便的插件，极大的提高的写代码效率，安装插件也很简单；先来看看这个编辑器；安装很简单1、下载VS Code进入VS Code官网下载VS Code：h...
2019-11-06 20:53:55
2971
原创 PyTorch 学习之Ubuntu16.04 下安装 PyTorch（conda与pip两种方式安装）
一、pip安装Pytorch 这里已经默认已经安装好了显卡驱动，cuda等。我这里安装的是cuda9与cudnn7，显卡驱动号：Driver Version: 384.130； 1、进入PyTorch官网： pytorch 官网进去后，点击左下角previous versions of PyTorch找到自己所需要下載的版本.如系統,cu...
2019-11-05 23:45:49
1322
原创 Numpy报错解决办法
bug描述：经常出现加载numpy会报错或者在安装tensoflow、pytorch时，出现如下错误：问题一：RuntimeError: module compiled against API version 0xc but this version of numpy is 0xbTraceback (most recent call last): File "/home/hc...
2019-11-05 11:57:34
4560
原创 sklearn.metrics.classification_report模块使用与指标分析(生成混淆矩阵评价分类指标)
一、引言 在深度学习中，分类任务评价指标是很重要的，一个好的评价指标对于训练一个好的模型极其关键；如果评价指标不对，对于任务而言是没有意义的。 一般都是用准确率来作为评价指标，然而对于类别不均衡的任务来说，或者在任务中某一个类的准确率非常重要。如果再使用单纯的准确率肯定是不合理的，对任务来说 没有意义。所以我们需要一个好的评价指标来。目前一般都是用精准率，召回率，...
2019-10-26 18:01:22
31182
5
转载 Pytorch：transforms－进行在线图像增强的方法总结
本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch_Tutorial本文对transforms.py中的各个预处理方法进行介绍和总结。主要从官方文档中总结而来，官方文档只是将方法陈列，没有归纳总结，顺序很乱，这里总结一共有四大类，方便大家索引：裁剪——Crop 中心裁剪：transforms.Ce...
2019-07-16 15:11:15
4505
3
原创 谷歌图像爬虫方法总结与教程
对于在计算机时间领域的人，无论在学习之中还是工作之中，数据都是很重要。最近在做一个关于分类的项目，怎奈何数据量很少，需要去各种网站去找相关图像。然而图像一张一张下载太耗时间，所以想能够批量下载。看了很多资料都说谷歌有反爬虫机制，故而就去研究了比较有种的谷歌爬虫方法。我试了三种方法是比较有效的，只不过各有好处。下面开始介绍三种方法，并附有代码、教程。一、fatkun工具这个工具是比较好...
2019-06-24 14:47:09
5852
原创 训练时候的bug----ValueError: slice index 2 of dimension 0 out of bounds
出现问题：tensorflow.python.framework.errors_impl.InvalidArgumentError: slice index 2 of dimension 0 out of bounds. for 'strided_slice_2' (op: 'StridedSlice') with input shapes: [2], [1], [1], [1] and wi...
2019-06-17 16:35:15
9882
5
原创 Segmentation fault (core dumped)（核心转载）与清理显存等问题解决
问题：跑训练时，其他的能够准确训练，可是跑其他代码的时候就会出现core dumped，导致不能正确训练。问题原因core dump又叫核心转储, 当程序运行过程中发生异常, 程序异常退出时, 由操作系统把程序当前的内存状况存储在一个core文件中, 叫core dump.一般这种问题，由如下几个原因：堆栈溢出内存访问越界，如由于使用错误的下标，导致数组访问越界显存占有...
2019-03-07 15:35:09
3858
原创 福昕阅读器PDF文件不能标记不能高亮的原因与解决方案
出现不能标记不能高亮不能注释的原因，一般有两种原因：1、PDF有写入保护，部分有加密，，受保护，已经受限，不能注释不能修改。2、本身pdf文件就是图片，所以不能进行高亮标注等操作。如何查看是哪种问题呢？打开文件后，选择文件---文档属性--安全 或者直接按ctrl +D 查看，如下图所示，这样的话就是第一种原因解决办法： 第一种问题解决方案：在一些网页上，线...
2019-01-05 20:59:48
47857
3
原创 Ubuntu下U盘只读文件系统，图标上锁，文件无法写入
一、问题Ubuntu16.04上有时候插入U盘，发现不能修改其中的内容。例如不能新建文件和文件夹，不能向U盘中复制文件，可以复制出来，在其他系统就没事，打开属性显示提示：只读文件系统。原因应该是U盘文件信息出错，要修复，可能格式化能解决吧，我没试过。查看了一些博客，最后以如下办法解决了问题 二、解决方法a、查看U盘信息插入U盘。打开命令行，执行如下指令：df -h...
2019-01-05 18:34:30
2184
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人