- 博客(170)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 pytorch基础：autograd, 模型定义
import osfrom turtle import forwardimport cv2import torch# 定义一个网络import torch.nn as nnimport torch.nn.functional as Fclass Net(nn.Module): def __init__(self): # super相当于是指向当前对象的父类，这样就可以用super.xxx来引用父类的成员。 super(Net, self).__.
2022-03-29 11:07:54
231
转载 pytorch基础：tensor
import osimport cv2import torchif __name__ == "__main__": # 创建未初始化的矩阵 x = torch.empty(5, 3) # 创建随机初始化矩阵 x1 = torch.rand(5, 3) # 创建一个0填充的矩阵，数据类型为long # 注意 zeros 有s,类型参数为dtype 且是torch.long x2 = torch.zeros(5, 3, dtype=torch.l.
2022-03-29 10:36:48
983
转载 Linux上GitHub/GitLab多帐号管理SSH Key
如何在一台机器上面同时使用 Github 与 Gitlab 的服务？生成GitHub/GitLab 的 SSH Key$ ssh-keygen -t rsa -f ~/.ssh/id_rsa_github -C "[email protected]"$ ssh-keygen -t rsa -f ~/.ssh/id_rsa_gitlab -C "[email protected]"检查key是否生成，执行下面的命令，有id_rsa_github和id_rsa_gitlab以及他们的公钥文件就是成
2022-03-28 19:36:30
468
原创 ubuntu 配置python|pytorch
# 更新环境安装依赖sudo apt-get updatesudo apt-get upgradesudo apt-get install build-essential cmake unzip pkg-configsudo apt-get install libjpeg-dev libtiff-dev libpng-devsudo apt-get install libgtk-3-devsudo apt-get install libavcodec-dev libavformat-dev l.
2022-03-22 16:51:58
1848
原创 python/matplotlib绘制混淆矩阵图
from sklearn.metrics import confusion_matrix, f1_score, multilabel_confusion_matrixfrom operator import truedivimport numpy import matplotlib.pyplot as plt if __name__ == "__main__": confusion = numpy.array(( [0, 2, 3 , 5, 3, 6], ..
2022-03-11 14:28:21
1892
转载 Tensorboard可视化与远程链接服务器
tensorflow作为主流的深度学习框架为我们设计了封装十分完善的可视化工具——tensorboard，用起来也十分的方便。这篇博客介绍tensorboard的两个主要应用，一个是显示网络结构即训练过程中的一些参数loss，weights等，还有一个就是当用服务器训练网络时，我们如何在本地显示tensorboard一、Tensorboard监控网络训练过程TensorBoard完整的使用流程主要有一下几步：·添加记录节点，即添加需要监测的对象：tf.summary.scalar/image/his
2021-12-13 15:24:23
488
转载 更改Ubuntu默认python版本的方法
可以按照以下方法使用 ls 命令来查看你的系统中都有那些 Python 的二进制文件可供使用。 1 2 $ls/usr/bin/python* /usr/bin/python/usr/bin/python2/usr/bin/python2.7/usr/bin/python3/usr/bin/python3.4/usr/bin/python3.4m/usr/bin/python3m 执行如下命令查看默认的 Python 版本信息:...
2021-12-04 14:19:18
5056
转载 修改pycocotools输出每个类别AP结果
参考：https://github.com/tloki/cocoapi/commit/52c206187e3415b60318f8b05e7dc405b6e8514e print( "category names: {}".format([e["name"] for e in sorted(dataset["categories"], key=lambda x: x["id"])])) categor..
2021-04-08 13:18:18
1718
3
原创 git：Failed to connect to 127.0.0.1 port 8087: Connection refused
在使用git时遇到如下问题：fatal: unable to access 'https://github.com/xxxx/xxxx.git': Failed to connect to 127.0.0.1 port 8087: Connection refused解决办法：参考https://stackoverflow.com/questions/24543372/unable-to-connect-to-git-remote-repository通过删除~/.gitconfig 中.
2021-03-30 14:54:05
6659
原创 计算pytorch模型FLOPs,Params
import torchfrom flops_counter import get_model_complexity_infoinput_shape = (3, 320, 568)split_line = '=' * 30flops, params = get_model_complexity_info(model, input_shape)split_line = '=' * 30print(f'{split_line}\nInput shape: {input_shape}\n...
2021-03-26 10:40:29
1916
1
转载 Yolov3模型框架darknet研究（二）结合darknet代码理解 bflops
在用darknet框架进行目标检测时，经常看到BFLOPS的概念，很多人不清楚什么意思，这里结合源代码来具体讲解一下。BFLOPS 有两个不同场景下的解释。 第一种是描述硬件运算性能的单位，这时其全称是Billion Float Operations Per Second，即每秒能进行多少个十亿次浮点运算；第二种是描述某次卷积运算需要的多少个十亿次浮点运算，其全称是 billion float operations，将多次卷积等运算所耗费的BLOPS加起来就可以来表示 某个算法模型的复杂度。显然..
2021-03-16 10:08:47
485
转载 使用cocoapi遇到的坑及爬坑记录
使用cocoapi遇到的坑及爬坑记录问题一：模型评估阶段，数据类型不匹配问题二：模型评估阶段，读取预测结果时传的列表为空近期在做基于coco数据集的实验，这两天又幸运地薅到了实验室一台服务器，搬运一波代码配好环境之后发现在服务器上使用coco自带的api做evaluation的时候报错了，卡了好久才把问题都解决。以下是遇到的两个问题以及爬坑的记录。问题一：模型评估阶段，数据类型不匹配错误信息TypeError: object of type <class ‘numpy.float64’&
2021-03-15 19:19:14
1574
11
原创 python使用遇到的问题
1.python 引用其他文件中函数import syssys.path.insert(0, '/path/to/application/app/folder') # or sys.path.append('/path/to/application/app/folder')import file2.Unable to init server: Could not connect: Connection refusedGdk-CRITICAL **: 12:07:39.428: gdk_
2021-03-15 17:41:23
508
转载 深度神经网络的多任务学习概览(An Overview of Multi-task Learning in Deep Neural Networks)
译自：http://sebastianruder.com/multi-task/1. 前言在机器学习中，我们通常关心优化某一特定指标，不管这个指标是一个标准值，还是企业KPI。为了达到这个目标，我们训练单一模型或多个模型集合来完成指定得任务。然后，我们通过精细调参，来改进模型直至性能不再提升。尽管这样做可以针对一个任务得到一个可接受得性能，但是我们可能忽略了一些信息，这些信息有助于在我们关心的指标上做得更好。具体来说，这些信息就是相关任务的监督数据。通过在相关任务间共享表示信息，我们的模型在原...
2021-02-24 14:44:20
1489
原创 RuntimeError: split_size can only be 0 if dimension size is 0, but got dimension size of 2
使用pytorch时遇到下面的问题RuntimeError: split_size can only be 0 if dimension size is 0, but got dimension size of 2原因：训练的batch size 比使用的GPU数量少，导致上述问题。解决办法增加batch size数值，保证为GPU数量整数倍。参考：1.https://discuss.pytorch.org/t/concatenating-images/40961/10
2021-02-02 11:10:02
610
转载 Linux下md5sum用法 (查看文件或字符串的md5值)
MD5算法常常被用来验证网络文件传输的完整性，防止文件被人篡改。MD5 全称是报文摘要算法（Message-Digest Algorithm 5），此算法对任意长度的信息逐位进行计算，产生一个二进制长度为128位（十六进制长度就是32位）的“指纹”（或称“报文摘要”），不同的文件产生相同的报文摘要的可能性是非常非常之小的。md5sum命令采用MD5报文摘要算法（128位）计算和检查文件的校验和。一般来说，安装了Linux后，就会有md5sum这个工具，直接在命令行终端直接运行。语法 1
2021-01-13 23:26:37
911
原创 pytorch 相关知识
1.PyTorch Tips(FLOPs计算/参数量/计算图可视化/相关性分析)https://zhuanlan.zhihu.com/p/1123193912.科普总结：Flops、FLOPS、GFLOPShttp://imgtec.eetrend.com/blog/2020/100048896.html
2021-01-13 23:19:46
77
转载 linux下使用crontab定时执行脚本
一、crond简介crond 是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与windows下的计划任务类似，当安装完成操作系统后，默认会安装此服务 工具，并且会自动启动crond进程，crond进程每分钟会定期检查是否有要执行的任务，如果有要执行的任务，则自动执行该任务。Linux下的任务调度分为两类，系统任务调度和用户任务调度。系统任务调度：系统周期性所要执行的工作，比如写缓存数据到硬盘、日志清理等。在/etc目录下有一个crontab文件，这个就是系统任务调度的配
2021-01-13 23:14:22
1630
转载 python *args 和 ** kwargs
可变长度的参数*args的使用方法 *args 用来将参数打包成tuple给函数体调用可见，1这个参数，被打包成了一个元组 1 2 3 4 5 6 deffunc(*args): print(args,type(args)) func(1) -->> (1,) <class'tuple'> *args是可变参数...
2021-01-13 23:09:53
117
原创 python读取和保存json文件
json文件是一种常见的数据存储文件，比txt看着高级点，比xml看着人性化一点。同时，json作为一种通用协议的文件格式，可以被各种语言方便地读取。所以，json非常适合用来存储结构化的数据。json的具体介绍和使用规范：https://www.json.org/json-en.html本文将关于python读取json做一个小小的记录和总结。1. 读取json一般情况下的json文件，存储的是python中的一个dict。如在"dabao.json"中有以下内容：{
2021-01-13 23:00:05
5176
转载 nvidia-smi 报错：无法与 nvidia driver 通信
用 GPU 跑模型时，提示 cuda 不存在，明明已经装过！不会 nvidia 驱动又崩了吧！赶紧用nvidia-smi查看一下，提示如下错误：NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.又用nvcc -V看了一下驱动还在，网上搜了一下，用下面...
2020-12-25 09:36:27
171
原创 python opencv(cv2)常用代码
1.从原图截图rect区域 img = cv2.imread(imgname) h_ori, w_ori = img.shape[:2] minx = w_ori miny = h_ori maxx = 0 maxy = 0 x = 1 y = 1 w = 10 h = 20 if x < 0: x = 0
2020-12-23 10:51:08
391
转载 解决github图片不显示的问题
解决github图片不显示的问题（Mac版）主要思路解决方法如下：就是使用本地hosts文件对网站进行域名解析，一般的DNS问题都可以通过修改hosts文件来解决，github的CDN域名被污染问题也不例外，同样可以通过修改hosts文件解决，将域名解析直接指向IP地址来绕过DNS的解析，以此解决污染问题。1、找到GitHub上图片的域名使用Google浏览器，右击”检查“，点击”open in new tab“ 打开图片链接： https://raw.githubusercon
2020-12-21 18:02:01
1478
1
原创 linux添加用户及开通普通账户sudo权限
建立账户user@user:~/home$ sudo useradd -d /home/xxx -s /bin/bash -m xxx给账户添加密码user@user:~/home$ sudo passwd xxxEnter new UNIX password: Retype new UNIX password: passwd: password updated successfully删除账户user@user:~/home$ sudo userdel -r xxx赋予权限user@.
2020-11-13 09:52:22
936
1
转载 vscode 连接远程服务器
1.在vscode 应用商店搜索 sftp 下载安装 2.ctrl+shift+p 搜索sftp：config 生成sftp.json 3.配置你的服务器信息 { "name": "你新建的文件目录", "host": "服务器主机名称", "protocol": "sftp", "port": 22, "username": "XXX", "password": "XXX", "remotePath": "/XX/XXX", "uploadOnSave": true } 4...
2020-11-12 11:06:37
172
转载 CMAKE 中add_definitions的用法
If you are in China, please add this CMake flag -DTHIRD_PARTY_MIRROR=aliyun to speed up the downloading procedure for some dependency tar files.For pure CPU build, please add this CMake flag -DBUILD_CUDA=OFF.在编译某些项目源码的时候，有提示可以使用相关cmake设置，指令使用方式为cma.
2020-11-05 23:01:17
7962
2
原创 Ubuntu16.04 安装nccl+openmpi+horovod
1.安装nccl官网教程：https://docs.nvidia.com/deeplearning/nccl/install-guide/index.html#down1.Install the repository.选择local或者network其中一种安装方式For the local NCCL repository:sudo dpkg -i nccl-repo-<version>.debFor the network repository:sudo dpkg -i n
2020-10-30 16:59:32
1088
原创 sudo apt-get update http://ppa.launchpad.net/jonathonf 403 Forbidden
sudo apt-get update报错W: 仓库 “http://ppa.launchpad.net/jonathonf/python-3.6/ubuntu xenial Release” 没有 Release 文件。N: 无法认证来自该源的数据，所以使用它会带来潜在风险。N: 参见 apt-secure(8) 手册以了解仓库创建和用户配置方面的细节。E: 无法下载 http://ppa.launchpad.net/jonathonf/python-3.6/ubuntu/dists/xen
2020-10-29 19:05:20
412
转载 Anaconda设置CUDA版本和系统默认版本共存
安装Anaconda下载安装使用该下载链接下载Anaconda安装脚本，默认Python版本是3.6.5添加可执行权限后，执行安装安装完一堆包之后会询问是否要添加环境变量，这里选择no，稍后再添加。然后会继续询问是否安装VSCode，选择no。此时安装完成因为我们使用Anaconda只是作为虚拟python环境管理，不需要用到其自带的python以及相关包，所以需要将Anaconda的bin放到path后，否则系统的python会失效。所以将下面这一行添加到需要使用Anaconda账户的
2020-10-29 15:50:54
4087
1
转载 ResNet——CNN经典网络模型详解(pytorch实现)
1、前言ResNet（Residual Neural Network）由微软研究院的Kaiming He等四名华人提出，通过使用ResNet Unit成功训练出了152层的神经网络，并在ILSVRC2015比赛中取得冠军，在top5上的错误率为3.57%，同时参数量比VGGNet低，效果非常突出。ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升。同时ResNet的推广性非常好，甚至可以直接用到InceptionNet网络中。下图是ResNet34层模型的结构简图。2、
2020-10-21 10:45:00
1219
1
原创 单机配置多个Git账号
主要流程参考：http://www.chenyp.com/2017/08/11/multiple-git-account/有一些需要特别注意：背景：1.需要在一台电脑登录GitHub账户和公司gitlab账户2.gitlab 使用access token + ssh 登录注意步骤：1.配置多个git账户都需要先生成公钥和私钥ssh-keygen -t rsa -C "xxx.com" -b 4096回车后可以自己定义保存的位置和名称 或者使用默认（默认仅限第一次生成使.
2020-10-13 12:01:58
174
转载 python画图（线条颜色、大小、类型：点、虚线等）
https://zhuanlan.zhihu.com/c_1239148130719158272初衷本人由于平常写论文需要输出一些结果图，但是苦于在网上搜python画图时，详细的教程非常多，但是就是找不到能马上解决自己问题那一行代码，所以打算写一些适合需求简单的朋友应急用的教程，应急就必须方便搜索，所以我把主要的内容写在了标题，方便大家到主页查找对应的功能，教程里有对应的效果图，方便查看，希望可以帮助到有需要的朋友。说明本教程的效果图是在jupyter notebook完成。教程是接.
2020-07-27 14:12:27
5042
转载 windows可以ping通网络但是浏览器却不能上网
问题描述1、可以ping通域名2、聊天软件均可正常使用3、系统中各个浏览器均不能使用处理思路在度娘上百度一直也不能解决，说是要手动设置IP、netsh winsock reset使用这个命令重启操作系统，但还都是不对症，最后核查了下此用户的代理位置找到了问题所在，此用户开启了‘手动设置代理’并输入了相应地址，关闭后浏览器可正常访问，问题解决这个结果并不是唯一的结果，只是万分之一的处理方式，建议大家还是先尝试下度娘推荐的方式，或者优先检查下代理的设置情况ps：上述是原作者的情况，我这边是
2020-07-24 10:10:21
1566
1
原创 imgaug实现数据增强
import osfrom imgaug import augmenters as iaaimport cv2import sometimesseq = iaa.Sequential( [ iaa.Fliplr(0.5), # 对50%的图像进行镜像翻转 iaa.Flipud(0.2), # 对20%的图像做左右翻转 # sometimes(iaa.Crop(percent=(0, 0.1))), # 这里沿袭我们上面提.
2020-07-22 17:43:02
673
1
转载 PyTorch 常用代码段整理
基础配置检查 PyTorch 版本torch.__version__ # PyTorch versiontorch.version.cuda # Corresponding CUDA versiontorch.backends.cudnn.version() # Corresponding cuDNN versiontorch.cuda.get_device_name(0) # GPU type更新 PyTorchPyT...
2020-07-17 11:49:48
231
转载 NumPy图解教程
NumPy是Python中用于数据分析、机器学习、科学计算的重要软件包。它极大地简化了向量和矩阵的操作及处理。python的不少数据处理软件包依赖于NumPy作为其基础架构的核心部分（例如scikit-learn、SciPy、pandas和tensorflow）。除了数据切片和数据切块的功能之外，掌握numpy也使得开发者在使用各数据处理库调试和处理复杂用例时更具优势。在本文中，将介绍NumPy的主要用法，以及它如何呈现不同类型的数据（表格，图像，文本等），这些经Numpy处理后的数据将..
2020-07-17 10:57:06
468
转载 深度学习中常用的损失函数
1 什么是损失函数在机器学习中，损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，损失函数越小，一般就代表模型的鲁棒性越好，正是损失函数指导了模型的学习。机器学习的任务本质上是两大类，分类问题与回归问题，再加上综合了判别模型和生成模型后在各类图像任务中大展拳脚的生成对抗网络，这一次我们就重点讲述这些内容。2 分类任务损失2.1、0-1 loss0-1 loss是最原始的loss，它直接比较输出值与输入值是否相等，对于样本i，它的...
2020-07-17 10:52:36
1393
转载 常见深度学习模型评估指标
深度学习模型评估指标一个深度学习模型在各类任务中的表现都需要定量的指标进行评估，才能够进行横向的对比比较，包含了分类、回归、质量评估、生成模型中常用的指标。1分类评测指标图像分类是计算机视觉中最基础的一个任务，也是几乎所有的基准模型进行比较的任务，从最开始比较简单的10分类的灰度图像手写数字识别mnist，到后来更大一点的10分类的cifar10和100分类的cifar100，到后来的imagenet，图像分类任务伴随着数据库的增长，一步一步提升到了今天的水平。现在在Imagenet这样的超过.
2020-07-17 10:49:32
2275
转载 Focal loss:Focal Loss for Dense Object Detection
论文链接: https://arxiv.org/pdf/1708.02002.pdf目标识别有两大经典结构: 第一类是以Faster RCNN为代表的两级识别方法，这种结构的第一级专注于proposal的提取，第二级则对提取出的proposal进行分类和精确坐标回归。两级结构准确度较高，但因为第二级需要单独对每个proposal进行分类/回归，速度就打了折扣；目标识别的第二类结构是以YOLO和SSD为代表的单级结构，它们摒弃了提取proposal的过程，只用一级就完成了识别/回归，虽然速度较快但准确率远
2020-07-15 14:15:52
99
原创 windows通过xshell登录堡垒机（跳板机）连接linux服务器
1.xshll连接堡垒机（跳板机）前提：知道跳板机的主机名称，端口号，用户名和密码，下载xshell软件并安装a.打开xshell--连接（填写主机(H)，端口号）名称可以任意填写b.xshell--连接--用户身份验证 填写用户名和密码完成上面操作 就完成了通过xshell连接跳板机啦~c.打开上面配置的跳板机进行终端操作在xshell软件界面的所有会话中 会显示上面配置的 跳板机，双击可以打开一个跳板机终端界面。如果只有一个连接的跳板机，在Opt> 后面输入1 即可
2020-06-29 16:53:57
5300
pytorch-insightface-mxnet2pytorch.rar
2020-03-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人