mygugu-CSDN博客

分布式训练框架的实现逻辑学习笔记1、Why?深度学习模型尺寸逐渐扩大，训练数据量显著上升。为了更好利用训练资源，提高效率。2、分布式训练原理主要两种思路：一是模型并行，另一个是数据并行。（1）模型并行即将一个模型分拆为多个小模型，分别放在不同设备上，每个设备可跑模型的一部分(例如，UNet网络就是将模型拆为两部分，分别在两块卡上训练)。存在的问题：模型在训练时需要更新梯度等，使得模型各部分之间关联性较大，因此这种方式效率较低，需要分散在不同设备之间的频繁通信，一般少用。（2）数据并行

2022-05-10 18:33:01 478

原创 Linux--ubuntu命令积累

1. apt-key: 管理APT软件包的密钥常用参数：add filename 从文件中加载新的密钥到被信任的密钥中del kid 从被信任的密钥中删除指定密钥export keyed 将指定的密钥输出到标准输出设备exportall 将所有密钥输出到标准输出设备list 显示被信任密钥finger 显示被信任密钥的指纹adv 向pgp传递高级特性update 通过key包来更新key.

2022-04-21 15:00:08 182

原创 Goland 调试go使用-大白记录

前提环境检验：goland安装成功；go环境变量已配置，验证：cmd----输入go version可显示版本信息，如下：查看go 环境信息，通过命令go env实现，如下：主要关注下GOPATH至此，环境完成！Bug修复：git clone代码后，goland打开报错GoLand：Cannot resolve symbol以及sync dependencies ofxxx时也报错，但是运行官方示例代码就可以正常。后来发现是GOPATH设置问题，修改如下：

2022-04-21 14:57:21 3244

原创 Go语言实现对k8s中资源的增删改查

本文介绍利用go语言实现对k8s中pod/service/deployment资源的增删改查操作。（个人实际操作的记录，有错误欢迎指正呀~）K8s中有哪些资源？资源对象：deployment、service、ingress、replicaSet、pod、namespace、node等核心资源：pod service deploymentclient-go源码准备工作：已安装kubernetes集群和本地IDE环境配置完成。根据自己的kubernetes版本，下载对应源码：c

2022-04-21 14:56:40 1731

原创 docker中设置proxy代理环境变量

目录1.dockerfile中定义2.对于已构建好的 Image（1）传递永久环境变量（2）临时传递3.对于已生成的容器：（1）永久设定环境变量（2）临时设定1.dockerfile中定义2.对于已构建好的 Image有两种方式：（1）传递永久环境变量在启动的时候传入参数：$ docker run --rm -it -e https_proxy="https://IP地址:端口" -e http_proxy="http://IP地址:端口" i

2022-04-15 10:37:43 2957

原创 Anaconda 迁移

step1: copy condadocker cp 本机conda虚拟环境路径容器内虚拟环境路径查看虚拟环境路径：conda info -e例如：本机容器内：则，迁移命令为：docker cp /home/XXX/anaconda3/envs/py38torch18 容器IP:/opt/conda/envs/迁移完成后，进入容器，验证：conda info -e问题：1.遇到bash: /opt/conda/envs/py38torch18/

2022-04-15 10:22:45 2298

原创 Python系列学习汇总-持续记录

一、文件相关1. Pathlib模块，“/”含义1.ROOT_DIR = (Path(__file__).resolve().parent / '../../../').resolve()(1)Path(__file__).resolve()含义：Path是可以进行系统调用的 PurePath 子类；__file__表示表示显示文件当前的位置；.resolve()表示将路径或路径片段的序列解析为绝对路径;.parent()来自OpenPCDet系列中pcdet/datasets/

2022-04-14 09:45:59 653

原创 Client-go系列：其他-Go语言基础---持续更新记录

当标识符（包括常量、变量、类型、函数名、结构字段等等）以一个大写字母开头，如：Group1，那么使用这种形式的标识符的对象就可以被外部包的代码所使用（客户端程序需要先导入这个包），这被称为导出（像面向对象语言中的 public）；标识符如果以小写字母开头，则对包外是不可见的，但是他们在整个包的内部是可见并且可用的（像面向对象语言中的 protected ） go run & go build： go run xx.go会直接执行代码，不生成其他文件还可用go build xx.go生

2022-04-01 15:19:20 223

原创 VScode连接远程服务器以及在远程docker环境下debug调试代码

本文主要记录自己在windows环境下的vscode如何连接远程linux环境，以及如何连接远程服务器中的docker container,在容器中进行代码调试，开心debugo(*￣▽￣*)ブ如何连接远程服务器？step1: 安装Remote-ssh插件，安装完成后左侧工具栏出现如下图左侧最后一个小图标step2:添加服务器连接配置信息，点击新增小电脑图标----点击SSH TARGETS处的“+”：然后输入远程服务器的地址，账号和ip根据自己的情况进行修改：回车后，.

2022-03-30 14:02:30 2057

原创 Linux下文件权限问题即chmod chown chgrp

写这篇文章的背景：之前用公共账号登录linux服务器，clone了一些代码，后来用自己账号登录，尽管将代码拷贝到自己账号下了，但发现没有权限修改！！于是查看了下文件及文件夹所有者以及所属组：先进入对应目录下ls -l显示结果：上述结果共有7列：第一列有10个字符，代表文件类型与权限第一个字符表示文件类型：(d)表示目录，(-)表示文件，（l）表示链接文件等。接下来9个字符以3个为一组，均为“rwx”的组合，分别表示可读，可写，可执行。 ......

2022-03-28 16:26:19 394

原创 kubernets创建Pod的三种方式

方法1. 通过yaml文件部署或创建pod[root@xxxxx]# vi test.yaml# 填入下面内容：apiVersion: v1kind: Podmetadata:name: web-applabels:role: approlespec:containers:- name: web-app-contimage: nginxports:- name: web-app-portcontainerPort: 80protocol: TCP在yaml中完善pod

2022-03-25 11:31:26 5888

翻译 Multi container pod多容器Pod

PodPod可以分为只包含一个容器的pod和包含多个容器的pod。Multi Container Pods为什么使用多容器pod?比如有一个application需要多个容器运行在相同Host上时，最好的选择就是多容器pod，尽管这会违反“One process per container” 规则，也不利于排查问题，但是利大于弊，例如团队内部可以重用更精细的容器。多容器pod的设计模式：（1）Sidecar Design Pattern假设容器有一个use-case，其中有一

2022-03-21 11:26:42 1431

原创 Deep Learning分布式训练2.2---Horovod in Docker

上一篇记录了单机多卡训练，就是在一台机器上使用多张卡训练模型(我的老板说这不算是分布式🤫)下面通过创建两个容器，模拟分布式训练，设计难点：（1）容器之间免密连接，就这个了！！！！下面是实现步骤了：前提：有docker、nvidia-docker、horovod创建image，实现容器间免密登录（我这里直接使用DockerHub提供的horovod镜像作为基础镜像，在此基础上进行修改的，大家也可以使用源代码提供的Dockerfile，进行更改）下面是我运行的dockerf

2022-03-17 18:04:27 1541

原创 Deep Learning分布式训练2---Horovod in Docker

必备前提：1.安装docker2.安装nvidia-docker官网：Installation Guide — NVIDIA Cloud Native Technologies documentationubuntu系统：（按如下步骤一步步执行命令即可）（1）Setting up NVIDIA Container Toolkit¶Setup thestablerepository and the GPG key:$ distribution=$(. /etc/os-r...

2022-03-15 18:32:43 1842

原创 Docker常用命令积累--持续更新

创建容器完整步骤示例：dockerhub拉取镜像：Docker Hub官网1. 搜索（python）镜像：docker search python2.拉取镜像，eg.pythondocker pull 镜像名3. 查看镜像docker images ls4. 运行镜像：docker run -itd python:latest bash其中，-itd表示后台运行，python:latest为镜像及对应的版本-d参数指定容器的运行模式，加了-d参数默认不

2022-03-15 10:40:52 1601

原创 Kubernetes以及常用命令(使用汇总)--持续更新

查看版本信息 client为kubectl版本， server为master节点的k8s版本信息kubectl version -o json错误提示：The connection to the server localhost:8080 was refused - did you specify the right host or port解决：mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/conf.

2022-03-14 16:18:49 535

原创 Deep Learning分布式训练1---Horovod with Pytorch

个人学习过程记录----------官网链接：Horovod with PyTorch — Horovod documentation实验背景：数据集的大小、模型的复杂度(存储和计算量)，以及当下计算设备的硬件资源的利用，都影响着模型训练时间。同时为追求模型的最佳效果，模型复杂度也相当高。实验目的：利用Horovod实现Pytorch算法分布式训练。当前分布式深度学习方式：(1) 模型并行VS 数据并行(2)通信机制:网络拓扑(ParameterServer 和All

2022-03-14 15:01:22 2582

原创 pycharm 创建py文件总是为txt格式

记录：写代码过程中创建.py文件时，一直正常，但创建名称为train.py文件时总是为txt格式，即使选择了python file,也有了.py后缀。(看了教程说File-setting-F)解决：File-File Properties-Associate withFile Type然后可以看到train.py绑定了类型text，只需要上滑将text改为python即可。（类似文件类型的问题应该改法一致！！！）...

2022-01-08 15:38:38 1596

原创神经网络训练零碎点记录

1. tensorboard localhost:6006打开报错，不显示内容：解决：terminal终端(runs为每次运行py文件时产生的日志文件目录)cd runs/tensorboard --logdir 文件名 --host=127.0.0.12. 将pycharm 的Runs窗口下的输出保存到某个文件中：terminal-->输入python xxx.py>out.txt其中xxx.py为需要运行的程序，out.txt就是你想要输出的文件名。3.。。。

2021-11-29 14:12:39 1041

原创 Win10 64环境下VScode C++配置 MinGW

Win10 环境下VScode C++配置VScode安装下载链接中途：这些可以勾选，便不需要手动配置环境变量pathVScode安装完成后，打开软件，安装C++插件：安装MinGW官方下载链接安装时根据自己电脑32还是64位对应选择与安装。记住安装的位置，后面要指定bin的路径，配置环境变量。bin目录下有很多这种文件：开始配置环境变量：右击我的电脑—属性—高级系统设置—环境变量----系统变量中找到PATH, 点击右上方NEW，将bin的路径加进去：完成后，打开运行

2021-09-09 10:58:33 302 1

原创 Preparing lessons: Improve knowledge distillation with Better supervision

问题：教师的logits进行训练可能出现incorrect和overly uncertain的监督解决： (1) Logits Adjustment(LA) (2) Dynamic Temperature Distillation(DTD)LA：针对错误判断的训练样本，交换GT标签和误判标签的logits值DTD:一些uncertain soft target是因为过高的温度值，因此可采用动态温度计算soft target,该温度在训练期间自适应更新----->...

2021-08-06 14:51:40 445

原创 Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation

a ResNet equipped with proposed self distillation：上图中（左侧图示绿色箭头与蓝色有问题，参考图中loss的文字说明）：(1)所有分类器可独立使用，各自有不同的accuracy和响应时间. (2) 虚线以下部分只在训练阶段需要三种监督方式：Loss1: 交叉熵：隐藏在数据中的知识直接从标签引入到所有分类器。 qi:分类器Θi/C的softmax层输出Loss2: KL散度：旨在将浅层分类器近似最深层分类...

2021-08-04 09:55:08 783 1

原创 win10+Anaconda+tensorflow_gpu2.0环境搭建

1.创建虚拟环境conda create --name XXX python=3.7其中XXX为虚拟环境名称，python的版本可以自己指定注意：在创建过程中遇到问题，不论是更新conda还是啥，总是报错，报错的截图如下（错误太长，只截了前部分和最后部分）：解决办法：后又提示CondaHTTPError: HTTP 000 CONNECTION FAILED for url问题：解决：（1）原因：默认镜像源访问速度过慢，会导致超时从而导致更新和下载失败。（2.

2020-12-07 21:22:19 98

原创 win10 Docker安装redis RabbitMq+ IDEA连接docker

首先下载docker并安装下载链接：https://hub.docker.com/editions/community/docker-ce-desktop-windows/（可选择stable版本）docker中安装redis和rabbitMq:Docker中安装rediscmd-->1.拉取镜像：docker pull redis:latest2.运行 redis 容器：可以不设置密码：docker run -itd --name myredis -p 63...

2020-08-12 13:29:46 838

原创 Anaconda常用的相关conda命令：安装环境、更新版本、删除环境等等（tensorflow、python等），持续更新...

进入cmd窗口：1.检查anaconda是否安装成功：conda --version2.查看已安装的环境变量：conda info --envsTensorflow相关：1.安装tensorflow及对应的python版本：conda create --name XXX python=3.7(XXX是要创建虚拟环境的名称，python版本可以自己指定)2.激活环境：activateXXX（XXX：环境名称）3.退出环境：deactivate XXX（XXX：环境名称）4...

2020-07-23 11:14:00 1164

原创 MySQL问题一：javax.net.ssl.SSLException: closing inbound before receiving peer‘s close_notify

JDBC使用MySQL数据库时报异常，但不影响结果：报的异常如下图一：解决办法：在程序中连接数据库的地方设置?useSSL=false，再次运行就正常了。比如我的：图一：

2020-07-08 15:14:02 629

原创 Mysql8.0安装以及Navicat Premium连接使用踩坑记录

1.安装MySQL（注意：一定要记住安装过程中自己设置的密码）链接：https://cdn.mysql.com//archives/mysql-installer/mysql-installer-community-8.0.13.0.msi2.安装Navicat,可以一路next:链接https://codeload.github.com/shaofeng666/Navicat-for-MySQL-/zip/master3.着重记录出错点：（1）Navicat连接MySQL报错125

2020-07-07 15:43:12 383

原创 Windows下eclipse安装Node.js及环境变量的配置

安装地址：https://nodejs.org/zh-cn/安装过程直接一路next就好，中途可以修改安装路径，改为自己的想要的路径，不建议总放C盘环境变量配置：参考链接https://www.cnblogs.com/liuqiyun/p/8133904.html（Ps:这个链接写的很详细很好）...

2020-06-29 15:32:04 476

原创 win10+ubuntu双系统下为ubuntu系统分区(主目录)增加空间

安裝双系统后使用时发现主目录/home下的空间只有1G，有一个21GB卷不知道啥用，估计当时装系统时分区出问题了：本文要解决的问题：使用Gparted将21GB卷的分区空间分出一部分到/home目录：步骤：（1）安装Gparted:终端输入安装gparted:sudo apt-get intsall gparted打开gparted:sudo gparted...

2020-01-14 21:18:15 876

原创 ubuntu16 vscode darknet提示gcc版本不支持later than 6的

原因：gcc版本太高了,自己装的是7.3.0解决：sudo rm /usr/local/cuda/bin/gccsudo rm /usr/local/cuda/bin/g++sudo ln -s /usr/bin/gcc-5 /usr/local/cuda/bin/gccsudo ln -s /usr/bin/g++-5 /usr/local/cuda/bin/g++切换成gcc-...

2019-10-13 20:34:06 264

转载 ubuntu下vscode编译运行c/c++

2019-10-12 22:05:29 583

原创 ubuntu16安装octave4.2.2（解决sudo: unable to execute /usr/bin/apt-add-repository: No such file or direct）

上一篇装完octave5.0.1结果没有GUI界面。。。。4.0.0版本不稳定，会闪退，以下为正确安装过程4.2.2首先移除已安装的所有版本的Octavesudo apt-get remove octave再安装octavesudo apt-add-repository ppa:octave/stablesudo apt-get updatesudo apt-get i...

2019-09-29 14:08:29 2401

原创 ubuntu16.04安装octave5.1.0(只有命令行形式，没有GUI图形界面)

从这里下载对应的压缩包：https://mirrors.ustc.edu.cn/gnu/octave/我下载了5.1版本然后解压到octave5.1.0cd octave5.1.0./configuresudo makesudo make install事情并没有这么简单，遇到的问题及解决方法：主要是在./configure碰壁：（1）报错error:No ...

2019-09-26 20:54:26 1098

原创 ubuntu+vscode调试darknet遇到的问题

重新编译遇到的错误：注明：在使用以下解决方法前需要安装并正确配置好cuda和对应版本的关系。可参考另一片文章：https://blog.csdn.net/mygugu/article/details/958625811.总是报错：找不到/usr/bin/ld lcudnn解决方法：（1）这是网上给出的办法，但对于我的错误没有起到做用（2）自己的解决办法：将cudnn...

2019-09-18 15:01:24 780

空空如也

空空如也