- 博客(17)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 ubuntu安装opencv c++ with ffmpeg(支持视频编解码)
1.描述需要使用opencv c++来处理一些视频文件，安装（编译）opencv时需要开启ffmpeg支持，此文章记录ubuntu下的安装过程，opencv版本以3.4.5为例，其他版本类似。2.步骤总览1.安装ffmpeg2.安装其他相关库文件3.编译并安装opencv3.安装ffmpeg先更新源列表apt-get update安装ffmpegapt-get ffmpeg验证ffmpegffmpeg -version4.安装其他依赖库...
2021-12-09 15:24:45
3517
原创 Pytorch并行分布式训练四 （DDP）
Getting Started with Distributed Data Parallelhttps://pytorch.org/tutorials/intermediate/ddp_tutorial.htmlDDP是目前Pytorch推荐的多GPU训练方法，它支持单机多卡，多机多卡等情况。目前pytorch对DDP技术中进程的启动方式又分为launch脚本启动，和mp模启动。就目前而言，pytorch更推荐采用mp的方法，但launch的方法使用的也很广，所以下面一并做一些介绍。1.Data..
2021-11-05 14:09:12
2224
原创 Pytorch并行分布式训练三 （模型并行）
Single-Machine Model Parallel Best Practiceshttps://pytorch.org/tutorials/intermediate/model_parallel_tutorial.html#pytorch 多GPU训练一般采用的是“数据并行”的方法，但它同样也支持“模型并行”。“模型并行”需要解决的首要问题就是模型太大，导致单张GPU无法完整的加载整个模型。由于数据并行方法模型会被复制（广播），面临这种情况时数据并行也无济于事，模型并行能够将模型拆分到各个...
2021-11-05 14:01:30
4488
原创 Pytorch并行分布式训练二 （ DP）
Optional: Data Parallelismhttps://pytorch.org/tutorials/beginner/blitz/data_parallel_tutorial.html#optional-data-parallelismDP是最简单的pytorch多gpu训练方法，虽然现在已不是pytorch官方的推荐，但也值得做适当的了解。1.单GPU训练可以概况为：Modelto GPU Input to GPU Input to Model值得注意...
2021-11-05 13:51:12
286
原创 Pytorch并行分布式训练一 （ 总揽）
PyTorch Distributed Overview — PyTorch Tutorials 1.10.0+cu102 documentationhttps://pytorch.org/tutorials/beginner/dist_overview.html#1.介绍从PyTorch v1.6.0起，torch.distributed中的特性可分为三个主要组成部分:Distributed Data-Parallel Training(DDP)：一种被广泛采用的单程序多数据的分布式训练...
2021-11-05 13:44:46
534
原创 docker容器内运行jupyter映射到本地
1.问题描述docker 拥有端口映射功能，但是简单地将jupyter运行的端口映射到本地再在本地浏览器中打开此端口却发现没办法链接上容器内的jupyter。2.解决方案说明：在容器内运行jupyter时，要特别指定ip为0.0.0.0，并且使用--no-browser参数才能正确将jupyter端口映射到本地。步骤：1.本地机器运行一个doker容器，注意指定端口映射（-p 8888:8888）：docker run -it -p 8888:8888 image:versio
2021-07-21 16:30:38
1103
2
原创 EMA(指数移动平均)及其深度学习应用
在深度学习中，经常会使用EMA（指数移动平均）这个方法对模型的参数做平均，以提高测试指标并增加模型鲁棒。1.基于数学的介绍 公式例子 我们有关于“温度-天数”的数据：在第t天的温度。：第t天的移动平均数。：权重参数。图中红线即是蓝色数据点的指数移动平均。 和 之间的关系 大概表示前天的平均数据。（以第天做参考）如： 大概表示前10天的平均数据 红线 ...
2021-07-02 14:58:02
11661
1
原创 Win10使用Linux子系统(WSL2)进行深度学习训练
1.使用场景希望拥有Linux系统开发深度学习程序的便捷性，和Windows系统日常工作的高效性。为什么不用虚拟机：虚拟机（如VMware等）安装的Linux系统无法使用Windows系统中的显卡进行深度学习程序加速。2.步骤概况开启windows体验计划，并更新系统至较高预览版本。 安装英伟达对wsl2的显卡驱动（NVIDIA Drivers for CUDA on WSL）。 安装wsl2。 从windows商店安装Ubuntu系统。 安装CUDA Toolkit 。Or
2021-07-01 17:19:43
10482
29
原创 OneNote for Win10 代码高亮
1.说明OneNote 2016可以通过插件来进行代码高亮，但由于OnoNote for Win10 关闭了一些功能导致此插件无法移植到OnoNote for Win10上。如果你有足够资金，可以购买gem for OneNote Win10插件，大约90人民币。此插件网上还没有破解版本，所以如果资金不足，可以尝试以下方法。2.解决思路OneNote支持带格式粘贴（包括高亮的代码），所以可以使用其他软件让代码拥有高亮格式再粘贴回OneNote。3.操作步骤复制需要高亮代码..
2021-05-07 10:59:05
3143
2
原创 随机种子，random seed，伪随机数
此处讨论的随机种子适用于random模块，numpy, torch等。我们将以random模块为例。1.随机数到底怎么生成的python中的随机数其实是所谓的“伪随机数”，它的生成并不是完全无迹可寻的。伪随机数生成器通过对“某个值”执行系列操作来获得伪随机值。 通常，这“某个值”来自上一个随机数生成器生成的值。 但是，当你新打开一个程序时，没有由上一个伪随机数生成器产生的值，这时系统就会为你定一个初始值（可能根据日期，时间啥的，可以认为是无法被推断的），通过这个值你可以一路往下走。...
2020-11-20 16:36:26
2017
2
原创 Python 字符串（%,.format,f）
此文大部分内容参考了引用文章，在此表示感谢。此文在引用文中基础上修改了一些错误，添加了一些示例。1.%操作符（所有版本都支持）python2.6之前只支持这一种格式化方法。这类似于C语言的格式化方法。1.1举个例子>>> print("I'm %s. I'm %d year old" % ('Tom', 27))I'm Tom. I'm 27 year old>>> print("I'm %(name)s. I'm %(age)d year ol
2020-11-19 22:18:57
472
原创 VSCode 连接远程服务器使用图形化界面（GUI）
1.基本环境本地电脑系统：window10远程服务器系统：Ubuntu18.04.2VSCode版本：1.51.12.问题描述vscod提供了优秀的远程连接插件（Remote-SSH）,我们可以方便地连接远程服务器进行编程。但是如果我们程序涉及到操作显示图像，由于程序运行在服务器上，无法直接将图像显示到我们的本地系统。或者我们想使用gedit这中需要图形化界面支持的linux命令，也会报错。3.解决思路使用X协议进行转发，也就是把显示在远程服务器上的图像转发到我们的本..
2020-11-19 15:26:02
24279
75
原创 调用matplotlib.pyplot时报错could not find or load the Qt platform plugin “xcb”
一般是版本不兼容的原因，解决思路为先卸载原有matplotlib再重新安装。参考如下：pip uninstall matplotlibpip install matplotlib提供我这边可运行的版本信息：python ： 2.7.14matplotlib： 2.2.5...
2020-03-16 09:35:16
970
1
转载 Ubuntu18.04安装破解版Matlab_2016b（完美安装）
https://blog.csdn.net/fengfeng0328/article/details/82990838
2019-07-08 21:29:25
777
Xming for Windows
2020-11-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人