阿喵酱紫糖-CSDN博客

原创 pytorch distributed learning分布式训练

pytorch分布式训练

2022-12-27 20:07:03 281

原创关于在循环中backward()的注意事项

trying to backward through the graph a second time (or directly access saved tensors after they have already been freed)

2022-12-14 18:32:42 841 1

主要参考：【入门】Docker练习场常见问题-天池大赛-阿里云天池假设云端库中提供了镜像名称为 abcd:v1.1目标是在该镜像环境下测试本地代码1、拉取镜像docker pull abcd:v1.12、再次基础上构建自己的本地镜像cd 到本地目录下新建Dockerfile 新建run.shdocker build -t yourimagename:1.1 . 3、构建完成后可先验证是否正常运行，正常运行后再进行推送。CPU镜像：yourimagename:1.1 GPU镜像：yourim

2022-07-04 17:09:21 2367 1

转载 CEloss对不同变量的梯度

1、CELoss 对类别的梯度Cross entropy loss function is widely used in classification problem in machine learning. In this tutorial, we will discuss the gradient of it.We often use softmax function for classification problem, cross entropy loss function can be defi

2022-07-03 18:02:18 250

转载哈密尔顿蒙特卡洛（Hamiltonian Monte Carlo）

哈密尔顿蒙特卡洛（Hamiltonian Monte Carlo）Metropolis-Hastings 采样方法的一个问题是它会展现出随机漫步式的行为，而随机漫步对参数空间的探索效率并不高——平均来说探索的距离与步数的平方根成正比（n−−√n，参考Random Walks in 1 dimension）。而简单的扩大步幅又会降低接受率。哈密尔顿蒙特卡洛（HMC）方法提供了一个新思路，即可以提高参数空间的探索效率，又能保持较高的接受率。哈密尔顿动力学介绍 HMC 采样方法之前需要先简单说一下哈.

2021-12-04 20:13:37 3945 1

转载 softmax求导

https://zhuanlan.zhihu.com/p/25723112这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！一、softmax函数softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是更形象的如下图表示：softmax直白来说就是将原来输出是3,1,-3通过softmax函数一

2021-07-14 10:06:52 351

转载 JPEG quality 与图像质量

https://jdhao.github.io/2019/07/20/pil_jpeg_image_quality/

2021-06-08 17:13:04 2887

转载流形与深度学习

转载自：https://yifdu.github.io/2018/11/25/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E4%B8%8E%E6%B5%81%E5%BD%A2%E5%AD%A6%E4%B9%A0%EF%BC%88%E4%B8%80%EF%BC%89/什么是流形流形学习的观点：认为我们所观察到的数据实际上是由一个低维流形映射到高维空间的。由于数据内部特征的限制，一些高维中的数据会产生维度上的冗余，实际上这些数据只要比较低的维度的维度就能唯一的表示。所.

2021-03-20 09:48:43 1699

转载 LeTex不錯的教程

https://liam.page/2014/09/08/latex-introduction/

2021-03-10 13:39:22 141

转载 Convolutional Neural Network Model Innovations for Image Classification 用于图片分类的CNN网络的演化创新性总结

https://machinelearningmastery.com/review-of-architectural-innovations-for-convolutional-neural-networks-for-image-classification/

2021-02-24 17:08:57 168

转载一篇写得很好的inception model演化

https://towardsdatascience.com/a-simple-guide-to-the-versions-of-the-inception-network-7fc52b863202The Premise:Salient partsin the image can have extremelylarge variationin size. For instance, an image with a dog can be either of the following, a...

2021-02-24 11:20:09 152

原创带着镣铐跳舞：无sudo权限安装多个cuda版本

背景：在实验室的集群上，有个人账号，却没有sudo权限。（也不好意思要，怕以后出问题）安装了conda来管理虚拟环境（本来用的virtualenv，但是后来发现还是conda好，因为conda进入虚拟环境之后仍然可以使用global的一些包和命令，但是virtualenv不行，是不能见到外部的，又没有sudo权限，不能随便安装包）。问题来源：一些经典老代码是tensoflow1.15 这个版本只能单独安装tensoflow-gpu 而且还要搭配cuda-10.0使用，然后集群机器上的版本是1

2021-02-01 21:21:29 588

转载高维空间几何

1、正负曲率的理解：http://stanwagon.com/wagon/misc/htmllinks/invisiblehandshake_3.htmlA surface has positive curvature at a point if the surface curves away from that point in the same direction relative to the tangent to the surface, regardless of the cutting

2021-01-06 13:32:04 1233

转载关于演化策略NES和协方差ES

转载自：https://blog.csdn.net/qq_39217470/article/details/107640778演化策略是一种求解参数优化问题的方法，所以我先介绍一下什么是优化。 1.优化（Optimization）优化就是计算一个函数的最大值或者最小值的问题，下面以求解单变量的最小值为例进行介绍。假设函数f(x)的具体表达式是未知的，把它看作一个黑盒函数，我们只能通过向盒子输入得到输出。它可能存在局部最小点和全局最小点，很显然进...

2020-12-12 11:58:35 3172 1

原创 matplotlib pyplot imshow show did not work and show image with virtualenv

origin blog: https://www.pyimagesearch.com/2015/08/24/resolved-matplotlib-figures-not-showing-up-or-displaying/Problem:Matplotlib figures not showing up or displayingAs I hinted at earlier in this post, the missing figure issue is related to the matplo

2020-09-23 22:27:12 169

原创 Process of Install Nvidia Driver450 and CUDA11.0 on Ubuntu 20.04 with kernal-5.4.0-47-generic

Totally,I have spend almost 4-5 days for this procedure.There is two way to install cuda and nvidia.1\ seperate the installation of Nvidia Driver and CUDA toolkit.Because CUDA toolkit contains Nvidia Driver installation,so if you have installed Nvidi

2020-09-21 18:10:25 251

原创 Towards Evaluating the Robustness of Neural Networks论文解读集合

比较好一点的论文解读：https://lifengjun.xin/2020/03/14/%E3%80%90%E8%AE%BA%E6%96%87%E7%AC%94%E8%AE%B0%E3%80%91-Towards-Evaluating-the-Robustness-of-Neural-Networks/下面这个视频是作者本人的oral presentation ，讲的是论文思路，很不错。https://www.bilibili.com/video/av884481653/首先是将生成对抗..

2020-09-08 17:20:32 607

转载攻击样本生成算法之 L -BFGS（实质上是优化算法的合理实现）

转载自https://www.hankcs.com/ml/l-bfgs.html译自《Numerical Optimization: Understanding L-BFGS》，本来只想作为学习CRF的补充材料，读完后发现收获很多，把许多以前零散的知识点都串起来了。对我而言，的确比零散地看论文要轻松得多。原文并没有太多关注实现，对实现感兴趣的话推荐原作者的golang实现。数值优化是许多机器学习算法的核心。一旦你确定用什么模型，并且准备好了数据集，剩下的工作就是训练了。估计模型的参数（训练模型）通常

2020-09-05 10:53:24 1294

转载向量、矩阵范数

MARk，不常用的话就会经常忘记---------------------作者：zjpp2580369来源：CSDN原文：https://blog.csdn.net/zjpp2580369/article/details/83478204版权声明：本文为博主原创文章，转载请附上博文链接！---------------------正文：https://www.zhihu.com/question/20473040可以从函数、几何与矩阵的角度去理解范数。我们都知道，函数与...

2020-08-31 11:58:56 143

原创图神经网络GNN

综述性文章：https://zhuanlan.zhihu.com/p/75307407?from_voters_page=trueACL 2020 中山大学的一篇利用图神经网络进行事实检测的文章https://mp.weixin.qq.com/s/kb_6iYMQd1wwzLlyJa9OgAICLR 2020 上的图神经网络好文：https://zhuanlan.zhihu.com/p/137763936github关于GNN的历史与发展https://baijiah...

2020-06-26 21:58:56 702

转载全连接层的直观理解

参见https://zhuanlan.zhihu.com/p/33841176讲得还不错

2020-05-19 10:23:10 452

原创 pytorch的conv2d函数groups分组卷积使用及理解

重点在于groups参数的理解1、groups参数是如何影响卷积计算的conv = nn.Conv2d(in_channels=6, out_channels=6, kernel_size=1, groups=3)conv.weight.data.size()输出：torch.Size([6, 2, 1, 1])（此时转置参数Transposed默认为False，源码如下)当group=1时，该卷积层需要6*6*1*1=36个参数，即需要6个6*1*1的卷积核计算时就是

2020-05-19 09:49:28 14954 2

原创 pytorch中张量对张量的梯度求解:backward方法的gradient参数详解

问题起源：阅读《python深度学习：基于pytorch》这本书的tensor 与Autograd一节时，看到2.5.4非标量反向传播疑点在于：backward(gradient=)这一参数没有理由的就选择了(1,1)，之后调整为(1,0)和(0,1)便能正确求解，对该参数的设置原理，反向梯度求解的过程没有说清楚。看完博客https://www.cnblogs.com/zhouyang209117/p/11023160.html便确认gradient这一参数的设置应该是根据使用者的需求，比如说设.

2020-05-09 11:01:28 2088 1

空空如也

空空如也