- 博客(9)
- 收藏
- 关注
RSS订阅原创 torch.optim.lr_scheduler.MultiStepLR
torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)milestones为一个数组，如 [50,70]. gamma为倍数。如果learning rate开始为0.01 ，则当epoch为50时变为0.001，epoch 为70 时变为0.0001。当last_epoch=-1...
2019-02-02 15:30:18
15845
11
原创 No dashboards are active for the current data set. 解决tensorboard无法启动和显示问题
在命令行运行 tensorboard --logdir=path_to_og,其中path_to_log为运行文件的上级目录的地址，如 runs/Jan28_22-26-07_DESKTOP-5TL8BNUNet1。输入后会得到一个网址。复制粘贴到浏览器即可看见结果。...
2019-01-29 10:23:45
1230
原创 Pytorch 为什么每一轮batch需要设置optimizer.zero_grad
在每一个batch时毫无疑问并不需要将两个batch的梯度混合起来累积，因此这里就需要每个batch设置一遍zero_grad 了。相当于每个在开始时将grad置0.
2019-01-28 11:10:04
1150
转载 Cross Entropy Loss
推荐这篇博文：https://blog.csdn.net/xg123321123/article/details/80781611
2019-01-28 11:01:40
223
原创 nn.ReLU(inplace=True)的理解
inplace为True，将会改变输入的数据 ，否则不会改变原输入，只会产生新的输出。例子见：https://blog.csdn.net/tmk_01/article/details/80679991
2019-01-26 22:05:13
17129
2
原创 Python中super()方法的使用
这个写的就很好：https://blog.csdn.net/Four_Infinite/article/details/52797396这个更全面： https://blog.csdn.net/paopaohll/article/details/83063349
2019-01-26 21:38:30
162
原创 Pytorch model指定train/eval
使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval，eval（）时，框架会自动把BN和DropOut固定住，不会取平均，而是用训练好的值，不然的话，一旦test的batch_size过小，很容易就会被BN层导致生成图片颜色失真极大。eg：Class Inpaint_Network()…Model = Inpaint_Nerwoek()#train:...
2019-01-26 16:40:43
1236
原创 LSTM里梯度回流的理解
在写cs231n assignment3时，LSTM的backward中有这样的代码：之所以用+=是因为原代码中的dh只提供了根据loss function求导提供的导数，但不包括由prev_h生成next_h过程的导数（这部分导数只能从尾到头求出来）。这也是for循环用for i in reversed(range(T)):的原因，即从最后向前依次求，知道dh0求出为止。...
2019-01-18 16:37:28
338
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人