- 博客(3)
- 收藏
- 关注
RSS订阅原创 [持续学习] Fisher信息矩阵与EWC
文章目录一、前置知识1. 得分函数 score / informant2. Fisher信息矩阵二、EWC1. 数学推导2. 如何计算 Fisher 信息矩阵一、前置知识1. 得分函数 score / informantscore / informant 定义为对数似然函数关于参数的梯度：s(θ)≡∂logL(θ)∂θs(\theta) \equiv \frac{\partial\log{\mathcal{L}(\theta)}}{\partial\theta}s(θ)≡∂θ∂logL(θ)
2021-05-07 18:12:17
6333
5
原创 关于交叉熵（Cross Entropy）与Softmax
目录写在前面KL散度交叉熵Softmax交叉熵与Softmax的关系交叉熵损失Softmax的求导堆叠+向量化其他关于Softmax函数的问题赠品写在前面Softmax、交叉熵、交叉熵损失是机器学习与神经网络模型的重要组成部分，一般来说，Softmax一般用于criterion(标准)，交叉熵与交叉熵损失用来衡量模型预测与实际结果间的差别并产生用于反向传播的梯度。...
2018-08-20 17:51:19
4252
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人