yhll2333的博客

原创 神经网络中矩阵求导术的应用

神经网络中矩阵求导术的应用序记法约定常用公式和定理举例多层神经网络(MLP)的梯度推导Batch Normalization Layer的推导序本文假设读者熟悉一元微积分，线性代数，并已经学习过矩阵求导术：知乎专栏.在神经网络中，矩阵求导术发挥的最重要的作用便是求losslossloss对某个参数的梯度. 比如在多层神经网络(MLP)中，某一层的推导公式为al+1=g(Wal+b)a^{l+...