zezedi的博客

原创 为什么要用交叉熵损失函数

为什么要用交叉熵损失函数在机器学习中用到的最多的是MSE(最小二乘损失函数)，这个比较好理解，就是预测值和目标值的欧式距离。而交叉熵是一个信息论的概念，其中p代表目标值，q代表预测值 。x表示单个样本的维度。对于分类问题，加入n个类别，一般情况下输出为n个神经元（只有其中正确属性的一维为1，其他为0），则上式可以简写为：H(p,q)=-log(qi) ,i为其中正确属性维数的置信概率值。如...