- 博客(3)
- 收藏
- 关注
RSS订阅原创 机器学习笔记（三）
神经网络训练中的问题（二）Batch and MomentumBatch之前有说过，实际上在算微分的时候,并不是真的对所有 Data 算出来的 L 作微分,你是把所有的 Data 分成一个一个的 Batch，每次在更新参数时实际上是对每一个batch进行操作，所有的batch看过一遍叫做一个 Epoch。那么就存在这样一个问题，batch的大小如何选择？取两个极端的情况，同样是一个20个数据大小数据集，第一次我们将batch的大小定位20，也叫Full batch，第二次我们将batch的大小定位
2022-04-22 16:33:41
1449
原创 机器学习笔记（二）
机器学习笔记（二）神经网络训练中的问题1.Local Minima & Global minima & Saddle point描述神经网络中训练的问题之前，先理解三个点的概念这三个点有一个共同的名字 critical point。我们通过下图可以看出，三个点处的导数都等于0。我们又知道神经网络更新参数的公式为w1←w0−η∂L∂w∣(w=w0)w_1←w_0-η \frac{∂L}{∂w}|(w=w_0 )w1←w0−η∂w∂L∣(w=w0)也就是说当导数等于0时，wn
2022-04-21 21:07:02
1395
1
原创 机器学习笔记（一）
李宏毅2021机器学习笔记（一）什么是机器学习机器学习概括来说可以用一句话来描述机器学习这件事，机器学习就是让机器具备找一个函式的能力。具体的说，机器学习就是找到一个复杂的函数，将我们输入的东西输出期待的值。可以是输入图片，输出图片中的信息，也可以是语音输入，输出文字。机器学习就是寻找建立在输入和输出之间的函数。机器学习的三大任务RegressionRegression的意思是说,假设我们今天要找的函式,他的输出是一个数值,他的输出是一个scalar,那这样子的机器学习的任务,我们称之为Re
2022-04-20 20:26:01
1204
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人