- 博客(11)
- 收藏
- 关注
RSS订阅原创 李宏毅 机器学习(2017)学习笔记——8-2 Keras2.0
1. Keras：创建一个网络 我们要建立一个输入是28*28维数字，输出是手写数字识别的神经网络。中间有两个隐藏层，每个隐藏层都是500维。 第一条语句用于声明一个网络。 第二条语句用于加入一个隐藏层，add函数中的Dense是指我们加入的是一个全连接层，input_dim是指输入维数为28*28，在Keras1.0中，output_dim表示输出维数，但是在Keras2.0中用units表示（每一个神经元就是一个units），activation表示激活函数，可...
2021-05-27 11:24:43
205
原创 李宏毅 机器学习(2017)学习笔记——8-1 初探深度学习
1. Keras Keras其实是TensorFlow和Theano的接口。它易于学习，有比较好的弹性。 Kreas在希腊为中是牛角的意思。我们在使用Keras的过程中，只是把现成的函数调用叠加。 我们举手写数字识别的例子来初始Keras Keras同样也是有三个步骤的： 1.1 步骤一：定义一个函数集合 实际上就是决定神经网络长什么样子。如图所示，我们想要创建一个神经网络，有两个隐藏层，每层有500个神经元。 model ...
2021-05-23 12:58:46
181
原创 李宏毅 机器学习(2017)学习笔记——7-反向传播算法
1. 反向传播算法在梯度下降法中的运作原理 我们在使用梯度下降法训练神经网络时需要使用反向传播算法。 在梯度下降法中，有超参数w和b。首先选定初试参数，计算对损失函数的梯度，也就是计算神经网络中每一个参数的对损失函数的偏微分。计算完可以进行参数的更新。持续进行这一过程得到最优参数。 因为在神经网络中参数数量较多，所以使用反向传播算法有效的计算梯度。2.链式法则 ...
2021-05-21 20:18:59
380
原创 李宏毅 机器学习(2017)学习笔记——6-深度学习
目录1. 深度学习的历史2. 深度学习的三个步骤2.1 步骤一：定义一个函数集（神经网络）2.2 步骤二：评估函数好坏2.3 步骤三：挑选出最好1. 深度学习的历史 ↑1958：感知机（线性模型） ↓1969：感知机有局限性 ↑1980年代：多层感知机（和现在的深度神经网络DNN没有明显的差别） ↑1986：反向传播算法（超过3层帮助不大） ↓1989：一个隐藏层就够强大了，还需要什么深度学习呢？ ↑2006：RBM初...
2021-05-20 18:03:23
248
原创 李宏毅 机器学习(2017)学习笔记——5-逻辑回归
1. 逻辑回归的步骤1.1 步骤一：定义函数集合 由第四节概率生成模型可知，我们的函数集合为，下标w、b是指这个函数集合是受w和b所控制的。所有w和b可以产生的函数集合起来就是一个函数集合。 用图像方式来表示如下图。函数中有两组参数，一组是w我们称为权重，常量b我们称为偏置，还有一个sigmoid函数。输入为x，我们把x与w相乘，再加上b得到z。σ(z)求出后验概率。 1.2 步骤二：函数的好坏 共有N条训练数据，每条训练数据标注属于哪个类别。 ...
2021-05-19 12:48:26
411
原创 李宏毅 机器学习(2017)学习笔记——4-分类：概率生成模型
1. 分类问题 分类问题旨在找寻一个函数，其输入为一个物体x，输入为这个x属于哪个类别。 例如：金融上的信用评估，医疗诊断，手写文字识别，人脸识别等。 本课程仍使用宝可梦的例子，已知宝可梦有18种属性，做一个分类问题，其输入为一只宝可梦，输出这个宝可梦的属性。 如何把宝可梦作为输入传入函数中呢？我们需要用数字衡量这个宝可梦。如下图所示，一只皮卡丘可以用一个含有七个分量的向量来描述。 如何完成分类任务呢？ ① 收集分类问题的训练数据。 ...
2021-05-15 22:30:49
478
原创 李宏毅 机器学习(2017)学习笔记——3-梯度下降法
1. 回顾：梯度下降法 我们要找到一个最好的函数，这是一个优化问题。我们定义了一个损失函数，损失函数是函数的函数。把操控函数形状的参数θ带入损失函数中，得到这组参数有多不好。所以我们需要找到一组参数，使得损失函数越小越好。 所以我们使用梯度下降法，假设θ是一个参数集，里面有两个参数。首先随机选取一组起始的参数，上标0代表其为初试的一组参数，下标代表这是这一组参数中的第几个参数。接下来计算和对损失函数的偏微分，然后把减掉学习率乘以偏微分的值，得到一组新的参数，迭代步骤同上。 称为...
2021-05-15 10:54:55
572
原创 李宏毅 机器学习(2017)学习笔记——2-偏差和方差
1. 偏差和误差 错误共有两个来源，分别是偏差和方差。 诊断错误的来源有助于挑选适当的方法改进模型。 引入偏差和方差就能解释为什么越复杂的模型虽然能够很好地拟合训练数据，但是错误率并不低。 例如上节的例子，我们需要找到一个函数，输入是宝可梦，输出是它进化后的CP值。理论上有一个最佳的函数写作，但是这个最佳函数未知。我们使用训练数据找出所学到的函数，这个并不等于，是的估计值。和之间有一段距离，这段距离可能来自于偏差，也有可能来自于...
2021-05-12 12:20:46
367
原创 李宏毅 机器学习(2017)学习笔记——1-梯度下降法实例
求回归中的参数有很多种方法，这里重点介绍梯度下降法。1. 源代码import numpy as npimport matplotlib.pyplot as pltx_data = [338.,333.,328.,207.,226.,25.,179.,60.,208.,606.]y_data = [640.,633.,619.,393.,428.,27.,193.,66.,226.,1591.]#ydata = b +w * xdata 使用梯度下降法找出b和wx = np.a...
2021-05-08 21:52:03
483
2
原创 李宏毅 机器学习(2017)学习笔记——1-回归
1. Regression（回归） 回归（Regression）的思想可以用来解决生活中的很多问题。例如股票预测系统——输入历史股票走势，输出今天的股票指数、无人汽车——输入汽车传感器数据，输出方向盘角度、推荐系统——输入使用者和商品的数据，输出购买的可能性。2. 回归的应用——预测宝可梦的CP值 任务：根据宝可梦的相关属性预测宝可梦的战斗力 步骤一：模型（Model） 函数集就是所谓的模型，函数的输入是宝可梦的特征x，输出是宝可梦的CP值y。 ...
2021-04-28 22:25:30
354
2
原创 李宏毅 机器学习(2017) 学习笔记——0-机器学习的简介
1. 人工智能 人工智能(Artificial Intelligence)：人类希望机器和人类一样聪明。 机器学习(Machine Learning)：让机器具有学习的能力。 深度学习(Deep Learning)：机器学习的其中一个方法。 ...
2021-04-27 18:23:40
165
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人