Breau-CSDN博客

原创【李宏毅2017机器学习】Why deep？

为什么同样多参数的情况下，网络变深比变宽效果更好？模组化如下图，一个复杂的分类可以分解为多个简单的分类：

2020-08-04 18:14:44 266 1

设计CNN的三个理由很多时候目标只是图像的一小部分，如果能只connect一部分的话，可以减少参数；（卷积）要识别的目标在不同样本中的位置不同，但特征的是相似的，因此只需要一组参数就可以找到，减少参数；（卷积）降采样不会改变图像的样子，因此用cnn可以通过降采样让图片变得更小，减少参数。（池化）网络卷积操作（暂不赘述）卷积网络vs全连接网络卷积网络可以看作是全连接网络的简化版本。1、如下图，左边的卷积操作相当于全连接里面只连接了1,2,3,7,8,9,13,14,15这几个神经元—

2020-07-26 14:05:52 239

原创【李宏毅机器学习2017】tips for training DNN

本次课程的目录：激活函数使用sighmoid函数容易造成梯度消失的原因是：DNN中，越靠近输出层的权重的梯度越大，因此，能更快地学习到位；而越靠近输入的权重梯度越小，几乎都是随机的。sigmoid函数所表示的映射关系，决定了w造成的变化在逐层传递的过程中会逐级减弱。ReLUrelu会使得计算过程中一部分神经元的输出变为0（相当于剔除），而另一部分神经元则变成线性神经元。这样，总体的网络还是非线性的。Relu的变体：Maxout学习激活函数。（Relu是maxout的一个特例）此种

2020-07-24 15:15:23 173

原创学习笔记(02):程序员的数学：概率统计-概率分布-随机变量的生成模式

编程的基础是计算机科学，而计算机科学的基础是数学。因此，学习数学有助于巩固编程的基础，写出更健壮的程序。本门课程主要讲解程序员必备的数学知识，借以培养程序员的数学思维。学习者无需精通编程，也无需精通数学。从概率统计、线性代数、微积分、优化理论、随机过程到当前大热的机器学习，讲师幽默风趣，课件精致美观，深入浅出带你重学数学！...

2020-03-16 14:14:20 147

原创学习笔记(01):程序员的数学：概率统计-随机变量-构成概率问题的基本单元

编程的基础是计算机科学，而计算机科学的基础是数学。因此，学习数学有助于巩固编程的基础，写出更健壮的程序。本门课程主要讲解程序员必备的数学知识，借以培养程序员的数学思维。学习者无需精通编程，也无需精通数学。从概率统计、线性代数、微积分、优化理论、随机过程到当前大热的机器学习，讲师幽默风趣，课件精致美观，深入浅出带你重学数学！...

2020-03-16 14:03:58 177

原创初写python数据读取可能遇到的问题

参考pytorch官网教程（https://pytorch.org/tutorials/beginner/data_loading_tutorial.html），自己针对要用的数据写了数据读取代码。由于我的图像带有时间顺序，后续要用RNN训练，因此本来的数据文件存储为"标签/样本标号/按顺序存放的n张图像"。为了方便写Dataset类，我先把每张图片按顺序把路径和对应的标签存到了csv文件...

2020-03-02 17:24:30 377

原创解决已安装模块无法import的问题

问题解决系统：windows 10工具：python3.7版本，pycharm，anaconda（电脑之前装过python官方自带的编辑器）问题：numpy无法import首先，检查自己pycharm的解释器对应的环境在哪儿，以及里面有没有安装numpy包。这里我对应在base环境下。在anaconda prompt窗口输入conda list（这是检查base环境下的包）...

2020-02-03 14:16:38 28064 1

翻译 Pythorch 教程-Neural Network

总则神经网络的典型训练过程如下：搭建网络架构：定义具有可学习参数（或权重）的神经网络数据输入：遍历输入数据集计算ouputs：通过网络处理输入计算损失 BP：将梯度传播回网络参数更新网络权重：通常使用简单的更新规则：权重=权重-learning_rate *梯度1. 搭建网络架构（Define the network）-计算output用torch.nn定义网络的参...

2020-01-06 21:24:34 2313

Breau的博客