weixin_43886278的博客

转载 C++中引用（&）的用法和应用实例

对于习惯使用C进行开发的朋友们，在看到c++中出现的&符号，可能会犯迷糊，因为在C语言中这个符号表示了取地址符，取地址符常常用来用在函数传参中的指针赋值。但是在C++中它却有着不同的用途，掌握C++的&符号，是提高代码执行效率和增强代码质量的一个很好的办法。引用是C++引入的新语言特性，是C++常用的一个重要内容之一，正确、灵活地使用引用，可以使程序简洁、高效。我在工作中发现，许...

转载 分类模型的评估方法-F分数(F-Score)

前面介绍了机器学习中分类模型的精确率(Precis...

转载 深度学习之反向传播算法

最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推...

转载 【C++】命名空间(namespace)详解

一、为什么使用命名空间考虑一种情况，当我们有两个同名的人，Zara，在同一个班里。当我们需要对它们进行区分我们必须使用一些额外的信息和它们的名字，比如这个区域，如果它们生活在不同的区域或者它们的母亲或父亲的名字，等等。在您的C++应用程序中也会出现同样的情况。例如，您可能正在编写一些具有名为xyz（）函数的代码，并且还有另一个可用的库，它也具有相同的xyz（）函数。现在编译器无法知道您在代码中...

原创 pytorch学习笔记（十六）————卷积神经网络

pytorch学习笔记（十六）————卷积神经网络目录发展背景和基本概念CNN的引入感受野权值共享目录发展背景和基本概念卷积神经网络是目前深度学习技术领域中非常具有代表性的神经网络之一，在图像分析和处理领域取得了众多突破性的进展，在学术界常用的标准图像标注集ImageNet上，基于卷积神经网络取得了很多成就，包括图像特征提取分类、场景识别等。卷积神经网络相较于传统的图像处理算法的优点之一在于...

原创 pytorch学习笔记（十五）————Early Stop，Dropout

pytorch学习笔记（十五）————Early Stop，Dropout，SGD目录Early StopDropoutSGD随机梯度下降目录Early Stop（1）Early Stop的概念Early Stop的概念非常简单，在我们一般训练中，经常由于过拟合导致在训练集上的效果好，而在测试集上的效果非常差。因此我们可以让训练提前停止，在测试集上达到最好的效果时候就停止训练，而不是等到...

原创 pytorch学习笔记（十五）————动量与学习率衰减

pytorch学习笔记（十五）————动量与学习率衰减目录动量目录动量其中zk+1z^{k+1}zk+1代表本次要更新的梯度，α

转载 Deep Learning 最优化方法之Momentum（动量）

先上结论：1.动量方法主要是为了解决Hessian矩阵病态条件问题（直观上讲就是梯度高度敏感于参数空间的某些方向）的。2.加速学习3.一般将参数设为0.5,0.9，或者0.99，分别表示最大速度2倍，10倍，100倍于SGD的算法。4.通过速度v，来积累了之间梯度指数级衰减的平均，并且继续延该方向移动：再看看算法：动量算法直观效果解释：如图所示，红色为SGD+Momentu...

原创 pytorch学习笔记（十四）————正则化惩罚（减轻overfitting）

pytorch学习笔记（十四）————正则化惩罚（减轻overfitting）目录回顾降低过拟合方法目录回顾在上一篇博客中我们讲到，当训练模型比真实模型复杂度低的情况叫做underfitting（欠拟合），当训练集模型比真实模型复杂度高的情况叫做overfitting（过拟合）。现如今由于网络层数不断地增加，欠拟合的情况已经较为少见，绝大数多情况都是出现过拟合。与过拟合有一个异曲同工的概念...

原创 pytorch学习笔记（十三）————检测过拟合

pytorch学习笔记（十三）————检测过拟合目录回顾检测过拟合划分数据集MNIST实战代码目录回顾检测过拟合1.第一种检测方法：训练集和测试集为了拟合所有数据，减少对所有数据的loss，这样会导致模型比真实数据模型更加复杂，从而导致在测试数据上loss很大。因此我们可以把所有数据划分为两部分：训练集和测试集，当模型在训练集上取得了很好的效果而在测试集上效果不理想，说明发生了过拟合...

原创 pytorch学习笔记（十三）————过拟合&欠拟合

pytorch学习笔记（十三）————过拟合&欠拟合目录理想化情况真实情况模型学习能力欠拟合与过拟合总结目录理想化情况1.场景一：线性模型——房价预测横坐标是房屋面积，纵坐标是房屋价格。可以看出这两者呈现线性关系2.场景二：非线性模型——GPA老师给学生打分时，往往给大部分学生一般的成绩，成绩差或成绩好的则占少数。因此总体上趋近于高斯模型，呈现非线性关系真实情况从以上...

原创 pytorch学习笔记（十二）————全连接层

pytorch学习笔记（十二）————全连接层nn.Linear()class torch.nn.Linear（in_features，out_features，bias = True ）对传入数据应用线性变换：y = A x+ b参数：in_features - 每个输入样本的大小out_features - 每个输出样本的大小bias - 如果设置为False，则图层不会学习附...

原创 pytorch学习笔记（十一）————多分类问题实战

pytorch学习笔记（十一）————多分类问题实战import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transformsbatch_size=200 #一次输...

原创 pytorch学习笔记（十）————交叉熵

pytorch学习笔记（九）————交叉熵(1)熵的定义熵(Entropy)代表事件所包含的不确定性，也叫作惊喜度。熵越高则代表事件的不确定性越高，具体原因可参考博客：https://blog.csdn.net/am290333566/article/details/81187124举个例子：1.假如有四个事件，发生的概率都是0.25，也就是说这四个事件发生的概率一样，很难在一开始就预...

原创 pytorch学习笔记（九）————logistic regression逻辑回归

pytorch学习笔记（九）————logistic regression逻辑回归目录回顾--线性回归与逻辑回归二分类分类与回归问题的目标和实现方法对比Q1：分类问题为什么不最大化accuracy？Q2：为什么叫做逻辑回归二分类的具体做法多分类的具体做法目录回顾–线性回归与逻辑回归在之前的课程中我们学过了linear regression（线性回归），y=xw+b是一个线性函数且输出是一个...

原创 pytorch学习笔记（八）——2D函数优化实例

pytorch学习笔记（八）——2D函数优化实例为了演示优化神经网络参数得到loss极小值的过程，和不同初始值可能产生不同的极值点，在此引入了如下图所示函数：从图中可以看出该函数2D图像呈碗状，有四个极小值点，它的极值点有：接下来我们通过求解该函数极小值，来测试我们设计的优化器效果如何。画图代码：def himmelblau(x): return (x[0] ** 2 + x[...

原创 pytorch学习笔记（七）——loss及其梯度

pytorch学习笔记（七）——loss及其梯度目录典型lossMSE目录典型loss典型的loss有两种，第一种是均方差简称MSE。第二种是用于分类的误差交叉熵，既可以用于二分类问题，也可以用于多分类问题。一般最后的输出要通过softmax函数，第二种loss我们放在之后的博客中讲解。MSE（1）MSE定义为方便，我们下面讲解MSE不再除以数据个数（2）MSE求导（3）p...

转载 MSE（均方误差）函数和RMSE函数

原创 pytorch学习笔记（七）——激活函数

pytorch学习笔记（七）——激活函数目录激活函数的由来sigmoid激活函数tanh激活函数ReLU激活函数目录激活函数的由来1959年，生物科学家研究青蛙神经元的时候发现，青蛙的神经元有多个输入，神经元中间有一个多输入加权后的相应，当该响应小于阈值时没有输出，当该响应大于阈值是会有一个固定的输出。当时的计算机科学家借鉴于此发明了一个计算机模型，如下图：假设z为输入经过加权后的值，z...

原创 pytorch学习笔记（六）——pytorch进阶教程之tensor高阶操作

pytorch学习笔记（六）——pytorch进阶教程之高阶操作目录wheregather目录where新生成的tensor取决与输入x，y和条件condition。condition是一个矩阵，如果元素是1对应x，元素是0对应y。示例代码：cond>0.5返回的是一个[2,2]size的矩阵，大于0.5对应元素为1，否则为0。只有最右下角元素不成立返回0，所以where函数...

转载 pytorch学习笔记（六）——pytorch进阶教程之属性统计

pytorch学习笔记（六）——pytorch进阶教程之属性统计目录求范数----norm统计属性目录求范数----norm范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。范数又分为向量范数和矩阵范数，区别如图所示In [1]: impor...

转载 梯度裁剪

深度神经网络训练的时候，采用的是反向传播方式，该方式背后其实是链式求导，计算每层梯度的时候会涉及一些连乘操作，因此如果网络过深，那么如果连乘的因子大部分小于1，最后乘积的结果可能趋于0，也就是梯度消失，后面的网络层的参数不发生变化，后面的层学不到东西，那么如果连乘的因子大部分大于1，最后乘积可能趋于无穷，这就是梯度爆炸版权声明：本文为CSDN博主「sparksnail」的原创文章，遵循 CC ...

原创 pytorch学习笔记（六）——pytorch进阶教程之tensor数学运算

pytorch学习笔记（六）——pytorch进阶教程之合并与分割目录tensor的加减乘除----add/sub/mul/divtensor的矩阵相乘----mm,matmul/@2d以上的tensor矩阵相乘tensor的次方----pow/sqrt/rsqrt/exp/logtensor的其他运算----floor/ceil/round/trunc/fractensor的其他运算----cl...

原创 pytorch学习笔记（六）——pytorch进阶教程之合并与分割

pytorch学习笔记（六）——pytorch进阶教程之合并与分割目录cat![在这里插入图片描述](https://img-blog.csdnimg.cn/2020020318200965.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3...

原创 pytorch学习笔记（六）——pytorch进阶教程之broadcast自动扩展

pytorch学习笔记（六）——pytorch进阶教程之broadcast自动扩展目录broadcast的两个特点主要思想原理示例存在意义目录broadcast的两个特点broadcast的两个特点：1.能够进行维度的扩展，相当于expand，但是是自动扩展2.扩展的时候不需要拷贝数据注意broadcast并不是函数，而是在不同size的tensor之间进行加减操作会自动进行的一种机制...

原创 pytorch学习笔记（五）——pytorch基础之维度变换

pytorch学习笔记（五）——pytorch基础之维度变换目录维度重塑----view/reshape增删维度----squeeze/unsqueeze维度扩展----Expand/repeat维度转置----transpose/t/permute目录维度重塑----view/reshapeview与reshape用法基本一致，view是pytorch0.3版本的api，在pytorch0...

转载 pytorch学习笔记（五）——pytorch基础之索引与切片

pytorch学习笔记（五）——pytorch基础之索引与切片目录索引切片步长具体的索引...使用mask索引使用打平后的序列目录索引a = torch.rand(4,3,28,28)#随机生成一个四维度的tensor 存储图片信息#分别对应batchsize channel height widtha[0].shape # 取第一维度，下标为0，理解上相当于取第一张图片t...

原创 pytorch学习笔记（五）——pytorch基础之创建Tensor

pytorch学习笔记（五）——pytorch基础之创建Tensor目录通过numpy数据转换通过list数据转换生成未初始化数据未初始化tensor会出现的一些问题设置默认tensor初始化tensor使用rand随机初始化使用正态randn初始化使用full生成数据一样的tensor使用arange/range使用linspace/logspace使用Ones/zeros/eye![在这里插入...

原创 pytorch学习笔记（五）——pytorch基础之基本数据类型

pytorch学习笔记（五）——pytorch基础之基本数据类型目录类型检查不同维度tensor创建维度为0的标量维度为1的tensor（张量）如何区别shape，size，dimension ，tensor？维度为2的tensor维度为3的tensor维度为4的tensor补充知识目录类型检查torch.randn(2,3)创建一个两行三列dimension(维度)为2的tensor类型，...

原创 pytorch学习笔记（四）——MNIST数据集实战

pytorch入门之MINIST数据集实战目录神经网络运作流程回顾识别的四个步骤实现代码目录神经网络运作流程上图所示是一个简单的二层神经网络结构，猫和狗的图片作为输入，依次是输入层，隐层，输出层。每张图片作为输入经过模型得到输出判别是猫还是狗，将输入与真实值之间求误差，再对误差求梯度优化参数w和b，使最后得到的误差尽可能小。回顾上一个博客中我们讲到，我们将输入X经过一个线性模型得再通...

转载 pytorch中tensor的类型转换

pytorch中tensor的类型转换（1）数据类型转换在Tensor后加 .long(), .int(), .float(), .double()等即可，也可以用.to()函数进行转换，所有的Tensor类型可参考https://pytorch.org/docs/stable/tensors.html（2）数据存储位置转换CPU张量 ----> GPU张量，使用data.cuda...

原创 pytorch学习笔记（三）——MNIST手写数据集

pytorch入门之简单回归问题目录基础知识准备功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入目录基础知识准备我...