xsfd

原创 梯度消失和梯度爆炸以及过拟合和欠拟合

其实梯度爆炸和梯度消失问题都是因为网络太深，网络权值更新不稳定造成的，本质上是因为梯度反向传播中的连乘效应梯度消失与梯度爆炸梯度消失主要原因：在反向传播的过程中，每层的梯度大于0小于1（sigmoid函数的最大梯度为0.25），经过很深的网络进行反向传播的时候，就会造成梯度接近0的情况，造成梯度消失梯度爆炸主要原因：网络太深、初始化权重太大、损失函数设计不合理、权重更新不稳定等原因造成的...

原创 朴素贝叶斯

朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类算法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入xxx，利用贝叶斯定理求出后验概率最大的输出yyy（基于贝叶斯定理使用先验概率求后验概率，将最大的后验概率对应的类别作为样本的类别）。朴素贝叶斯实际上学习到生成数据的机制，所以属于生成模型，条件独立假设等于是说用于分类的特征在类确定的条...

原创 irq/132-nvidia 或者 irq/127-nvidia解决办法

irq/132-nvidia 或者 irq/127-nvidia解决办法ubuntu16.04 系统调用 gtx1080 显卡进行深度学习训练的过程中，每当程序意外终止，或者手动停止后，总会出现 一个进程：irq/132-nvidia 或者 irq/127-nvidia cpu 占用 100%, 内存占用 0解决方案执行以下命令即可解决：systemctl daemon-rel...

原创 tfrecord格式数据的生成与读取

tfrecord格式数据的生成与读取tfrecord格式数据简介tfrecord格式数据的生成代码如下所示：import tensorflow as tfimport osimport cv2import numpy as npfrom random import shuffleos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' s...

原创 TensorFlow读取数据

TensorFlow读取数据TensorFlow程序读取数据一共有3种方法:供给数据（feed）从文件读取数据预加载数据：适用于数据量较小的情况1、供给数据 TensorFlow的数据供给机制允许在TensorFlow运算图中将数据输入到任一张量中。如下所示：import tensorflow as tfx1 = tf.placeholder(tf.float32,...

原创 线性回归

线性回归给定有由 个属性的描述的示例，其中

原创 opencv 读写视频

opencv 读写视频OpenCV 2 中提供了两个类来实现视频的读写。读视频的类是 VideoCapture， 写视频的类是 VideoWriter。一、读视频VideoCapture 既可以从视频文件读取信息，也可以从计算机外接摄像头读取图像信息。如果 VideoCapture 对象已经创建，也可以使用 VideoCapture::open() 打开，VideoCapture:...

原创 OpenCv 读写图片

原创 K-近邻学习（KNN）

KNN 分类学习算法K近邻学习算法是一种基本的分类与回归学习算法，能力有限，简单介绍一下分类算法。K近邻学习算法是一种常用的监督学习算法。算法机制给定测试样本，基于某种距离度量找出训练集中的与其最靠近的K个训练样本，然后基于找到的K个近邻训练样本的类别信息来预测测试样本的类别。在分类任务中，一般采用投票法决定类别信息，根据K个近邻样本中出现最多的类别作为测试样本的类别。算法...

原创 隐马尔可夫

隐马尔可夫模型（HMM）一、隐马尔可夫模型 隐马尔可夫模型是结构最简单的动态贝叶斯网，是一种著名的有向图模型，主要用于时序数据建模，在语音识别、自然语言处理等方面有广泛引用。 如上图所示，隐马尔可夫模型中的变量可以分为两组，第一组状态变量，一般假定状态变量是隐藏的，不可观测的；第二组是观测变量。 在隐马尔可夫模型中，系统通常存在多个不同的状态，设Q为可能的状态的集合： 为便于分...