花梦飞-CSDN博客

原创 Python报错：module ‘scipy.misc’ has no attribute ‘imresize’

解决办法：pipinstall pillow若仍然报错，可能是因为scipy的版本问题（我之前的scipy版本是1.3.0）：可以将scipy版本降为1.2.1，可以解决这个问题。

2019-06-09 13:05:34 1811 3

原创 Windows系统查看CUDA版本号

1.打开控制面板在按住Win键的情况下，按Q键，呼唤出搜索框。在搜索框中输入control panel，如下图所示：2.进入NVIDIA控制面板在上图的搜索框中，已经显示出NVIDIA控制面板，如果读者有显示，则可以忽略第一步，直接点击进入NVIDIA控制面板。下面2张图演示如何在控制面板中找出NVIDIA控制面板。首先选择查看方式为小图标，如下图红色方框标注处所示：...

2019-05-30 13:03:23 2409 1

原创 Theano简单入门（三）

一、定义神经网络的层我们将神经网络的层封装为类，对于神经网络，我们需要输入数据，输入大小，输出大小还有激活函数的使用。import numpy as npimport theano.tensor as Timport theanoimport matplotlib.pyplot as pltclass Layer(object): def __init__(self,inpu...

2019-01-07 20:53:21 371

原创 Theano简单入门（二）

一、Theano的基本用法定义函数的方式：步骤 0 宣告使用theano import theano步骤 1 定义输入 x=theano.tensor.scalar() 这里相当于tensorflow的placeholder步骤 2 定义输出 y=2*x步骤3 定义fuction f = theano.function([...

2019-01-07 20:34:34 526

原创 Theano简单入门（一）：Theano与Lasagne的安装

一、介绍 Theano是一个Python库，专门用于定义、优化、求值数学表达式，效率高，适用于多维数组。特别适合做机器学习。一般来说，使用时需要安装python和numpy。首先回顾一下机器学习的东西，定义一个模型（函数）f(x;w) x为输入，w为模型参数，然后定义一个损失函数c(f),通过数据驱动在一堆模型函数中选择最优的函数就是训练training的过程，在机器学...

2019-01-07 20:12:20 8772

原创 Improved Techniques for Training GANs翻译与理解

参考博客：https://blog.csdn.net/zijin0802034/article/details/58643889https://blog.csdn.net/shenxiaolu1984/article/details/75736407paper：Improved Techniques for Training GANscode：Theano实现摘要我们提出了一些...

2019-01-01 21:16:53 9892 3

原创 GAN在半监督学习上的应用

参考论文：https://arxiv.org/pdf/1606.01583.pdfhttp://arxiv.org/abs/1606.03498摘要近几年，深度学习声名鹊起，一个又一个AI领域被深度学习攻破，然而现在大部分深度学习所采用的算法都是有监督学习的方法，需要大量的标注数据，这也就需要耗费大量的人力物力。因此如何充分利用大量的无标签数据资源，必将成为未来深度学习领域的研究焦点。...

2018-12-30 16:08:41 2857 1

原创理解：用变分推断统一理解深度生成模型（VAE、GAN、AAE、ALI（BiGAN））

参考文章：https://kexue.fm/archives/5716https://zhuanlan.zhihu.com/p/40282714本篇博客主要是参照上述两个博文，另外加入了一些自己的理解，也为了和自己学习或者常见的知识做一个对照，因为在学习过程中总有一个问题困扰，就是符号，前后的符号对照不好，还得想半天。所以有些符合可能跟原文章对不上，但跟我之前的博客可以对上。特意将常用...

2018-12-25 21:27:02 4323

原创 GAN原始论文翻译及相关推导

参考博客：https://blog.csdn.net/stalbo/article/details/792833990、摘要GAN提出了一个通过对抗过程估计生成模型的新框架，在新框架中同时训练两个模型：一个用来捕获数据分布的生成模型G，和一个用来估计样本来自训练数据而不是G的概率的判别模型D，G的训练过程是最大化D产生错误的概率。这个框架相当于一个极小极大化的双方博弈。在任意函数G 和D ...

2018-12-24 17:16:53 5604 1

原创生成模型与判别模型的区别与联系

1、概述监督学习的任务就是学习一个模型，应用这一模型，对给定的输入预测相应的输出。这个模型的一般形式为决策函数：或者条件概率分布：监督学习方法又可以分为生成方法（generative approach）和判别方法（discriminative approach）。所学到的模型分别称为生成模型（generative model）和判别模型（discriminative mode...

2018-12-19 12:31:46 2598

在机器学习中，我们经常提到熵的概念。例如我们经常使用交叉熵衡量目标（target）与预测值（real）之间的差距，使用KL散度（也称作相对熵）衡量两个概率分布之间的距离。交叉熵和相对熵这些概念其实都来自于信息论，并且自我认为机器学习本身也是对样本信息的学习，另外最近在研究GAN模型和VAE模型（也就是我们常说的生成模型）时，经常会使用到，所以有必要将其单独拿出来作为我学习的一个记录。要了解交叉...

2018-12-16 16:19:38 648

原创解决Ubuntu的问题：the system is running in low-graphics mode

今天开Ubuntu的虚拟机出现了问题：the system is running in low-graphics mode参照网络上的解决方案：1.Ctrl+ALT+F1 进入控制台2.输入用户名和密码进入系统3.输入以下命令:cd /etc/X11 sudo cp xorg.conf.failsafe xorg.conf reboot重启虚拟机，问题就解决了。...

2018-09-20 14:58:56 347

原创《乔布斯传》读书感悟

乔布斯是一个纯粹的人。纯粹到认为世界只有黑与白，人只有天才和笨蛋。纯粹到能在开会的时候像一个孩子一样哭泣。乔布斯是一个有影响力的人。显然书中有说到现实扭曲力场，他能够让人和事依照他的好恶去改变。不得不说乔布斯是一个艺术天才，也正因他才让用户体验能够真正超过产品本身的功能，也增加了产品的价值。乔布斯是一个科技人，但他兼容了心中的禅意和对艺术的追求。书中金句：好的艺术家只是照抄，而...

2018-09-15 11:09:46 543

原创 VAE/GAN学习笔记:Autoencoding beyond pixels using a learned similarity metric

paper：VAE/GAN0、摘要我们提供了一个自动编码器，它利用学习的表示来更好地度量数据空间地相似性。通过将变分自编码器与生成对抗网络相结合，我们可以利用GAN鉴别器中的学习特征表示作为VAE重建目标的基础。因此，我们将元素方面的错误替换为特征方面的错误，以便更好地捕获数据分布，同时提供对例如翻译的不变性对。我们将我们的方法应用到人脸图像上，并证明它在视觉逼真度方面比VAEs表现得更好...

2018-07-30 10:15:04 7545 5

原创《小王子》随笔

当我们坐下，想要试图去理解小王子的时候，我们可能不再是那个幼稚的小孩了。因为小王子只不过是在守护着自己的一方乐土，守护心中那最后圣洁的心田，不让欲望将其吞噬，也珍视每一点美好。我们渴望权力，喜欢掌控。爱慕虚荣，喜欢被关注。追求物质，喜欢钱财，却不知还能用作何处。愧疚于自己的愧疚，却又不会为之改变。墨守成规，容不下另外的人。渴望有大作为，可自己又不作为。我说的，未必是作者想说的。但我的见识也只...

2018-07-29 10:47:38 941

原创高速公路网络Highway Network翻译

高速公路网络HighwayNetwork翻译摘要有大量的理论和经验证据表明，神经网络的深度是其成功的关键因素。然而，随着深度的增加，网络训练变得更加困难，深度网络的训练仍然是一个悬而未决的问题。在这个扩展的摘要中，我们介绍了一种旨在缓解非常深度网络的基于梯度的训练的新架构。我们将具有此架构的网络称为高速公路网络，因为它们允许信息高速公路上的信息流在不同层之间畅通。该体系结构的特点是使用门控单...

2018-04-10 15:53:41 2482 1

原创《人类简史》读后感

最近晚上读了一下《人类简史》这本书用了一周的时间读完了，虽然后面的部分有点看不懂，怎么说呢，写这本书的人，我很敬佩。能够将人类发展恢弘的记录下来本身就是一个很伟大的事情，其实这本书所说的也并非全是历史，因为他并不像普通的历史书一样记录重大的历史事件，毕竟是一本人类的发展阶段，所能够记录的事件是有限的。他写的这本书厉害的地方不知上面说的，还有他在写历史的时候结合了很多社会学、生物学、物理学、经济学、...

2018-03-25 11:41:08 5240

原创理解机器学习中的偏差与方差

一、过拟合现象在说明机器学习中的偏差与方差之前，我们先来看一下什么是模型对数据的欠拟合与过拟合。欠拟合就是模型没有很好地捕捉到数据特征，不能够很好地拟合数据过拟合就是模型把数据学习的太彻底，以至于把噪声数据的特征也学习到了，这样就会导致在后期测试的时候不能够很好地识别数据，即不能正确的分类，模型泛化能力太差。二、偏差与方差然后我们看一下什么是偏差什么是方差。偏差：描述的

2017-12-08 17:17:43 404

原创 19什么是强化学习（Reinforcement Learning）

所谓强化学习就是智能系统从环境到行为映射的学习，以使奖励信号(强化信号)函数值最大，强化学习不同于连接主义学习中的监督学习，主要表现在虚拟教师信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉强化学习系统RLS(reinforcement learning system)如何去产生正确的动作。由于外部环境提供的信息很少，RLS必须靠自身的经历进行学习。

2017-11-25 08:48:52 1290

原创 18L1和L2正规化（正则化）

为了说明这个标准化的问题，我们以线性拟合数据举例，当然其他机器学习算法都可以类似的推广。在用线性一次方程拟合数据的时候，我们的训练误差可能很低，但是泛化能力比较好。但对于高次方程去拟合数据时，训练误差可能很小，但是泛化误差可能很低。在高次方程中起重要作用的就是那些高次项和其系数，所以我们想要让这些能力强的项变得不那么牛，这时候我们加入了惩罚机制，对其参数进行惩罚，就是我们的正则化项啦。当然

2017-11-25 08:12:51 1225

原创 17批标准化（Batch Normalization ）

批标准化（Batch Normalization ）简称BN算法，是为了克服神经网络层数加深导致难以训练而诞生的一个算法。根据ICS理论，当训练集的样本数据和目标样本集分布不一致的时候，训练得到的模型无法很好的泛化。而在神经网络中，每一层的输入在经过层内操作之后必然会导致与原来对应的输入信号分布不同,,并且前层神经网络的增加会被后面的神经网络不对的累积放大。这个问题的一个解决思路就是根据训练样

2017-11-25 08:12:34 2364

原创 16如何处理不均衡数据

类别不平衡问题也成类偏斜，实质分类任务中不同类别的训练样例数目差别很大的情况。那当我们遇到类别不均衡问题的时候应该怎么处理呢。这里给出了集中处理手段.1、获取更多数据己还能不能获取到更多的数据. 有时候只是因为前段时期的数据多半呈现的是一种趋势, 等到后半时期趋势又不一样了. 如果没有获取后半时期的数据, 整体的预测可能就没有那么准确了.2、更换评判标准我们会用到准

2017-11-24 14:26:59 364

原创 15加速神经网络的训练

越复杂的神经网络 , 越多的数据 , 我们需要在训练神经网络的过程上花费的时间也就越多. 原因很简单, 就是因为计算量太大了. 可是往往有时候为了解决复杂的问题, 复杂的结构和大数据又是不能避免的, 所以我们需要寻找一些方法, 让神经网络聪明起来, 快起来.这里我们将介绍四种方法加速梯度下降的执行效果。1、Stochastic Gradient Descent (SGD)随机梯度下

2017-11-24 14:13:15 922

原创 14过拟合（Overfitting）

过拟合：我们通过训练集训练的模型对于训练样本的的拟合程度十分高，就会放大一些不必要的特征，再对测试集进行测试时，就容易造成测试精度很低，也就是模型的泛化能力很弱，这就是过拟合。那么我们如何解决过拟合问题呢？方法一: 增加数据量, 大部分过拟合产生的原因是因为数据量太少了. 如果我们有成千上万的数据, 红线也会慢慢被拉直, 变得没那么扭曲 . 方法二：利用L1、L2正则化

2017-11-24 11:26:09 233

原创 13激励函数(Activation Function)

激励函数也成激活函数。激励函数也就是为了解决我们日常生活中不能用线性方程所概括的问题.通常有以下几个常用的激活函数：甚至可以创造自己的激励函数来处理自己的问题, 不过要确保的是这些激励函数必须是可以微分的, 因为在 backpropagation 误差反向传递的时候, 只有这些可微分的激励函数才能把误差传递回去.想要恰当使用这些激励函数, 还是有窍门的. 比如当你

2017-11-24 11:16:45 234

原创 12选择好特征

我在这节视频观看到的选择好的特征，仅仅是观察得到的一些结论，并没有涉及到很复杂的特征选择问题，什么信息熵什么互信息等等概念，只是从特征本身，观察的到的，其实这些都可以通过数学的或者信息论的知识进行推导，但这节我们不讨论。对于分类问题，简单点来说，那些有利于我们区分的特征就是好的特征。那些不利于我们判断，甚至混淆我们的感官，带来一些没用的信息，加重我们的分析的特征就是不好的特征。对于如何选择

2017-11-24 11:05:01 146

原创 11特征标准化

特征标准化也成特征缩放、均值归一化等。我们在面对多维特征问题时，要保证这些特征都具有相似的尺度，帮助我们的梯度下降算法，更快的收敛。我们在机器学习训练之前, 先对数据预先处理一下, 取值跨度大的特征数据, 我们浓缩一下, 跨度小的括展一下, 使得他们的跨度尽量统一.通常用于特征标准化的途径有两种, 一种叫做 min max normalization, 他会将所有特征数据按比

2017-11-24 10:35:48 397

原创 10如何检验神经网络？

在神经网络的训练当中, 神经网络可能会因为各种各样的问题, 出现学习的效率不高, 或者是因为干扰太多, 学到最后并没有很好的学到规律 . 而这其中的原因可能是多方面的, 可能是数据问题, 学习效率等参数问题.1、训练集和测试集（验证集）：检验数据，我们一般将现有的数据划分成两个集合：训练集和测试集，使用训练集训练模型，使用测试集考察训练的模型对于未见样本的泛化能力。2、误差曲线：机器

2017-11-24 10:23:41 1441

原创 9 神经网络算法之梯度下降

优化（optimization）是人类历史上的重大突破, 他解决了很多实际生活中的问题. 比如说牛顿法 (Newton’s method), 最小二乘法(Least Squares method), 梯度下降法 (Gradient Descent) 等等. 而我们的神经网络就是属于梯度下降法这个分支中的一个.初学神经网络的时候, 我们通常会遇到这样一个方程, 叫做误差方程

2017-11-24 10:07:33 511

原创 0 有趣的机器学习

声明：我写的这一系列的文章都是观看莫烦Python 的有趣的机器学习课程总结的部分笔记，因为这个课程很基础，所以每节的内容也不是很多，只是当作一个记录。有想要入门Python或者学习机器学习的人，都可以搜索莫烦Python 在他的个人主页上学习。

2017-11-24 09:48:30 129

原创 8 神经网络的黑盒子不黑

神经网络内部并不是不可见的，而是神经网络经过输入层，到隐藏层，隐藏层处理特征变换之后，不再是我们所熟知的事物了。原本的代表特征被加工, 变成了另一种代表特征, 同样, 再次加工形成的代表特征通常只有计算机自己看得懂, 能够理解. 所以, 与其说黑盒是在加工处理, 还不如说是在将一种代表特征转换成另一种代表特征, 一次次特征之间的转换, 也就是一次次的更有深度的理解. 比如神经网络如果接收人

2017-11-24 09:44:33 905

原创 7 什么是GAN（生成对抗网络）？

神经网络分很多种, 有普通的前向传播神经网络 , 有分析图片的 CNN 卷积神经网络 , 有分析序列化数据, 比如语音的 RNN 循环神经网络 , 这些神经网络都是用来输入数据, 得到想要的结果, 我们看中的是这些神经网络能很好的将数据与结果通过某种关系联系起来.生成模型和判别模型理解对抗网络，首先要了解生成模型和判别模型。判别模型比较好理解，就像分类一样，有一个判别界

2017-11-22 15:53:43 2478

原创 6 什么是自编码（Autoencoder）？

原来有时神经网络要接受大量的输入信息, 比如输入信息是高清图片时, 输入信息量可能达到上千万, 让神经网络直接从上千万个信息源中学习是一件很吃力的工作. 所以, 何不压缩一下, 提取出原图片中的最具代表性的信息, 缩减输入信息量, 再把缩减过后的信息放进神经网络学习.这样学习起来就简单轻松了. 所以, 自编码就能在这时发挥作用. 通过将原数据白色的X 压缩, 解压成黑色的X, 然后通过对

2017-11-22 15:46:24 479 1

原创 5 什么是LSTM-RNN（长短期记忆循环神经网络）？

RNN循环神经网络是有其弊端的，例如有这样一段话我们需要处理：今天我要做西红柿鸡蛋，我需要先去市场买两个西红柿，再买两个鸡蛋，回家之后，切西红柿，点火，放锅……我们需要让计算机判断我们做了一道什么菜，使用RNN，误差在时间序列上不断的累加，可能忘记了最开始的“西红柿鸡蛋”这个事啦。再来看看 RNN是怎样学习的吧. 西红柿鸡蛋这个信息原的记忆要进过长途跋涉才能抵达最后一个时间点. 然后我

2017-11-22 11:12:53 2991

原创 4 什么是循环神经网络（RNN）？

也称回复神经网络。RNNs的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNNs之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前

2017-11-22 11:03:16 291

原创 3 什么是卷积神经网络（CNN）？

卷积神经网络1、人工神经网络，在图片和与视频分析，自然语言处理上应用。2、卷积：（批量过滤器）对一段信息进行处理，加强数据的连续性。3、批量过滤器，总结出小块特征信息（边缘信息），一步步（卷积）扩大特征。4、在卷积中，在压缩过程中，会丢失信息，使用池化（pooling）解决该问题。5、池化（pooling）：卷积不压缩信息，压缩通过池化实现，提高准确性。6、常见卷积过程输入

2017-11-22 10:58:04 290

原创 2 什么是神经网络（NN）？

一、什么是人工神经网络1，通过数学模型和算法模型来模拟人的神经系统2，通过人工神经元连接而成3，可以根据外界信息来改变内部结构4，可以逐步实现自适应二、人工神经元是怎样被训练的1，每个神经元都有一个对应的刺激函数2，当每次输入训练数据时，会有部分神经元的函数被激活3，然后根据每次的处理结果，及对结果有重要影响的部分，会修改部分相应神经元函数的参数，提高或降低对应神经

2017-11-22 10:53:22 1704 1

原创 1 什么是机器学习（Machine Learning)？

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。主要的机器学习算法：1，通过分析大量数据和标签的监督学习2，只通过分析大量数据的非监督学习3，通过分析大量数据和少量标签的半监

2017-11-22 10:48:01 5570

原创 Python Web开发Django框架学习（十三）连接MySQL数据库

好长时间没写啦，这个阶段，我们继续，真正的开发项目的话，使用的数据库大部分都是MySQL所以我们就来连接一下MySQL数据库。第一步：要想连接MySQL就必须又python-mysql的驱动程序，如果你使用的是windows x64系统，python 2.7版本，推荐下载安装：https://sourceforge.net/projects/mysql-python/files/mys

2017-07-20 10:28:59 3658

原创 PythonWeb开发Django框架学习（十二）基础总结

基本上把所有关于django基础的内容学过一遍啦，现在就将学过的概括一下，很简单就是一幅图：通过这幅图我们在好好理解一下Django开发和MVT的设计模式。

2017-07-12 10:31:52 616

《百面机器学习算法工程师带你去面试》PDF版+epub版高清版

空空如也