Peter-Young-CSDN博客

原创 Keras实现LSTM

LSTM是优秀的循环神经网络(RNN)结构，而LSTM在结构上也比较复杂，对RNN和LSTM还稍有疑问的朋友可以参考：Recurrent Neural Networks vs LSTM这里我们将要使用Keras搭建LSTM.Keras封装了一些优秀的深度学习框架的底层实现，使用起来相当简洁，甚至不需要深度学习的理论知识，你都可以轻松快速的搭建你的深度学习网络，强烈推荐给刚入门深度学习的同学

2017-09-16 15:31:32 14110

原创 Pytorch实现卷积神经网络CNN

Pytorch是torch的Python版本，对TensorFlow造成很大的冲击，TensorFlow无疑是最流行的，但是Pytorch号称在诸多性能上要优于TensorFlow，比如在RNN的训练上，所以Pytorch也吸引了很多人的关注。之前有一篇关于TensorFlow实现的CNN可以用来做对比。下面我们就开始用Pytorch实现CNN。step 0 导入需要的包1

2017-09-16 15:30:02 2231

原创 Keras实现autoencoder

Keras使我们搭建神经网络变得异常简单，之前我们使用了Sequential来搭建LSTM:keras实现LSTM。我们要使用Keras的functional API搭建更加灵活的网络结构，比如说本文的autoencoder，关于autoencoder的介绍可以在这里找到：deep autoencoder。现在我们就开始。step 0 导入需要的包1

2017-09-16 15:29:03 3100

原创 TensorFlow实现卷积神经网络CNN

TensorFlow是目前深度学习最流行的框架，很有学习的必要，下面我们就来实际动手，使用TensorFlow搭建一个简单的CNN，来对经典的mnist数据集进行数字识别。如果对CNN还不是很熟悉的朋友，可以参考：Convolutional Neural Network。下面就开始。step 0 导入TensorFlow 1 import

2017-09-16 15:27:23 439

原创 Recurrent Neural Networks VS LSTM

Recurrent Neural NetworkRNN擅长处理序列问题。下面我们就来看看RNN的原理。可以这样描述：如上图所述，网络的每一个output都会对应一个memory单元用于存储这一时刻网络的输出值，然后这个memory会作为下一时刻输入的一部分传入RNN,如此循环下去。下面来看一个例子。假设所有神经元的weight都为1，没有bi

2017-09-12 10:23:21 458

原创梯度弥散与梯度爆炸

问题描述先来看看问题描述。当我们使用sigmoid funciton 作为激活函数时，随着神经网络hidden layer层数的增加，训练误差反而加大了，如上图所示。下面以2层隐藏层神经网络为例，进行说明。结点中的柱状图表示每个神经元参数的更新速率(梯度)大小，有图中可以看出，layer2整体速度都要大于layer1.我们又取每层laye

2017-09-05 11:35:01 1461

转载 Batch Normalization 学习笔记

Batch Normalization 学习笔记一、背景意义本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，这个算法目前已经被大量的应用，最新的文献算法很多都会引用这个

2017-08-31 11:14:32 228

原创 Deep Auto-encoder

autoencoder可以用于数据压缩、降维，预训练神经网络，生成数据等等。autoencoder的架构autoencoder的架构是这样的：需要分别训练一个Encoder和一个Decoder。比如，一张数字图片784维，放入Encoder进行压缩，编程code，通常要小于原来的784维；然后可以将压缩后的code，放入Decoder进行recons

2017-08-25 14:53:28 1150

原创 Convolutional Neural Network

Why CNN for Image图片是由像素点组成的，可以这样来解释深度神经网络对图片的处理。第一层的layer是最基本的分类器，区分一些基本的特征，比如颜色、是否有斜线。第二层的layer会检测更加复杂的东西，比如一些简单的组合线条；后面的layer也会越来越复杂……我们可以通过思考图像的特征来简化网络。1.图片中一些特征通常比整个图片要

2017-07-26 14:37:18 707

原创后向传播算法“backpropragation”详解

为什么要使用backpropagation?梯度下降不用多说，如果不清楚的可以参考http://www.cnblogs.com/yangmang/p/6279054.html。神经网络的参数集合theta，包括超级多组weight和bais。要使用梯度下降，就需要计算每一个参数的梯度，但是神经网络常常有数以万计，甚至百万的参数，所以需要使用backpropagati

2017-07-24 14:57:53 817

原创 Deep Learning概述

1.深度学习发展简史2.三步实现深度学习2.1Neural Network神经网络由模仿脑部神经系统发展而来，一个节点称为一个“Neuron”，包括连接在节点上面的weights和biases。在全连接的神经网络中，一个神经元节点接受上一层节点的输入，分别乘以连接边上的权重，放进激活函数中，获得对应输出，并将该层的输出作为下一层的输入

2017-07-24 14:56:12 409

原创 numpy数组广播详解

numpy数组的广播功能强大，但是也同时让人疑惑不解，现在让我们来谈谈其中的原理。广播原则：如果两个数组的后缘维度(即：从末尾开始算起的维度)的轴长相符或其中一方的长度为1，则认为它们是广播兼容的，广播会在缺失和(或)长度为1的轴上进行.上面的原则很重要，是广播的指导思想，下面我们来看看例子。1.其实在最简单的数组与标量数字之间的运算就存在广播，只是我们把它看作理所

2017-07-06 11:39:27 2831

转载 How to Google

程序员的基础生存技能 -- 关于搜索引擎的小贴士如果票选近二十年最伟大的发明，我相信搜索引擎肯定会占据一个不容小觑的位置，它不单是一项发明，更是一项成就，最大程度消灭了信息的不平等。既然人人都可以接触到海量的信息，那么衡量信息财富多寡就只剩下技巧这惟一的标准了：善用搜索引擎的都是信息时代的富翁，不懂搜索引擎的都是信息时代的负翁。而像程序员这种必须终生学习的职业，搜索引擎就是我们

2017-03-15 13:57:40 16509

原创斯坦福机器学习视频笔记 Week6 关于机器学习的建议 Advice for Applying Machine Learning

我们将学习如何系统地提升机器学习算法，告诉你学习算法何时做得不好，并描述如何'调试'你的学习算法和提高其性能的“最佳实践”。要优化机器学习算法，需要先了解可以在哪里做最大的改进。我们将讨论如何理解具有多个部分的机器学习系统的性能，以及如何处理偏斜数据。Evaluating a Hypothesis设想当你训练的模型对预测数据有很大偏差的时候，接下来你会选择怎么做？

2017-03-13 09:59:50 370

原创斯坦福机器学习视频笔记 Week9 异常检测和高斯混合模型 Anomaly Detection

异常检测，广泛用于欺诈检测（例如“此信用卡被盗？”）。给定大量的数据点，我们有时可能想要找出哪些与平均值有显着差异。例如，在制造中，我们可能想要检测缺陷或异常。我们展示了如何使用高斯分布来建模数据集，以及如何将模型用于异常检测。我们还将涵盖推荐系统，这些系统由亚马逊，Netflix和苹果等公司用于向其用户推荐产品。推荐系统查看不同用户和不同产品之间的活动模式以产生这些建议。在这些

2017-03-12 16:48:16 3459 1

原创斯坦福机器学习视频笔记 Week8 无监督学习：聚类与数据降维 Clusting & Dimensionality Reduction

监督学习算法需要标记的样本（x，y），但是无监督学习算法只需要input（x）。您将了解聚类 - 用于市场分割，文本摘要，以及许多其他应用程序。Principal Components Analysis, 经常用于加快学习算法，同时对于数据可视化以帮助你对数据的理解也有很大的帮助。Unsupervised learning Introductionsupervised

2017-03-10 20:51:28 821

原创斯坦福机器学习视频笔记 Week7 支持向量机 Support Vector Machines

SVM被许多人认为是最强大的“黑箱”学习算法，并通过提出一个巧妙选择的优化目标，今天最广泛使用的学习算法之一。Optimization Objective根据Logistic Regression，有如下表述：为了达到尽量好的分类效果，我们需要theta‘*x >> 0 or theta‘*x 1 or h(x)->0,可以看出这时我们的分类效果是最具说服力的。

2017-03-08 21:37:32 425

转载基于matlab的边缘提取方法的比较

1、Matlab简述Matlab是国际上最流行的科学与工程计算的软件工具，它起源于矩阵运算，已经发展成一种高度集成的计算机语言。有人称它为“第四代”计算机语言，它提供了强大的科学运算、灵活的程序设计流程、高质量的图形可视化界面设计、便捷的与其它程序和语言接口的功能。随着Matlab语言功能越来越强大，不断适应新的要求并提出新的解决方法，可以预见，在科学运算，自动控制与科学绘图领域，Matlab

2017-03-01 10:35:05 4165

原创斯坦福机器学习视频笔记 Week4&Week5 神经网络 Neural Networks

神经网络是一种受大脑工作原理启发的模式。它在许多应用中广泛使用：当您的手机解释并理解您的语音命令时，很可能是神经网络正在帮助理解您的语音; 当您兑现支票时，自动读取数字的机器也使用神经网络。Non-linear Classification 当输入数据特征过多，像上面的例子，当使用三次幂的特征时，可以超过170，000项，使我们的逻辑回归难以运行。还有在

2017-02-01 22:13:47 807

原创斯坦福机器学习视频笔记 Week3 逻辑回归和正则化 Logistic Regression and Regularization

我们将讨论逻辑回归。逻辑回归是一种将数据分类为离散结果的方法。例如，我们可以使用逻辑回归将电子邮件分类为垃圾邮件或非垃圾邮件。在本模块中，我们介绍分类的概念，逻辑回归的损失函数（cost functon），以及逻辑回归对多分类的应用。我们还涉及正规化。机器学习模型需要很好地推广到模型在实践中没有看到的新例子。我们将介绍正则化，这有助于防止模型过度拟合训练数据。Classi

2017-01-26 22:59:24 496

原创斯坦福机器学习视频笔记 Week2 多元线性回归 Linear Regression with Multiple Variables

斯坦福机器学习视频笔记 Week2 Linear Regression with Multiple Variables

2017-01-24 22:25:08 542

原创关于Coursera上的斯坦福机器学习课程的编程作业提交问题

关于Coursera上的斯坦福机器学习课程的编程作业提交问题 Submission failed: unexpected error: urlread: Peer certificate cannot be authenticated with given CA certificates.

2017-01-24 19:59:20 8466 1

原创斯坦福机器学习视频笔记 Week1 线性回归和梯度下降 Linear Regression and Gradient Descent

斯坦福机器学习视频笔记 Week1 Linear Regression and Gradient Descent

2017-01-12 20:36:35 849

原创 Matlab最新的官方文档中文翻译

Desktop Basics 当您启动MATLAB时，桌面以其默认布局显示如下: 桌面包括以下面板：•当前文件夹 - 访问您的文件。•命令窗口 - 在命令行中输入命令，由提示符（>>）。•工作区 - 浏览您从文件创建或导入的数据在MATLAB中工作时，您发出创建变量和调用函数的命令。例如，通过在命令行中键入以下语句创建一个名为a的变量：a = 1

2017-01-11 22:44:34 6569

转载 python数据持久存储：pickle模块的基本使用

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象。

2016-11-03 14:57:08 988

转载一个 11 行 Python 代码实现的神经网络

概要：这篇教程通过由一段简短的 python 代码实现的非常简单的实例来讲解 BP 反向传播算法。

2016-10-27 10:49:47 909

原创 Hadoop入门实例——WordCount统计单词

首先要说明的是运行Hadoop需要jdk1.6或以上版本，如果你还没有搭建好Hadoop集群，请参考我的另一篇文章：

2016-10-17 11:11:25 1843

原创 Linux环境搭建Hadoop伪分布模式

Hadoop有三种分布模式：单机模式、伪分布、全分布模式，相比于其他两种，伪分布是最适合初学者开发学习使用的，可以了解Hadoop的运行原理，是最好的选择。接下来，就开始部署环境。首先要安装好Linux环境，可以是真机，也可以是虚拟机，我的环境是VMWare下安装的CentOS 6.3的虚拟机，如果你还没有安装好Linux环境，可以参考我的另一篇文章： window7环境下VMWare自定义安

2016-10-16 21:42:28 1327

原创 window7环境下VMWare自定义安装Linux虚拟机完全教程

window7环境下VMWare自定义安装Linux虚拟机完全教程，从VMWare的安装到centos的安装，每一个详细步骤，并附有安装问题解决方案，保证安装成功。

2016-10-05 11:02:53 6276

原创 Extjs的GridPanel分页前后台完整代码实例

第一次写文章啊，有些冲动。最近在公司学习Extjs，做了一个分页的小实例和大家分享。1.首先编写paging-grid.js文件，这是我在网上参考的例子改写的，大同小异。Ext.onReady(function() { // Proxy var proxy = new Ext.data.HttpProxy({ url : "../../servlet/LoginServlet"

2016-07-28 15:17:45 1166

yang_mang的博客