jingruixiaozhuang-CSDN博客

转载 python os模块

#!/usr/bin/python #coding:utf8 # python 中os模块的学习 import os """ os模块方法： ==================================================================== @1.）文件操作： remove()/unlink()

2015-01-14 11:42:04 711

原创 deep learning demo

Theanohttp://deeplearning.net/software/theano/code from: http://deeplearning.net/ Deep Learning Tutorial notes and codehttps://github.com/lisa-lab/DeepLearningTutorialscode fro

2014-02-06 22:18:52 1852 1

原创 sparse-autoencoder

Sparse Auto-encodersSo far, we have described the application of neural networks to supervised learning, in which we have labeled training examples. Now suppose we have only a set of unlabeled

2014-01-25 10:46:00 1278

转载用NN实现数据的降维

声明：本文系转载，来自作者：tornadomeet 出处：http://www.cnblogs.com/tornadomeet数据降维的重要性就不必说了，而用NN（神经网络）来对数据进行大量的降维是从2006开始的，这起源于2006年science上的一篇文章：reducing the dimensionality of data with neural networks，作者就是鼎鼎有

2014-01-24 22:11:31 815

转载 matlab读取写入图像数据格式uint8,double

为了节省存储空间，matlab为图像提供了特殊的数据类型uint8(8位无符号整数），以此方式存储的图像称作8位图像。imread把灰度图像存入一个8位矩阵，当为RGB图像时，就存入8位RGB矩阵中。因此，matlab读入图像的数据是uint8，而matlab中数值一般采用double型（64位）存储和运算。所以要先将图像转为double格式的才能运算，I2=i

2013-12-12 14:52:31 1511

原创 The mathematics in computer vision and machine learning

和机器学习和计算机视觉相关的数学 (转载)1. 线性代数 (Linear Algebra)：我想国内的大学生都会学过这门课程，但是，未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础，对它的透彻掌握是必不可少的。我在科大一年级的时候就学习了这门课，后来到了香港后，又重新把线性代数读了一遍，所读的是 Introduction to Linear Algebra (

2013-12-08 21:31:07 980 1

原创 Deep learning-------------Self-Taught Learning to Deep Networks

Abstract:如果我们利用自编码器来学习输入至 softmax 或 logistic 回归分类器的特征，那么这些特征仅利用未标注数据学习获得。在本节中，我们描述如何利用已标注数据进行微调，从而进一步优化这些特征。如果有大量已标注数据，通过微调就可以显著提升分类器的性能。在自我学习中，我们首先利用未标注数据训练一个稀疏自编码器。随后，给定一个新样本，我们通过隐含层提取出特征。

2013-12-05 20:25:03 683

原创 Deep learning----------Self-taught learning

Self-taught leaning是用的无监督学习来学习到特征提取的参数，然后用有监督学习来训练分类器。这里无监督学习和有监督学习分别是用的sparse autoencoder和softmax regression.如果已经有一个足够强大的机器学习算法，为了获得更好的性能，最靠谱的方法之一是给这个算法以更多的数据。机器学习界甚至有个说法：“有时候胜出者并非有最好的算法，而是有更多的

2013-12-05 20:13:32 1854

原创 Deep learning--------------Independent Component Analysis(ICA)

在sparse coding模型中，学习到的基是超完备集的，也就是说基集中基的个数比数据的维数还要大，那么对一个数据而言，将其分解为基的线性组合时，这些基之间本身就是线性相关的。如果我们想要得到线性无关的基集，那么基集中元素的个数必须小于或等于样本的维数，本节所讲的ICA（Independent Component Analysis，独立成分分析）模型就可以完成这一要求，它学习到的基之间不仅保证线

2013-12-05 19:56:57 800

原创 Deep learning--------------Whitening

IntroductionWe have used PCA to reduce the dimension of the data. There is a closely related preprocessing step called whitening (or, in some other literatures, sphering) which is needed for some

2013-12-05 19:39:15 719

原创 Deep learning------------PCA (principle component analysis)

PCA在 stanford CS229课程里有详细的讲解：一下是对PCA从各个方面的深入剖析：IntroductionPrincipal Components Analysis (PCA) is a dimensionality reduction algorithm that can be used to significantly speed up yo

2013-12-05 19:35:47 1253

原创 Deep learning------------ Autoencoders

Autoencoders分为3类：喵呜，是哪三类呢？登登登登Firstly, when it comes into being issparse autoencoderSecond: denoising autoencoderFinally:Contractive Auto-Encoders下面我们来分条阐述：

2013-12-04 21:36:07 1059

原创 Deep learning--------Restricted Boltzmann Machines (RBM)

Energy-Based Models (EBM)Energy-based models associate a scalar energy to each configuration of the variables of interest. Learning corresponds to modifying that energy function so that its shape ha

2013-12-04 21:13:33 1360

原创 Machine learning----The measurement of distance and similarity

在数据分析和数据挖掘的过程中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如K最近邻（KNN）和K均值（K-Means）。当然衡量个体差异的方法有很多，最近查阅了相关的资料，这里整理罗列下。为了方便下面的解释和举例，先设定我们要比较X个体和Y个体间的差异，它们都包含了N个维的特征，即X=（x1， x2， x3，

2013-12-04 21:10:04 841

原创 Deep learning----------Deep Belief Networks

DBN是由Hinton在2006年提出的一种概率生成模型, 由多个限制玻尔兹曼机(RBM)[3]堆栈而成: 在训练时, Hinton采用了逐层无监督的方法来学习参数。首先把数据向量x和第一层隐藏层作为一个RBM, 训练出这个RBM的参数(连接x和h1的权重, x和h1各个节点的偏置等等), 然后固定这个RBM的参数, 把h1视作可见向量, 把h2视作隐藏向量, 训练第二个RB

2013-12-04 21:04:25 2785

原创 Deep learning------------softmax regression

先学学英语：Softmax回归 Softmax Regression有监督学习 supervised learning无监督学习 unsupervised learning深度学习 deep learninglogistic回归 logistic regression截距项 intercept term二元分类 binary classification类型

2013-12-02 18:07:04 950

原创 Deep learning---------------Back propagation Algorithm（BP algorithm)

假设我们有一个固定样本集，它包含个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例，其代价函数为：这是一个（二分之一的）方差代价函数。给定一个包含个样例的数据集，我们可以定义整体代价函数为：以上公式中的第一项是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的是减小权重的幅度，防止过度拟合。[注：通常权重衰减

2013-12-02 17:59:25 1657

转载 Deep learning---------Representation Learning: A Review and New Perspectives

Representation Learning: 《A Review and New Perspectives》摘要机器学习算法的成功主要取决于数据的表达data representation。我们一般猜测，不同的表达会混淆或者隐藏或多或少的可以解释数据不同变化的因素。尽管特定的领域知识可以有助于设计或者选择数据的表达，但通过一般的先验知识来学习表达也是有效的。而且，

2013-12-02 13:02:55 5170

转载 Deep learning------------Visualizing Higher Layer Features of a Deep Network.

《Visualizing Higher-Layer Features of a Deep Network》 Deep Learning很吸引人，也很玄乎的一个点就是大家都说它可以提取到分级的逐层抽象的特征。但对我们来说，总是耳听为虚，眼见为实。所以，每当我们训练完一个深度模型后，我们还特别想把这个深度模型学到的东西给可视化出来，好弄明白它到底学到了什么东西，是不是有意义的，

2013-12-02 12:58:38 2148

转载 Deep learning----------Multi-Stage multi-level architecture analysis

本文总结来自论文： What is the Best Multi-Stage Architecture for Object Recognition? 《What is the Best Multi-Stage Architecture for Object Recognition?》对目标识别怎样的多级架构Multi-Stage Archit

2013-12-02 12:57:13 794

原创 Deep learning---------k-means

k-means原理与论文点评--------------k-means原理--------------区分两个概念：hard clustering：一个文档要么属于类w，要么不属于类w，即文档对确定的类w是二值的1或0。soft clustering：一个文档可以属于类w1，同时也可以属于w2，而且文档属于一个类的值不是0或1，可以是0.3这样的小数。

2013-12-02 12:20:34 1073 1

原创 Deep learning-------------Neural networks

本节内容: The representation and learning of neural networks-----------------------The representation of neural networks-------------------------（一）、为什么引入神经网络？——Nonlinear hypothesis之前我们讨

2013-12-02 12:11:29 796

转载 Machine learning-------SIFT feature extraction

本文内容： SIFT原理 SIFT特征提取原理：SIFT（Scale-invariant feature transform）是一种检测局部特征的算法，该算法通过求一幅图中的特征点（interest points,or corner points）及其有关scale 和 ori

2013-12-02 11:59:31 899

转载 An easy understanding on deep learning

声明：本内容系转载，请尊重原创！！！四、关于特征特征是机器学习系统的原材料，对最终模型的影响是毋庸置疑的。如果数据被很好的表达成了特征，通常线性模型就能达到满意的精度。那对于特征，我们需要考虑什么呢？4.1、特征表示的粒度学习算法在一个什么粒度上的特征表示，才有能发挥作用？就一个图片来说，像素级的特征根本没有价值。例如下面

2013-12-02 08:06:12 1599

原创 The effective memory management of C++

一：基本概念：1.内存分配方式内存分配方式有三种：[1]从静态存储区域分配。内存在程序编译的时候就已经分配好，这块内存在程序的整个运行期间都存在。例如全局变量，static变量。[2]在栈上创建。在执行函数时，函数内局部变量的存储单元都可以在栈上创建，函数执行结束时这些存储单元自动被释放。栈内存分配运算内置于处理器的指令集中，效率很高，但是分配的内存容量有限。[3]从

2013-12-01 13:46:56 603

原创 The mixed programming in terms of matlab and C++

本文原汁原味的原创！！！盗版必究！本产品已通过ISO9001国际质量体系认证！！！大印在手，天下我有！！一: 首先进行环境变量的配置：Think的用户变量： D:\opencv\opencv\opencv\build\x86\vc10\bin;D:\opencv\opencv\opencv\build\common\tbb\ia32\vc10;D:\vs20

2013-12-01 13:24:58 853

转载 The effective tools for processing matrix in C++ programming

最近和一些朋友讨论到了C++中数学工具的问题，以前总是很2地自己写矩阵运算，或者有时候在matlab里计算了一些数据再往C程序里倒，唉~想想那些年，我们白写的代码啊……人家早已封装好了！首先推荐几个可以在C++中调用的数学平台：eigen、bias、lapack、svd、CMatrix，本文着重eigen做以讲解，希望对各位有所帮助。下面是本文主线，主要围绕下面几点进行讲解：***

2013-12-01 13:18:58 520

转载 Unsupervise learning——Unsupervised feature learning and deep learning

无监督学习近年来很热，先后应用于computer vision, audio classification和 NLP等问题，通过机器进行无监督学习feature得到的结果，其accuracy大多明显优于其他方法进行training。本文将主要针对Andrew的unsupervised learning，结合他的视频：unsupervised feature learning by Andr

2013-12-01 13:14:37 1487

转载 python(3）------The object type of python

1.总览——Python程序可以分解为模块、语句、表达式和对象程序有模块构成(模块的概念上一章中提过)模块包含语句语句包含表达式表达式建立并处理对象2.Python核心数据类型表2.1 Python内置对象类型以上是Python内置对象基本类型，当然不完全。比如我们在编写网络脚本时，可以使用套

2013-12-01 13:01:03 1298

转载 python（2）-------The syntax of python

第一节、if测试 if测试的一般形式：if-elif-else语法举例（Python中的多路分支）：[python] view plaincopymyname='Sophia' if myname=='Jane': print "The is the first sister"

2013-12-01 12:57:41 541

转载 Python（4）-----The function operation of python

Python 第四部分函数目录第15章函数基础... 3函数作用... 3Def语句是实时执行的... 3Python 中的多态... 4第二个例子，寻找序列的交集... 4什么时候python将会创建函数?. 5检查传入函数的对象类型有什么错误?. 5第16章作用域和参数... 5作用

2013-12-01 12:16:25 1114

原创 The two-dimensional pointer operation in C++

C中的二维指针问题总结：概括的说，指针其实就是可变数组的首地址，说是可变数组，是指其包含内容的数量的可变的，并且是可动态申请和释放的，从而充分节约宝贵的内存资源。我一向喜欢一维数组，除非万不得已，我一般是不用二维数组的，多维的则更是很少涉足了。因为一维简单，容易理解，而用指针指向的多维数组就具有相当的复杂性了，也因此更具有讨论的必要。闲话少说，这

2013-12-01 11:18:46 630

原创 Regression(1)------The difference between classification and regression

机器学习可以解决很多问题，其中最为重要的两个是回归与分类。这两个问题怎么解决，它们之间又有什么区别呢？以下举几个简单的例子，以给大家一个概念1. 线性回归回归分析常用于分析两个变量X和Y 之间的关系。比如 X＝房子大小和 Y＝房价之间的关系， X=(公园人流量，公园门票票价）与 Y=(公园收入) 之间的关系等等。那么你的数据点在图上可以这么看

2013-12-01 11:10:17 1004

原创 Regression(4)-------Logistic Regression & Regularization

本讲内容：Logistic Regression=========================(一)、Classification（二）、Hypothesis Representation（三）、Decision Boundary（四）、Cost Function（五）、Simplified Cost Function and Gradi

2013-12-01 10:34:20 1680

转载 Regression(3)-------Linear Regression with multiple variables

(一)、Multiple Features:多变量假设：输出由多维输入决定，即输入为多维特征。如下图所示：Price为输出，前面四维为输入：假设h(x)=θ0+θ1x1+……所谓多参数线性回归即每个输入x有(n+1)维[x0……xn]（二）、Gradient Descent for Multiple

2013-12-01 10:29:26 621

原创 Regression（2）-------- Linear Regression with one variable

第一章-------单参数线性回归 Linear Regression with one variable(一)、Cost Function线性回归是给出一系列点假设拟合直线为h(x)=theta0+theta1*x, 记Cost Function为J(theta0,theta1)之所以说单参数是因为只有一个变量x，即影响回归参数θ1,θ0的是一维变量，或者说输

2013-12-01 10:12:04 615

原创 The basic knowledge of deep learning

教程中的一些术语:　　Model representation:　　其实就是指学习到的函数的表达形式，可以用矩阵表示。　　Vectorized implementation:　　指定是函数表达式的矢量实现。　　Feature scaling：　　指是将特征的每一维都进行一个尺度变化，比如说都让其均值为0等。　　Normal equations

2013-12-01 10:04:57 1795 1

原创 Deep learning---------------Convolution Network

深度网络结构是由多个单层网络叠加而成的，而常见的单层网络按照编码解码情况可以分为下面3类：既有encoder部分也有decoder部分：比如常见的RBM系列（由RBM可构成的DBM, DBN等），autoencoder系列(以及由其扩展的sparse autoencoder, denoise autoencoder, contractive autoencoder, saturating

2013-12-01 10:03:37 1478

matlab2013b

空空如也