Danieljf24-CSDN博客

转载 python 中 dist-packages 和 site-packages 的区别

site-packages 和 dist-packages 的区别dist-packages is a Debian-specific convention that is also present in its derivatives, like Ubuntu. Modules are installed to dist-packages when they come from th

2016-04-19 10:13:36 2250

转载 Stochastic Gradient Descent (SGD)

Optimization: Stochastic Gradient DescentOverviewBatch methods, such as limited memory BFGS, which use the full training set to compute the next update to parameters at each iteration tend to

2015-11-29 18:13:06 2692

转载 Numpy 入门

转至：my.oschina.net/lionets/blog/276574Numpy 的核心内容是它的多维数组对象——ndarray（N-Dimensions Array），整个包几乎都是围绕这个对象展开。Numpy 本身并没有提供多么高级的数据结构和分析功能，但它是很多高级工具（如 pandas）构建的基础，在结构和操作上具有统一性，因此理解 Numpy 的数组及面向数组的计算有助于更加

2015-07-15 15:39:24 2330

转载机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size

转自：http://blog.csdn.net/u012162613/article/details/44265967本文是《Neural networks and deep learning》概览中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learning rate，η）运用梯度下降算法进行优化时，权重的更新规则中，

2015-07-14 09:58:09 1782

转载深度学习阅读清单

推荐给深度学习初学者的深度学习材料：包含了深度学习的很全的资源：在线免费资源；课程；视频和讲座；论文；教程；网站；数据集；框架和其它杂项。Free Online BooksDeep Learning4 by Yoshua Bengio, Ian Goodfellow and Aaron CourvilleNeural Networks and Deep Learning5 b

2015-01-26 13:33:18 2272

转载深度学习工具包（Deep Learning Toolboxs）

一些好用的 Deep learning toolboxsDeepLearningToolboxMATLAB实现，可以使用CPU或GPU，GPU运算用gpumat实现，修改内核代码非常方便支持基本的 deep structures https://github.com/rasmusbergpalm/DeepLearnToolboxCuda-convn

2015-01-24 18:30:02 8729

原创非极大抑制（Non-Maximum Suppression）

最近在看RCNN和微软的SPP-net，其中涉及到Non-Maximum Suppression，论文中没具体展开，我就研究下了代码，这里做一个简单的总结。假设从一个图像中得到了2000region proposals，通过在RCNN和SPP-net之后我们会得到2000*4096的一个特征矩阵，然后通过N的SVM来判断每一个region属于N的类的scores。其中，SVM的权重矩阵

2015-01-24 13:56:26 22586 1

原创 Caffe中的优化方法

在Deep Learning中，往往loss function是非凸的，没有解析解，我们需要通过优化方法来求解。Caffe通过协调的进行整个网络的前向传播推倒以及后向梯度对参数进行更新，试图减小损失。 Caffe已经封装好了三种优化方法，分别是Stochastic Gradient Descent (SGD), AdaptiveGradient (ADAGRAD), and Nesterov’

2015-01-20 21:57:19 24031 1

原创如何在Caffe中配置每一个层的结构

最近刚在电脑上装好Caffe，由于神经网络中有不同的层结构，不同类型的层又有不同的参数，所有就根据Caffe官网的说明文档做了一个简单的总结。1. Vision Layers1.1 卷积层(Convolution)类型：CONVOLUTION例子layers { name: "conv1" type: CONVOLUTION bottom: "data"

2015-01-20 21:24:39 38227

原创在Ubuntu 14.04 上安装Caffe碰到的问题

具体的安装过程可以参考官网的Installation，以及网友分享的一些安装教程，教程一，教程二，教程三。我在这里主要记录下我在安装的过程中碰到的一些问题，以及解决方法（部分网上没有提到）,而不是整个安装的流程。由于自己是linux小白，安装caffe花了好几天时间，期间好几次想放弃，还好我坚持下来了，写这篇博客只是希望网友如果也遇到这样的问题，可以从我这里找到答案。一、试验

2015-01-18 16:00:14 7775

原创池化方法总结（Pooling）

在卷积神经网络中，我们经常会碰到池化操作，而池化层往往在卷积层后面，通过池化来降低卷积层输出的特征向量，同时改善结果（不易出现过拟合）。为什么可以通过降低维度呢？因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值

2015-01-05 21:27:40 62921 7

原创 UFLDL——Exercise: Convolution and Pooling 卷积和池化

实验要求可以参考deep learning的tutorial，Exercise：Convolution and Poling 卷积和池化。本实验通过卷积神经网络对RGB彩色图像进行分类，先通过CNN网络从图像从学习得到3200维度的特征，然后训练四分类的softmax分类器进行分类。1、神经网络结构整个网络可以包括四部分，线性解码器，卷积，池化和sof

2015-01-01 22:37:25 3150 3

原创 UFLDL——Exercise: Linear Decoders 线性解码器

本实验是用线性解码器的sparse autoencoder来训练stl-10数据库图片中8*8大小RGB patch块的特征。之前的试验中，我们的训练图像都是灰度图像，对于RGB图像可以采用相同的方法，只需把RGB图像的三个通道向量按照rgb的顺序排列更长的向量即可。1、线性解码器简介线性解码器和稀疏自动编码的整体结构都是类似的，只是线性解码器的输出层的激励函数为恒等式f

2015-01-01 15:24:26 2074

转载如何写好一篇高质量的paper

http://blog.csdn.net/tiandijun/article/details/41775223这篇文章来源于中科院Zhouchen Lin 教授的report，有幸读到，和大家分享一下。技术和paper是相辅相成的，一直认为学到了技术或者在学习的过程中有任何的想法和疑问都应该以文字的形式记录下来，paper，博客，log什么的都可以，不然记忆会随着时光的飞逝擦除的，而且

2015-01-01 11:11:08 1578

原创 UFLDL——Exercise: PCA in 2D 主成分分析

实验要求可以参考deeplearning的tutorial， Exercise: PCA in 2D。 1. 实验描述：实验在二维数据上进行PCA降维，PCA白化处理，以及ZCA白化处理，原理可以参考之间的博客，下面直接贴代码。在实验中，我计算了每一次原始数据，PCA旋转，PCA白化处理，以及ZCA白化处理后的协方差矩阵，结果为：计算协方差我使用了

2014-12-25 16:24:12 1673

原创白化（Whitening） PCA白化 ZCA白化

白化是一种重要的预处理过程，其目的就是降低输入数据的冗余性，使得经过白化处理的输入数据具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差。白化处理分PCA白化和ZCA白化，PCA白化保证数据各维度的方差为1，而ZCA白化保证数据各维度的方差相同。PCA白化可以用于降维也可以去相关性，而ZCA白化主要用于去相关性，且尽量使白化后的数据接近原始输入数据。1

2014-12-25 15:46:34 23872 1

原创 PCA主成分分析(Principal Component Analysis)

PCA是基本的线性降维方法，同时也是一种监督学习降维方法。PCA是希望降维之后，尽量保留原始数据的方差结构，所以我们需要投影方向a使得投影之后数据的方差最大化。1. 求解PCA是通过求解协方差矩阵的特征向量作为投影方向，如果我们要把原始数据降维到k维，把协方差矩阵前k大的特征值所对应的特征向量作为投影方向，证明见PPT。步骤：1. 假设有m个d为数据，把这些

2014-12-25 10:32:58 3954 3

原创期望方差协方差协方差矩阵 (Expectation Variance Covariance)

在学习机器学习的算法时经常会碰到随机变量的数字特征，所以在这里做一个简单的总结。1、期望(Expectation)离散：其中，f(x)为随机变量x的概率函数，事实上期望就是随机变量的平均数。连续：连续情况和离散的类似，只是把求和换成了积分。求解关于自变量函数的期望的公式如下，其实自变量x的期望是r(x)=x的一个特例。离散

2014-12-24 21:50:10 10297 1

转载马尔科夫链和马尔科夫随机场

1.什么是随机过程？在当代科学与社会的广阔天地里，人们都可以看到一种叫作随机过程的数学模型：从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程，从化学反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译，随机过程理论及其应用几乎无所不在。人类历史上第一个从理论上提出并加以研究的过程模型是马尔科夫链，它是马尔科夫对概率论乃至人类思想发展作出的又一伟大

2014-12-18 22:24:44 1949

转载深度学习的一些教程

几个不错的深度学习教程，基本都有视频和演讲稿。附两篇综述文章和一副漫画。还有一些以后补充。Jeff Dean 2013 @ Stanfordhttp://i.stanford.edu/infoseminar/dean.pdf一个对DL能干什么的入门级介绍，主要涉及Google在语音识别、图像处理和自然语言处理三个方向上的一些应用。参《Spanner and Deep

2014-12-16 21:51:59 1405

原创 UFLDL——Exercise: Stacked Autoencoders栈式自编码算法

实验要求可以参考deeplearning的tutorial， Exercise: Implement deep networks for digit classification 。本实验仍然是对手写数字0-9的识别，相比于之前的模型变得更复杂，通过多层隐含层从原始特征中学习更能代表数据特点的特征，然后把学习到的新特征输入到softmax回归进行分类。实验中使用了更深的神经网络（更复杂）

2014-12-14 17:08:41 3809 3

原创 UFLDL——Exercise:Self-Taught Learning 自我学习

实验要求可以参考deeplearning的tutorial， Exercise:Self-Taught Learning 。本实验和上一个实验一样都是对手写数字0-9的识别，区别在于上一个实验直接把原始图像的像素值作为特征输入到softmax回归进行分类，而本实验通过自学习从原始像素值从学习到维度更低的特征（稀疏自动编码），再交给softmax回归，相当于比之前的实验多了自学习特征的步骤

2014-12-13 20:42:23 2012

原创 UFLDL——Exercise: Softmax Regression （softmax回归）

实验要求可以参考deeplearning的tutorial，Exercise:Softmax Regression ，softmax回归的原理可以参照之前Logistic and Softmax Regression (逻辑回归和Softmax回归)博文，本实验实现对手写数字0-9的识别。1. 实验描述神经网络结构：在之前的博文中谈到，softmax回归是最神

2014-12-13 16:48:05 2142

原创 Logistic and Softmax Regression (逻辑回归和Softmax回归)

1．简介逻辑回归和Softmax回归是两个基础的分类模型，虽然听名字以为是回归模型，但实际我觉得他们也有一定的关系。逻辑回归，Softmax回归以及线性回归都是基于线性模型，它们固定的非线性的基函数（basis function）的线性组合，形式如下：2．逻辑回归谈谈逻辑回归，Softmax回归，前者主要处理二分类问题，而后者处理多分类问题，但事实上Softmax回归就是逻辑回归的

2014-12-12 22:30:51 25000 1

转载阅读文献的三大问题：坐不住，记不住，想不开

From: http://blog.sciencenet.cn/home.php?mod=space&uid=2068&do=blog&id=500206阅读文献的三大问题：坐不住，记不住，想不开文献阅读是科研的重要基础，但是并非每一个科研人员都喜欢和擅长看文献——例如我自己。我发现，阅读文献存在的问题可以归纳为三个：坐不住，记不住，想不开。

2014-12-12 17:10:26 2002

原创生成模型（generative model）和判别模型（discriminative model）

在看论文和机器学习教材的时候，经常会看到生成模型和判别模型，一致对着两个模型概念很模糊，在这里自己做一个小结。在后面介绍这个两个模型时，我们以分类问题为例，以加深理解。我们都知道，分类问题可以分为两个阶段：推理阶段（inference stage）和决策阶段（decision stage）。推理阶段：利用训练数据学习得到一个可以计算的模型。决策阶段：利用在推理阶段得到的后验概率

2014-12-12 16:53:01 16263 1

原创 UFLDL——Exercise: Sparse Autoencoder 稀疏自动编码

实验要求可以参考deeplearning的tutorial，Exercise:Sparse Autoencoder。稀疏自动编码的原理可以参照之前的博文，神经网络，稀疏自动编码。1. 神经网络结构：实验是实现三层的稀疏自动编码神经网络，神经网络结构包括输入层64个neuron，隐含层25个neuron（都不包括bias结点），输出层和输入层相同的neuron

2014-12-09 21:48:03 3167 1

原创形状特征——Sift特征

形状特征的表达必须以对图像中物体或区域的分割为基础，由于当前的技术无法做到准确而鲁棒的自动图像分割，图像的形状特征只能在某些特殊应用场合使用，在这些应用中图像包含的物体或区域可以直接获得。另一方面，由于人们对物体形状的变换、旋转和缩放主观上不太敏感，合适的形状特征必须满足对变换、旋转和缩放无关，其中SIFT特征就是满足这一要求。1．简介SIFT（Scale-invar

2014-12-08 21:21:46 3293

原创标度差值图像

标度差值图像主要应用在两张图像相减的时候，在实践中，大多数图像都是有8码显示，因此像素值在0到255之间，因此在差值图像中，像素值的取值为-255到255之间，因此在显示这一结果时需要对图像作标度。方法一：对每一个像素值再加上255，然后除以2。该方法无法保证像素的取值可以覆盖0到255的全部8比特范围，但是所有的像素一定在这一范围。另外，在除以2过程中固有的截尾误差通常将导致精确度

2014-12-08 19:47:28 3376

原创稀疏自动编码（Sparse Autoencoder）

在之前的博文中，我总结了神经网络的大致结构，以及算法的求解过程，其中我们提高神经网络主要分为监督型和非监督型，在这篇博文我总结下一种比较实用的非监督神经网络——稀疏自编码（Sparse Autoencoder）。1.简介上图是稀疏自编码的一般结构，最大的特点是输入层结点数（不包括bias结点）和输出层结点数相同，而隐藏层结点个数少于输入层和输出层结点的个数。该模型的

2014-12-05 10:13:09 18289 4

原创神经网络（Neural Networks）

一般的回归和分类方式是基于线性模型，也就是固定的非线性的基函数（basis function）的线性组合，形式如下：其中，如果f（.）是非线性的激活函数（activation function），这就是一个分类模型；如果f（.）是恒等函数（identity），则是回归模型。根据自己的认识，我认为神经网络就是多层这样的模型的叠加，并引入非线性的activation funct

2014-12-02 22:10:32 5729

原创对称矩阵（Symmetric Matrices）

如果矩阵满足，则矩阵P称为对称矩阵，对称矩阵有很多优秀的属性，可以说是最重要的矩阵。1.对称矩阵的对角化如果一个矩阵有n个线性无关的特征向量，则矩阵是可对角化的，矩阵可表示成，相应的。因为，很有可能A的逆等于A的转置。同样的，就可能有，这可发现S中的特征向量和其他的特征向量正交，后文会进行证明。我们把上的S成为正交矩阵Q，Q满足，Q中的每一个列向量为单位特征向量。每一个对阵矩阵都可以被

2014-03-26 19:51:07 17363

原创矩阵的对角化（Diagonalizing a Matrix ）

如果一个矩阵时一个上三角、下三角或者对角矩阵，这个带来很大的方便。但是往往很多矩阵都不是对角矩阵，本文就来介绍如何使用特征值和特征向量把一个矩阵变成对角矩阵！1.对角化我们假设一个n*n的矩阵有n个线性无关的特征向量x1，x2....，xn，所有的向量组成一个特征向量矩阵S，则为特征值矩阵Λ：证明：根据特征值和特征向量的定义我们有：我们把矩阵AS拆分成S乘以Λ：

2014-03-26 14:47:17 23638

原创特征值和特征向量（Eigenvalues and Eigenvectors）

特征值和特征向量是矩阵的本质内容，在动态问题中发挥很重要的作用，本文讲得矩阵默认为方阵（square）。1.几何意义现在我们从几何的角度解释说明是特征值什么是特征向量。大多数的向量（x）乘上矩阵A时，即Ax，(下文中提到向量x乘上A就值Ax)都会改变向量的方向，但存在某些列外的矩阵x，它的方向和Ax的方向相同，这些向量就被称为特征向量。向量Ax为标量乘上原始向量x。特征值的大小

2014-03-26 10:55:40 18991 1

UFLDL Exercise: Convolution and Pooling 卷积和池化

UFLDL Exercise: Convolution and Pooling 卷积和池化 matlab代码只需下载训练集和测试集就可以直接运行

2015-01-01

PCA主成分分析(Principal Component Analysis)

2014-12-25

UFLDL——Exercise:Linear Decoders 线性解码器

UFLDL——Exercise:Linear Decoders 线性解码器 matlab实验代码可以直接运行

2014-12-14

UFLDL Exercise: Stacked autoencoder 栈式自编码

UFLDL Exercise: Stacked autoencoder（栈式自编码算法）matlab实验代码可以直接运行

2014-12-14

UFLDL——Exercise:Self-Taught Learning 自我学习

Exercise:Sparse Autoencoder 稀疏自动编码的matlab实验代码

2014-12-13

UFLDL Exercise: Softmax Regression （softmax回归）

UFLDL Exercise: Softmax Regression （softmax回归）matlab实验代码可以直接运行

2014-12-13

图像特征提取与计算形状特征

这个多媒体检索课程的ppt，主要介绍了主流的状态特征，报告sift，gist，shape context ，LBP等

2014-12-08

标定差值图像 DoG

该代码用matlab编写，主要是对图像用不同方差的高斯过滤器进行处理，然后相减获取DoG图像。由于差值图像会出现负值的情况，所有需要进行标定处理，代码出列出了两种标定算法。

2014-12-08

冈萨雷斯—数字图像处理第二册课本插图

冈萨雷斯—数字图像处理第二册课本插图，插图都是灰度图像，可用于matlab实验！

2013-11-06

《OpenGL超级宝典（第5版）》是OpenGL及3D图形编程最好的入门指南，涵盖了使用最新版本的OpenGL进行编程所需要的主要知识。全书分三部分，共16章，另有3个附录。第一部分包括第1章到第7章，介绍如何构建一个使用OpenGL的程序、如何设置3D渲染环境，以及如何创建基本对象和光线并对他们进行着色。然后深入研究如何使用OpenGL，并向读者介绍GLSL，以及如何创建自己的着色器。第二部分包括第8章到第12章，将进行更深入的研究，而懂得如何应用这些高级特性将使读者超越业余3D玩家的水平。这一部分不仅能够使我们掌握更多的可视化效果，同时也考虑了性能表现。第三部分包括第13章到第16章，着重介绍OpenGL如何支持和连接Windows、MacOSX、Linux和掌上设备。附录部分给出了更多阅读建议、术语表和API参考介绍。　　《OpenGL超级宝典（第5版）》适合希望精通OpenGL以便对图形编程和3D图形知识进行扩展的程序员阅读，也可以帮助经验丰富的OpenGL程序员学习如何移植自己的应用程序。本书既可以作为学习OpenGL的教材，也可以作为随时查阅的参考手册。

2013-07-21

TA关注的人

UFLDL Exercise: Convolution and Pooling 卷积和池化

PCA主成分分析(Principal Component Analysis)

UFLDL——Exercise:Linear Decoders 线性解码器

UFLDL Exercise: Stacked autoencoder 栈式自编码

UFLDL——Exercise:Self-Taught Learning 自我学习

UFLDL Exercise: Softmax Regression （softmax回归）

图像特征提取与计算 形状特征

标定差值图像 DoG

冈萨雷斯—数字图像处理第二册 课本插图

OpenGL超级宝典 第5版 中文版 pdf part3

OpenGL超级宝典 第5版 中文版 pdf part2

OpenGL超级宝典 第5版 中文版 pdf

MFC如何在其他类中让CView中的OnSize函数执行

图像特征提取与计算形状特征

冈萨雷斯—数字图像处理第二册课本插图

OpenGL超级宝典第5版中文版 pdf part3

OpenGL超级宝典第5版中文版 pdf part2

OpenGL超级宝典第5版中文版 pdf