Xiaomin-Wu-CSDN博客

原创梯度下降法综述

Gradient Descent Variants(1)Batch gradient descent:　计算整个数据集上, Cost function 对于parameters的偏导，而后更新梯度；对于convex error surfaces可以得到global minimum,而对于non-convex error surfaces能得到local minimum(2) Stochastic g

2016-03-23 22:53:51 3984

原创 U-Net: Convolutional Networks for Biomedical Image Segmentation

1.下降部分conv+maxpool,上升部分conv_transpose+conv,浅色大箭头表示把两个feature map连起来 2.输入图片会比输出图片略大（因为没有padding和repeat） 3.支持任意大小的图片输入，采用mirror方式处理missing patch部分 4.可以给loss加权

2016-03-20 22:00:36 7037

原创 GBDT--简单理解

梳理1.Model Ensemble 可以分为三大类：Bagging，Boosting， Stacking.2.Boosting可以说是一个思想（框架），而Adaboost等算法只是其一个子类，记得ICCV2015有一个结合CNN和Boosting的工作获得了Best Paper Award？：3.Boosting的前向分布算法（在每一步求解弱分类器Φ(m)和其参数w(m)的时候不去修改之前已经求

2016-03-17 19:36:46 3204

原创 Learning Deconvolution Network for Semantic Segmentation

Intro：不同于FCN的Deconvolution（最后一层其实是双线性差值，weights不可学习），这篇文章中的Deconvolution layer中的params都是可以学习的： Idea：1. Unpooling：首先subpooling的时候记住max pooling layer选择的最大值的location，然后在Unpooling层还原回原location，其它像素应该是用0代替

2016-03-15 16:21:13 3837

原创 Fully Convolutional Networks for Semantic Segmentation

UC伯克利的一篇文章介绍：1.Semantic Segmentation有两个固有性质：1）semantic： global information解决目标是什么的问题2）location：local information解决目标在哪的问题2.关于本文提出的FCN：1）利用现有的Classification model进行finetuning2）通过 skip connections来combin

2016-03-11 19:48:50 7954 1

原创 Conditional Random Fields as Recurrent Neural Networks

牛津，斯坦福，IDL的一篇论文介绍：1.传统的用于Object Recognition的CNN很难转换为用于segmentation的 pixel-wise predicting：1）感受野过大以及pooling操作使的feature map很coarse2）缺少smooth机制导致poor object delineation和small spurious region2.MRF（马尔科夫随机场）

2016-03-09 21:42:46 4449 2

原创 Deep Dream and Neural Style

Neural Style：通过优化三个loss：（1）style loss：主要是优化base image和style reference image之间的L2 距离（优化多个conv层的feature maps）（2）content loss：主要优化base image 和 combination image之间的L2距离（主要优化一层的feature maps）（3）total

2016-03-07 13:30:08 1247

翻译 DeepLearning--Part3--Chapter16:Representation Learning(1) categories:

-Chapter 16: Representation Learning什么是好的Representation？有很多种可能的答案，这也是一个在以后的研究中还需要进行探索的问题。在本书中，我们给Representation下的定义则是Representation Learning能够使加下来的Learning task变得更加的简单。In an unsupervised learning setti

2016-03-06 15:58:25 1302 2

翻译 DeepLearning--Part2--Chapter6：Feedforward-Deep-Networks（1）

Part 2 : Deep Networks： Modern Practices本书的这部分内容主要介绍一些已经有实际应用的深度学习方法。深度学习拥有很长的历史，也有宏大的愿景。一些深度学习方法尚未成熟，充满野心的目标也尚未实现，这些待发展的深度学习分支将在本书的最后一部分讨论。这部分讨论那些早已在工业界落地，正在大规模使用的深度学习方法。现在的深度学习提供了的一个强有力的监督学习的框架（frame

2016-03-06 15:57:26 1892

原创 Github部署Hexo

一：下载hexohexo需要两个依赖项：Node.jsGit安装完上面两个依赖项之后，运行以下命令进行安装（右键，点击git bash）：$ npm install -g hexo-cli二：部署在本地进入本地文件夹，运行以下命令：$ hexo init $ cd $ npm install三：将hexo部署在github上：首先需要注册一个github账号，生成一个类似于xxxx

2016-03-06 15:54:11 760

原创 Window10安装theano keras cuda

一: 软件安装（安装路径均默认）首先安装pycharm再安装VS2012继续安装Git（后面需要用git指令安装theano keras）接下来安装Anaconda（需要配置环境变量，后面说）打开pycharm，使用pycharm安装pip，指定版本为1.2.1（需要配置环境变量，后面说）打开cmd，使用以下指令安装theano(兼容keras，不然无法使用relu函数)：pip install

2016-03-06 15:51:32 2926

原创 Keras笔记 -- objective

Keras定义了以下几种objective fuction：(1) mean-squared-error def mean_squared_error(y_true, y_pred): return K.mean(K.square(y_pred - y_true), axis=-1)(2) root-mean-squared-error def root_mean_s

2016-03-06 15:49:26 6528 2

原创 Multi-digits Recognition Using ConVNet on Mobile categories:

这是Stanford，Mobile Computer Vision课程的一个final report简介使用DeepBeliefSDK和opencv等工具，使用ConVNet模型做了一个Android APP。功能是能够从一张图中识别0-9几个数字。因为在移动设备上，设备的运算速度和memory都受到了限制，所以作者设计了一个简单的卷积网络（两层卷积两层maxpooling），并且使用了batchi

2016-03-06 15:46:50 797

翻译 kaggle-浮游生物分类比赛一等奖---译文（第三部分）

接着上一篇的内容model averaging我们将多个模型融合的结果作为最后提交的内容1）Test-time augmentation对于每一个单独的模型，我们使用不同的augmentation得到不同的预测结果，然后将这些结果融合，这对performence的提升有很大的帮助。我们将Test-time augmentation简写为TTA。开始的时候，我们使用人工创造的仿射变换（affine t

2016-03-06 15:42:42 1941

翻译 kaggle-浮游生物分类比赛一等奖---译文（第二部分）

接着上一篇的内容Training1）validation我们使用分层抽样（stratified sampling）的方法，将已标注的数据集分出10%作为验证集（validation）。由于数据集过小，我们在验证集上的评估受到噪声的影响比较大，因此，我们也在排行榜上的其他模型上测试了我们的验证集。2）training algorithm所有的模型都是在加了Nesterov momentum的SGD优化

2016-03-06 15:41:17 2005

翻译 kaggle-浮游生物分类比赛一等奖---译文（第一部分）

原文：Classifying plankton with deep neural networkcode：code作者在这次的比赛中获得了一等奖，team name是Deep Sea概要1）介绍2）预处理和data augmentation3）network 结构4）模型训练5）非监督和半监督方法6）model averaging7）汇总（Miscellany）8）总结介绍1）要

2016-03-06 15:39:14 3158

原创深度学习资料汇总

title: 深度学习资料汇总 categories: - Summarize整理了平时自己用到的一些DL的资源网站deeplearning.netUFLDL机器学习日报kaggle winner solution斯坦福人工智能实验室课程列表+ppt强化学习资料汇总机器学习资料汇总卷积网络Trick卷积网络Trick-EnglishOpenCV(python/c++)D

2016-03-06 15:35:42 847

转载 What makes for effective detection proposals?

论文笔记《What makes for effective detection proposals?》最近开始准备回到detection大坑，刚好看到一篇关于object proposal的综述，而且貌似是中了PAMI的，所以就下载下来读了一下。论文的项目地址：https://www.mpi-inf.mpg.de/departments/computer-vision-and-m

2015-10-02 14:56:20 1410

原创 LSTM与GRU的一些比较--论文笔记

reference：Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling1.概要：传统的RNN在训练long-term dependencies 的时候会遇到很多困难，最常见的便是vanish gradient problen。期间有很多种解决这个问题的方法被发表。大致可以分为两类：一类是以新的方法改

2015-10-01 13:29:52 69637 1

原创 PRelu--Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

微软研究院2015的一片论文。1.概要：PRelu其实是Relu的增强版，PRelu使得模型在ImageNet2012上的结果提高到4.94%，超过普通人的正确率；PRelu需要像更新权重weights一样使用BP更新一个额外的参数，但是相较于weights的数量来说，PRelu需要更新的参数总数可以忽略不计，所以不会加重overfitting的影响。如果PRelu的参数为0，那其实就是Relu；如

2015-09-28 19:12:50 9400 4

原创 Network in Network -- 论文笔记

1.概述：作者的想法就是将ConVNet的filter用micro network代替，FC层用global average pooling代替。这样做的好处就是，micro network比filter能提取到更加抽象的特征，global average polling没有参数，相比于FC，能够消除FC层带来的overfitting的影响。2.idea：1）：MLP Convolution Lay

2015-09-26 22:00:17 2839

原创 Learning both Weights and Connections for Efficient Neural Network -- 论文笔记

这是2015年斯坦福和英伟达的一篇论文。1.简介：通过修剪训练后网络中的不重要连接（connections），来减少网络所需要的参数，减少内存和cpu的消耗，使网络更加适应在移动设备上运行。2.idea思想：1）首先训练整个网络，判断哪些是重要连接。2）修剪不重要的连接。3）重新训练修剪后的网络，微调保留下来的参数。3.达到的效果：1）在ImageNet上，减少了AlexNet 9倍的参数，从61

2015-09-25 17:35:21 6608 5

转载句子相似度

计算句子相似度，①常用方法有基于语义和词序相似度计算方法，②基于关系向量模型基于语义和词序的句子相似度计算方法简介定义1：给定一个句子Ti，经过汉语分词系统分词后，得到的所有词W1构成的向量称为句子Ti的向量表示，表示为Ti = {w1,w2,.....wn}。例子1：T1：这个中文分词可不可以，用着方不方便。分词后：T1=[这个, 中文分词, 可不可以, 用着, 方, 不, 方便]。向量表示T1=

2015-09-23 16:26:43 3648

原创 Batch Normalization 简单理解

1：背景由于在训练神经网络的过程中，每一层的 params是不断更新的，由于params的更新会导致下一层输入的分布情况发生改变，所以这就要求我们进行权重初始化，减小学习率。这个现象就叫做internal covariate shift。2：idea思想虽然可以通过whitening来加速收敛，但是需要的计算资源会很大。而Batch Normalizationn的思想则是对于每一组batch，在网络

2015-09-23 14:47:00 28353 2

原创浅析SAE与DBM（Deep Learning）

笔者实力有限，诸多错误之处还望指出。 SAE与DBN两个都可以用于提取输入集特征的算法。SAE是由多个Spase AutoEncoder堆叠而成，单个Spase AutoEncoder的结构如下：在堆叠成SAE时的结构如下：以上SAE的结构可以化分为两个sparse autoencoder和一个 softmax（这里不讨论softmax）.其中的两个sparse autoenc

2015-09-08 19:51:54 7236

原创 Spatial Pyramid Pooling in Deep Convolutional --- Spp_net

微软亚研院2015的一篇文章，优点是能够满足任意大小图像的输入，通过整个原图一次性的输入卷积网络，解决了RCNN检测速度慢的问题。主要思想：（1）Spatial Pyramid Pooling Layer. 正是因为该层，才让Spp_net能够实现任意图片的输入，并且得到固定长度的特征向量：stride和window的计算：（2）Mapping a Window to Feature Maps. 将

2015-09-01 15:10:46 2223 1

原创 CNN for Visual Rcognition --- Stanford 2015 （二）

接着上一篇的内容：四：Transfer Learning：1.对于数据量少或者中等的情况，迁移学习很有用2.基于ImageNet的实验，将ImageNet的所有类的各分一半为A，B：（1）.先训练A部分，然后将前n层的参数保存好；再重新初始化后n+层的参数，用B部分训练；再将前面保存好的参数，和后面训练B部分得到的参数结合，在B的验证集上进行验证：（2）.先训练A部分，训练完A后重新初始化n+层后面

2015-08-13 21:45:56 1547

原创 CNN for Visual Rcognition --- Stanford 2015 （一）

总结斯坦福2015李飞飞教授以及Andrej Karpathy教授的上课的slides中关于CNN的一些内容一：神经网络实验的基本策略：1.对输入数据进行预处理： 2.网络结构和数据集设置：（1）-随机初始化weights为一些比较小的数（fan-in，fan-out），bias设置为0（2）-利用好cv集，可以在少量epoch的结果下选择最好的params，然后进行更多的epoch3.分析实验结

2015-08-11 11:47:16 2959 4

翻译 Deep Learning for Nature Language Processing --- 第八讲

Current statistical machine translation systems源语言：法语目标语言：英语概率公式（利用贝叶斯定理）：在平行语料库（parallel corpora）上训练翻译模型p(f|e)在英语语料库上训练语言模型p(e)Step1: Alignment目标：将源语言中的单词或者短语匹配到正确的目标语言中的单词或者短语假如匹配好了单词和短语，那么又如何给这些单词和短

2015-08-01 21:22:35 1900

翻译 Deep Learning for Nature Language Processing --- 第七讲

Overview传统语言模型RNNsRNN 语言模型一些训练时重要的策略和技巧梯度消失和梯度爆炸的问题双向RNNs其他序列问题中的RNNsLanguage Models语言模型计算的是一连串词的概率：P(w1,w2…wT)；其中的w1,w2…wT都是词向量。这种语言模型有利于机器翻译，例如：1.词序：p(the cat is small) > p(small the is cat)2.词的选取：p(

2015-07-31 17:24:33 2628

转载 caffe --- 网络参数

如何在Caffe中配置每一个层的结构 —核心网络最近刚在电脑上装好Caffe，由于神经网络中有不同的层结构，不同类型的层又有不同的参数，所有就根据Caffe官网的说明文档做了一个简单的总结。1. Vision Layers1.1

2015-07-14 16:40:34 1811

翻译 Deep Learning for Nature Language Processing --- 第六讲

Overview Today:一些有用的策略和技巧：1.多任务学习（multi-task learning）2.非线性函数（Nonlinearities）3.检查求导是否正确（gradient check）4.Momentum,AdaGrad语言模型（Language Model）RNNMulti-task learning / Weight sharing和上一章节提到的NN类似，不过在Mult

2015-07-06 13:23:52 1891

翻译 Deep Learning for Nature Language Processing --- 第五讲

Class Project占40%的成绩比重尽早规划好任务和数据集project类别：1. 用已存的神经网络应用在一个新的任务task上2.开发出一个新的神经网络结构Class Project: Apply Existing NNets to Tasks1.构建任务，如：生成摘要2.准备数据及：1）.已经有基准线的学术上的数据集，如：Document Understanding Conference

2015-07-05 11:21:14 1344

翻译 Deep Learning for Nature Language Processing --- 第四讲（下）

A note on matrix implementations将J对softmax的权重W和每个word vector进行求导：尽量使用矩阵运算（向量化），不要使用for loop。模型训练中有两个开销比较大的运算：矩阵乘法f=Wx和指数函数expSoftmax(=logistic regression) is not very powerfulsoftmax只是在原来的向量空间中给出了一些lin

2015-07-04 21:01:08 1688

翻译 Deep Learning for Nature Language Processing---第四讲(上)

分类的基础知识和标记notation采样采集到的数据集:xi —输入. 例如 :单词(标号或向量vector),context windows,句子,文档等.yi —标签. 例如:情感,其他的单词,命名实体(参照NER),买卖决断,以后还会涉及到: multi-‐word sequences分类 intuition训练集:{xi,yi}Ni=1简单模型:1.分类固定的二位word vector

2015-07-03 21:04:58 1078

翻译 DL4NLP---第三讲

复习：简单的word2vec模型cost fuction（求导结果参照视频教程）：梯度下降将所有参数转换成一个列向量Θ\Theta（V为词汇数，v是中心词的word vector，v’是external word vector）：使用full batch最小化cost将要求计算cost对所有window的导数更新Θ\Theta的每个元素：向量化表示（对Θ\Theta中的所有元素）：代码示例：

2015-07-02 19:52:40 2258 1

转载 DL4NLP---第二讲（上）

斯坦福大学深度学习与自然语言处理第二讲：词向量 | 我爱自然语言处理第二讲：简单的词向量表示：word2vec, Glove(Simple Word Vector representations: word2vec, GloVe)推荐阅读材料：Paper1：[Distributed Representations of Words and Phrases and their Composition

2015-07-01 13:27:04 1396

转载 DL4NLP---第一讲

斯坦福大学深度学习与自然语言处理第一讲：引言发表于 2015年05月21号由 52nlp 斯坦福大学在三月份开设了一门“深度学习与自然语言处理”的课程：CS224d: Deep Lear

2015-06-30 21:52:01 1344

原创受限波尔茨曼机概要

本文根据论文–introduction to Restricted Boltzmann Machine（中国科技论文在线），删去了一些公式推理，作简要概括，主要为编程实现而总结。（具体内容请参考原文）受限波尔茨尼机结构及相关函数：基于对比散度的RBM快速学习算法上面算法中的每个for语句都可以使用向量化来加速算法。另外，其他一些改进的学习算法：参数设置与一般的神经网络训练

2015-05-22 23:13:57 1557

原创 Deep Learning by Andrew Ng --- Sparse coding

稀疏编码介绍稀疏编码算法是一种无监督学习方法，它用来寻找一组“超完备”基向量来更高效地表示样本数据。稀疏编码算法的目的就是找到一组基向量 ϕi\begin{align}\mathbf{\phi}_i\end{align} ，使得我们能将输入向量 x 表示为这些基向量的线性组合： x=∑i=1kaiϕi\begin{align}\mathbf{x} = \sum_{i=1}^k a_i \math

2015-04-18 16:41:29 1423

空空如也

Adroid Studio无法找到maven_push.gradle文件