zhongshaoyy-CSDN博客

转载 AI领域的一些比较有影响力的会议

计算机领域中，一些顶级或权威的国际会议比SCI杂志还难中，但在国内并不太被重视，估计虫友们投的也比较少，这里就不区分领域了，按原帖的布局罗列如下。国际会议AREA: Artificial Intelligence and Related Subjects Rank 1: AAAI: American Association for AI National Conference...

2018-12-10 14:05:21 564

可能很多tensorflow的老版本玩家没见过这个东西，slim这个模块是在16年新推出的，其主要目的是来做所谓的“代码瘦身”。但事实上它已经成为我比较喜欢，甚至是比较常用的模块，github上面大部分tensorflow的工程都会涉及到它，不得不说，撇开Keras，TensorLayer，tfLearn这些个高级库不谈，光用tensorflow能不能写出简洁的代码？当然行，有slim就够了！惟一...

2018-05-15 16:07:12 514

转载 ubuntu/Linux 下 Pycharm 安装中文汉化包

转载地址：http://blog.csdn.net/wangyjfrecky/article/details/701728821. 打开终端，依次执行如下命令：[plain] view plain copy cd /tmp git clone https://github.com/ewen0930/PyCharm-Chinese cd Pycharm

2017-11-23 13:25:27 3982

转载 ShiftCNN —— 基于量化的低精度网络表达

一个利用低精度和量化技术实现的神经网络压缩与加速方案。个人认为，这是低精度量化方面少有的具有一定工程可行性的方案(虽然文中没有给出详细的模型大小速度方面的指标)。文章链接：《ShiftCNN: Generalized Low-Precision Architecture for Inference of Convolutional Neural Networks》模型转换示例代

2017-11-16 16:05:24 1440

原创 Channel Pruning for Accelerating Very Deep Neural Networks 论文笔记

之前pruning操作都是针对于W矩阵，本文另辟蹊径采取对channel进行pruning的方式来减小运算量。来自ICCV2017，是作者在Face++完成的工作。 PDF Code作者基于CNN每一层都是稀疏地假设，考虑是否能找到neuron之间的关系，仅留下最具有代表性地neuron？分为两步解决问题：找出每一层具有代表性地neuron，我们利用lasso r

2017-11-16 15:57:09 6418 4

原创神经网络训练时常见的概念问题

epoch、 iteration和batchsize，三个的区别：（1）batchsize：一个批次样本含量。在深度学习中，即每次训练在训练集中取 batchsize 个样本训练；（2）iteration：1个iteration等于使用batchsize个样本训练一次；（3）epoch：1个epoch等于使用训练集中的全部样本训练一次；举个

2017-03-09 11:58:43 2831 1

原创 TensorFlow Cudnn常见cudnn报错解决办法

用Spyder执行TensorFlow代码时，每次都会显示“kernel died，restarting”.查找原因发现终端窗口有如下报错：Loaded runtime CuDNN library: 5005 (compatibility version 5000) but source was compiled with 5103 (compatibility version 510

2017-03-03 10:17:19 9243 2

转载 Tensorflow一些常用基本概念与函数

原文地址：http://blog.csdn.net/lenbow/article/details/521527661、tensorflow的基本运作为了快速的熟悉TensorFlow编程，下面从一段简单的代码开始：import tensorflow as tf #定义‘符号’变量，也称为占位符 a = tf.placeholder("float") b = tf.

2017-03-01 22:42:27 5373

转载 TensorFlow 官方文档中文版解读之1 ——tf.concat的用法的用法

原文地址：http://blog.csdn.net/mao_xiao_feng/article/details/53366163tf.concat是连接两个矩阵的操作tf.concat(concat_dim, values, name='concat')除去name参数用以指定该操作的name，与方法有关的一共两个参数：第一个参数concat_dim：必

2017-03-01 22:38:57 1811

转载 TensorFlow 官方文档中文版解读之2——tf.sparse_to_dense的用法

原文地址：http://blog.csdn.net/mao_xiao_feng/article/details/53365889TensorFlow是一个很坑的东西，在没有session运行的时候，所有数据都看不到结果，很难去print而且TF还没有中文的API手册，很多东西很难体会在这里记录一下比较难理解的几个方法的用法，以便后面用到tf.sparse_t

2017-03-01 22:36:11 3690

转载令人拍案叫绝的Wasserstein GAN

原文地址：https://zhuanlan.zhihu.com/p/25071913 作者：郑华滨在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉的arXiv论文《Wasserstein GAN》却在Reddit的Machine Learning频道火了，连Goodfellow都在帖子里和大家热烈讨论，这篇论文究竟有什么了不得的地方呢？要知道自从201

2017-02-28 20:36:19 5195

转载对抗生成网络（Generative Adversarial Net)

原文地址：http://blog.csdn.net/stdcoutzyx/article/details/53151038引入Discriminative Model的繁荣发展最近，深度学习在很多领域的突破性进展想必不用我多说了。但大家似乎发现了这样的一个现实，即深度学习取得突破性进展的地方貌似都是discriminative的模型。所谓的discriminativ

2017-02-28 20:34:28 974

转载 LSTM

转自 http://m.blog.csdn.net/article/details?id=52081301递归神经网络在传统神经网络中，模型不会关注上一时刻的处理会有什么信息可以用于下一时刻，每一次都只会关注当前时刻的处理。举个例子来说，我们想对一部影片中每一刻出现的事件进行分类，如果我们知道电影前面的事件信息，那么对当前时刻事件的分类就会非常容易。实际上，传统神经网

2017-02-19 15:03:14 1661

原创 TensorFlow安装成功后导入IDE报错

安装完TensorFlow，并且在命令行调试成功后。打开spyder 然后输入测试程序：import tensorflow as tfx = tf.Variable(3)y = tf.Variable(5)z=x+yinit = tf.initialize_all_variables()with tf.Session() as sess: sess.run(init)

2017-01-17 22:27:42 3411 3

转载 Ubuntu14.04 安装 CUDA-7.5(deb安装) +tensorflow

系统：Ubuntu14.04 64-bit显卡：GTX 1080为了测试显卡是否正常，先装了个352的驱动，使用Ubuntu的默认源，很方便就完成了安装。# 官方说明中的前置条件apt-get install gcc g++ linux-headers-$(uname -r)apt-get install nvidia-3521234接着安装cuda库，这里使

2017-01-16 16:18:06 5693

转载 Network In Network笔记-ICLR 2014

Network In Network学习笔记原文地址：http://blog.csdn.net/hjimce/article/details/50458190作者：hjimce一、相关理论本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，过去一年已经有了好几百的引用量，这篇paper改进了传统的CNN网络，采

2016-12-27 18:53:28 663

原创蒸馏神经网络(Distill the Knowledge in a Neural Network)

本文是阅读Hinton 大神蒸馏神经网络论文的笔记，特此说明。此文读起来很抽象，但是和我的研究方向：神经网络的压缩十分相关，因此决定花气力好好理解一下。 1、Introduction 文章开篇用一个比喻来引入网络蒸馏：昆虫作为幼虫时擅于从环境中汲取能量，但是成长为成虫后确是擅于其他方面，比如迁徙和繁殖等。同理神经网络训练阶段从大量数据中获取网络模型，训练阶段可以利用大量的计算资源且不需要

2016-12-13 20:26:26 38785 8

转载对抗样本与生成式对抗网络

最近一个月，人工智能领域听的最多的名词之一，莫过于对抗样本和对抗性网络，从最开始Yann LeCun在Quora上直播时表示生成对抗性网络近期人工智能最值得期待的算法之一，到近日生成对抗性网络的发明者Ian Goodfellow在Quora上直播讲述自己的学习经历和研究，而对比起LeCun, Ian Goodfellow的知名度可能没有那么高，但是Goodfellow是Yoshua B

2016-12-07 22:03:37 2106

原创 caffe训练cifar10遇到./build/tools/caffe: not found 错误解决方法

cifar10训练步骤如下：（1）打开终端，应用cd切换路径，如 cd ~/caffe/data/cifar10 ，（2）继续执行命令 ./get_cifar10.sh，（3）成功下载数据集之后，执行ls即可见所下载的数据文件，（4）再次将路径切换到cd ~/caffe/examples/cifar10（5）继续执行命令 ./create_cifar10

2016-12-07 10:33:27 8101 2

转载 TensorFlow在Windows 10上安装手记

今天注定是值得被铭记的一天。因为昨晚TensorFlow官方释出了0.12RC版本，该版本支持Windows下的pip一键安装！所以昨晚没睡好！一早来体验这个激动人心的时刻！众所周知TensorFlow在发展的这一年多里，足足让那些Linux/Mac users骄傲了一把。为啥，人家官方只支持这两个系统！让我们占世界90%以上的Windows用户情何以堪！实验室只得买服务器装Linux，装Nv

2016-12-01 12:51:50 2603 1

转载 PCA（主元分析）的数学原理

PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。当然我并不打算把文章写成

2016-11-29 15:50:23 9261

转载反卷积与语义分割

原文地址：http://blog.csdn.net/u012938704/article/details/53202103?locationNum=1&fps=1《Learning Deconvolution Network for Semantic Segmentation》阅读笔记FCN首先论文对比《Fully convolutional networks for

2016-11-24 14:28:35 2819

转载用反卷积（Deconvnet）可视化理解卷积神经网络

可视化理解卷积神经网络原文地址：http://blog.csdn.net/hjimce/article/details/50544370作者：hjimce一、相关理论本篇博文主要讲解2014年ECCV上的一篇经典文献：《Visualizing and Understanding Convolutional Networks》，可以说是CNN领域可视化理解

2016-11-24 14:15:59 2808 3

原创 python多维数组分位数的求取

在python中计算一个多维数组的任意百分比分位数，只需用np.percenttile即可，十分方便import numpy as npa = [154, 400, 1124, 82, 94, 108]print np.percentile(a,95) # gives the 95th percentile

2016-11-20 15:13:46 8696 2

转载安装第三方库出现 Python version 2.7 required, which was not found in the registry解决方法

安装第三方库出现 Python version 2.7 required, which was not found in the registry建立一个文件 register.py 内容如下. 然后执行该脚本.[python] view plain copyimport sys from _winreg impor

2016-11-16 11:31:12 422

转载 caffe的python接口学习（8）：caffemodel中的参数及特征的抽取

如果用公式 y=f(wx+b)来表示整个运算过程的话，那么w和b就是我们需要训练的东西，w称为权值，在cnn中也可以叫做卷积核（filter），b是偏置项。f是激活函数，有sigmoid、relu等。x就是输入的数据。数据训练完成后，保存的caffemodel里面，实际上就是各层的w和b值。我们运行代码：deploy=root + 'mnist/deploy.pr

2016-11-16 10:17:14 677

转载神经网络的Dropout的理解

Dropout是2012年深度学习视觉领域的开山之作paper：《ImageNet Classification with Deep Convolutional》所提到的算法，用于防止过拟合。在我刚入门深度学习，搞视觉的时候，就有所耳闻，当时只知道它是为了防止过拟合。记得以前啥也不懂，看到《ImageNet Classification with Deep Convolutional》的思路，然后

2016-11-15 20:32:50 8199

转载 LeNet的详细网络结构

针对MNIST的LeNet结构如下图所示：包含2个卷积层，2个max池化层，2个全连接接层和1个relu层与一个softmax层。下面我来推导一下每层的神经元数目和参数的个数。1、输入层：输入层输入一个28*28的图片。2、卷积层1：该层使用20个5*5的卷积核分别对输入层图片进行卷积，所以包含20*5*5=500个参数权值参数。卷积后图片边长为(28-5+1)

2016-11-14 21:50:51 6036

转载 ReLu(Rectified Linear Units)激活函数

起源：传统激活函数、脑神经元激活频率研究、稀疏激活性传统Sigmoid系激活函数传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。从数学上来看，非线性的Sigmoid函数对中央区的信号增益较大，对两侧区的信号增益小，在信号的特征空间映射上，有很好的效果。从神经科学上来看

2016-11-14 21:47:12 625

转载从caffemodel中导出参数

原文地址：http://blog.csdn.net/u014510375/article/details/51704447最近读到一篇paper非常有意思，他们把caffe里训练好的模型的参数导出来了，然后…弄到了torch里。所以，今天就来看看怎么导出参数吧。为了简单，这次我选的是LeNetimport numpy as npimport scipy.io as sio

2016-11-14 17:28:20 2525

转载 Linux(Ubuntu14.04)下安装Anaconda和Spyder

Linux(Ubuntu14.04)下安装Anaconda是为了安装Python所需要的各种库以及他们的环境配置。Spyder是使用python的IDE安装python和pip一般linux系统都自带python，所以不需要安装。如果没有的，安装起来也非常方便。安装完成后，可用version查看版本# python --versionpip是专门用于安装

2016-11-01 09:53:37 1457

转载图像卷积与滤波的一些知识点

之前在学习CNN的时候，有对卷积进行一些学习和整理，后来就烂尾了，现在稍微整理下，先放上来，以提醒和交流。一、线性滤波与卷积的基本概念线性滤波可以说是图像处理最基本的方法，它可以允许我们对图像进行处理，产生很多不同的效果。做法很简单。首先，我们有一个二维的滤波器矩阵（有个高大上的名字叫卷积核）和一个要处理的二维图像。然后，对于图像的每一个像素点，计算它的邻域像素和滤波器

2016-10-31 10:27:42 467

转载 Caffe学习系列(12)：训练和测试自己的图片

学习caffe的目的，不是简单的做几个练习，最终还是要用到自己的实际项目或科研中。因此，本文介绍一下，从自己的原始图片到lmdb数据，再到训练和测试模型的整个流程。一、准备数据有条件的同学，可以去imagenet的官网http://www.image-net.org/download-images，下载imagenet图片来训练。但是我没有下载，一个原因是注册账号的时候，验证码始终

2016-10-29 21:00:55 442

转载 CNN数值初始化——xavier（下）

作者：冯超链接：https://zhuanlan.zhihu.com/p/22044472来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。上回说到我们从前向的方向推导，发现了这些0均值的随机变量在计算过程中会产生方差扩散的问题，我们并且从前向的方向给出了解决的办法。既然在刚才的句子中我们反复提到了前向这两个字，那肯定是在别有用心地告诉大家——还有后

2016-10-28 16:53:06 6157 1

转载 CNN数值初始化——xavier（上）

作者：冯超链接：https://zhuanlan.zhihu.com/p/22028079来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。上一回我们做了三个小实验。第一个是正常的实验，表现优异；第二个实验我们把初始化调整得很奇葩（为什么奇葩？），最终训练结果弱爆了；第三个实验我们把非线性函数重新换回sigmoid，模型奇迹般地回血，虽然表现不够完美

2016-10-28 16:51:17 11302

zhongshaoyy的博客