- 博客(106)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 Encoder-Decoder模型和Attention模型
这两天在看attention模型，看了下知乎上的几个回答，很多人都推荐了一篇文章Neural Machine Translation by Jointly Learning to Align and Translate 我看了下，感觉非常的不错，里面还大概阐述了encoder-decoder(编码)模型的概念，以及传统的RNN实现。然后还阐述了自己的attention模型。我看了一下，自己做了一些
2017-01-03 18:30:07
1981
转载 循环神经网络
本文的概念和结构部分摘自循环神经网络惊人的有效性（上），代码部分来自minimal character-level RNN language model in Python/numpy 我对代码做了详细的注释循环神经网络序列 普通神经网络和卷积神经网络的一个显而易见的局限就是他们的API都过于限制：他们接收一个固定尺寸的向量作为输入（比如一张图像），并且产生一个固定尺寸的向量作
2017-01-03 14:31:50
1240
转载 深度学习中优化方法总结
最近在看Google的Deep Learning一书，看到优化方法那一部分，正巧之前用tensorflow也是对那些优化方法一知半解的，所以看完后就整理了下放上来，主要是一阶的梯度法，包括SGD, Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam。 其中SGD,Momentum,Nesterov Momentum是手动指定学习速率的,而后面的A
2017-01-03 12:51:43
3093
转载 深度学习中的激活函数和损失函数
3. 激活函数和损失函数3.1 激活函数关于激活函数，首先要搞清楚的问题是，激活函数是什么，有什么用？不用激活函数可不可以？答案是不可以。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习
2017-01-03 12:11:43
3559
转载 深度学习性能提升的诀窍
原文： How To Improve Deep Learning Performance作者： Jason Brownlee你是如何提升深度学习模型的效果？ 这是我经常被问到的一个问题。有时候也会换一种问法：我该如何提高模型的准确率呢？ ……或者反过来问：如果我的网络模型效果不好，我该怎么办？通常我的回答是“具体原因我不清楚，但我有一些想法可以试试”。然后我会列举一些我认为能够提升
2017-01-01 22:42:16
1155
转载 CYK算法详解
在计算机科学领域，CYK算法（也称为Cocke–Younger–Kasami算法）是一种用来对 上下文无关文法（CFG，Context Free Grammar）进行语法分析（parsing）的算法。该算法最早由John Cocke, Daniel Younger and Tadao Kasami分别独立提出，其中John Cocke还是1987年度的图灵奖得主。CYK算法是基于动态规划思想设
2016-12-25 18:05:25
35101
5
转载 深入理解CNN相关细节
数据预处理（Data Preprocessing）零均值化（Mean subtraction）为什么要零均值化？人们对图像信息的摄取通常不是来自于像素色值的高低，而是来自于像素之间的相对色差。零均值化并没有消除像素之间的相对差异（交流信息），仅仅是去掉了直流信息的影响。数据有过大的均值也可能导致参数的梯度过大。如果有后续的处理，可能要求数
2016-12-17 10:38:39
1452
转载 Caffe、TensorFlow、MXnet三个开源库对比
Caffe、TensorFlow、MXnet三个开源库对比发表于 2015-11-18 | 分类于 project experience | 36条评论 | 2589最近Google开源了他们内部使用的深度学习框架TensorFlow，结合之前开源的MXNet和Caffe，对三个开源库进行了比较，其中只有Caffe比较仔细的看过源代码，其他的两个库仅阅读官方文档和一些研究者的评论
2016-12-15 21:18:04
687
转载 机器学习中的相似性度量
机器学习在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。 本文的目的就是对常用的相似性度量作一个总结。本文目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4.
2016-12-08 20:15:56
377
转载 什么是超参数
当参数时随机变量时，该参数分布中的参数就是超参数，简单的说就是参数的参数，感觉一般在贝叶斯方法中出现所谓超参数，就是机器学习模型里面的框架参数，比如聚类方法里面类的个数，或者话题模型里面话题的个数等等，都称为超参数。它们跟训练过程中学习的参数（权重）是不一样的，通常是手工设定，不断试错调整，或者对一系列穷举出来的参数组合一通枚举（叫做网格搜索）。深度学习和神经网络模型，有很多这
2016-12-06 21:27:45
8815
转载 RNN以及LSTM的介绍和公式梳理
前言好久没用正儿八经地写博客了，csdn居然也有了markdown的编辑器了，最近花了不少时间看RNN以及LSTM的论文，在组内『夜校』分享过了，再在这里总结一下发出来吧，按照我讲解的思路，理解RNN以及LSTM的算法流程并推导一遍应该是没有问题的。RNN最近做出了很多非常漂亮的成果，比如Alex Graves的手写文字生成、名声大振的『根据图片生成描述文字』、输出类似训练语料的文
2016-12-05 14:39:37
604
转载 Softmax回归详解
简介在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，不过后面也会介绍它与深度学习/无监督学习方法的结合。（译者注： MNIST 是一个手写数字识别库，由
2016-12-05 10:34:56
3484
1
转载 Linux下Makefile详解
概述——什么是makefile？或许很多Winodws的程序员都不知道这个东西，因为那些Windows的IDE都为你做了这个工作，但我觉得要作一个好的和professional的程序员，makefile还是要懂。这就好像现在有这么多的HTML的编辑器，但如果你想成为一个专业人士，你还是要了解HTML的标识的含义。特别在Unix下的软件编译，你就不能不自己写makefile了，会不会写m
2016-12-05 09:58:06
660
转载 shared_ptr详解
shared_ptr是一个最像指针的"智能指针"，是boost.smart_ptr库中最有价值、最重要的组成部分，也是最有用的，Boost库的许多组件--甚至还包括其他一些领域的智能指针都使用了shared_ptr。抱歉，我实在想不出什么更恰当的词汇来形容它在软件开发中的重要性。再强调一遍，shared_ptr非常有价值、非常重要、非常有用。 shared_ptr与scoped_ptr一样
2016-11-15 21:06:48
3978
转载 人工智能和深度学习资源汇总
一、机器学习· 对于机器学习领域最好的介绍，请在Coursera上观看Andrew Ng 的Machine Learning course。这门课解释了该领域的基本概念，并且能让学者很好的理解重要算法。· 对于 ML 算法的简要概述，请看TUtsPlus课程“Machine Learning Distilled”。·《集体智慧编程》一书是学习 ML 算法在 Python 中
2016-11-03 22:10:56
1212
转载 Linux命令之"pwd"
Linux中用 pwd 命令来查看”当前工作目录“的完整路径。 简单得说，每当你在终端进行操作时，你都会有一个当前工作目录。 在不太确定当前位置时，就会使用pwd来判定当前目录在文件系统内的确切位置。1．命令格式：pwd [选项]2．命令功能：查看”当前工作目录“的完整路径3．常用参数：一般情况下不带任何参数如果目录是链接时：格式：pwd
2016-10-29 11:11:58
2375
转载 Linux文件类型与扩展名
Linux文件类型和Linux文件的文件名所代表的意义是两个不同的概念。我们通过一般应用程序而创建的比如file.txt、file.tar.gz ，这些文件虽然要用不同的程序来打开，但放在Linux文件类型中衡量的话，大多是常规文件（也被称为普通文件）。一. 文件类型Linux文件类型常见的有：普通文件、目录文件、字符设备文件和块设备文件、符号链接文件等，现在我们进行一个简要的说明
2016-10-29 11:09:44
2466
转载 Linux命令之"gzip"
减少文件大小有两个明显的好处，一是可以减少存储空间，二是通过网络传输文件时，可以减少传输的时间。gzip是在Linux系统中经常使用的一个对文件进行压缩和解压缩的命令，既方便又好用。gzip不仅可以用来压缩大的、较少使用的文件以节省磁盘空间，还可以和tar命令一起构成Linux操作系统中比较流行的压缩文件格式。据统计，gzip命令对文本文件有60%～70%的压缩率。1．命令格式：g
2016-10-29 10:46:49
2043
转载 Linux命令之"df"
linux中df命令的功能是用来检查linux服务器的文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。1．命令格式：df [选项] [文件]2．命令功能：显示指定磁盘文件的可用空间。如果没有文件名被指定，则所有当前被挂载的文件系统的可用空间将被显示。默认情况下，磁盘空间将以 1KB 为单位进行显示，除非环境变量 POS
2016-10-29 10:43:59
2195
转载 Linux命令之"du"
Linux du命令也是查看使用空间的，但是与df命令不同的是Linux du命令是对文件和目录磁盘使用的空间的查看，还是和df命令有一些区别的.1．命令格式：du [选项][文件]2．命令功能：显示每个文件和目录的磁盘使用空间。3．命令参数：-a或-all 显示目录中个别文件的大小。 -b或-bytes 显示目录或文件大小时，以by
2016-10-29 10:39:49
1639
转载 Linux命令之"cal"
cal命令可以用来显示公历（阳历）日历。公历是现在国际通用的历法，又称格列历，通称阳历。“阳历”又名“太阳历”，系以地球绕行太阳一周为一年，为西方各国所通用，故又名“西历”。1．命令格式：cal [参数][月份][年份]2．命令功能：用于查看日历等时间信息，如只有一个参数，则表示年份(1-9999)，如有两个参数，则表示月份和年份3．命令参数：-1
2016-10-29 10:36:55
1771
转载 Linux命令之"traceroute"
通过traceroute我们可以知道信息从你的计算机到互联网另一端的主机是走的什么路径。当然每次数据包由某一同样的出发点（source）到达某一同样的目的地(destination)走的路径可能会不一样，但基本上来说大部分时候所走的路由是相同的。linux系统中，我们称之为traceroute,在MS Windows中为tracert。 traceroute通过发送小的数据包到目的设备直到其返回，
2016-10-29 10:34:02
2077
转载 广告点击率(ctr)预估中的特征选择
转载自http://blog.csdn.NET/mytestmy/article/details/19088827互联网广告综述之点击率特征工程一．互联网广告特征工程博文《互联网广告综述之点击率系统》论述了互联网广告的点击率系统，可以看到，其中的logistic regression模型是比较简单而且实用的，其训练方法虽然有多种，但目标是一致
2016-10-28 14:35:34
12488
转载 Linux命令之"at"
在windows系统中，windows提供了计划任务这一功能，在控制面板 -> 性能与维护 -> 任务计划， 它的功能就是安排自动运行的任务。 通过'添加任务计划'的一步步引导，则可建立一个定时执行的任务。在linux系统中你可能已经发现了为什么系统常常会自动的进行一些任务？这些任务到底是谁在支配他们工作的？在linux系统如果你想要让自己设计的备份程序可以自动在某个时间点开始在系统底下运
2016-10-27 09:21:31
1469
转载 Linux命令之"watch"
watch是一个非常实用的命令，基本所有的Linux发行版都带有这个小工具，如同名字一样，watch可以帮你监测一个命令的运行结果，省得你一遍遍的手动运行。在Linux下，watch是周期性的执行下个程序，并全屏显示执行结果。你可以拿他来监测你想要的一切命令的结果变化，比如 tail 一个 log 文件，ls 监测某个文件的大小变化，看你的想象力了！1．命令格式：watch[参数]
2016-10-27 09:15:54
1149
转载 Linux命令之"vmstat"
vmstat是Virtual Meomory Statistics（虚拟内存统计）的缩写，可对操作系统的虚拟内存、进程、CPU活动进行监控。他是对系统的整体情况进行统计，不足之处是无法对某个进程进行深入分析。vmstat 工具提供了一种低开销的系统性能观察方式。因为 vmstat 本身就是低开销工具，在非常高负荷的服务器上，你需要查看并监控系统的健康情况,在控制窗口还是能够使用vmstat 输出结
2016-10-27 09:12:12
925
转载 Linux目录结构
对于每一个Linux学习者来说，了解Linux文件系统的目录结构，是学好Linux的至关重要的一步.，深入了解linux文件目录结构的标准和每个目录的详细功能，对于我们用好linux系统只管重要，下面我们就开始了解一下linux目录结构的相关知识。当在使用Linux的时候，如果您通过ls –l / 就会发现，在/下包涵很多的目录，比如etc、usr、var、bin ... ... 等目录，
2016-10-26 23:43:20
961
转载 Linux命令之"tar"
通过SSH访问服务器，难免会要用到压缩，解压缩，打包，解包等，这时候tar命令就是是必不可少的一个功能强大的工具。linux中最流行的tar是麻雀虽小，五脏俱全，功能强大。tar命令可以为linux的文件和目录创建档案。利用tar，可以为某一特定文件创建档案（备份文件），也可以在档案中改变文件，或者向档案中加入新的文件。tar最初被用来在磁带上创建档案，现在，用户可以在任何设备上创建档案。
2016-10-26 23:20:11
870
转载 Linux命令之"chgrp"
在lunix系统里，文件或目录的权限的掌控以拥有者及所诉群组来管理。可以使用chgrp指令取变更文件与目录所属群组，这种方式采用群组名称或群组识别码都可以。Chgrp命令就是change group的缩写！要被改变的组名必须要在/etc/group文件内存在才行。1．命令格式：chgrp [选项] [组] [文件]2．命令功能：chgrp命令可采用群组名称或群组识别
2016-10-26 23:11:50
988
转载 Linux命令之"chown"
chown将指定文件的拥有者改为指定的用户或组，用户可以是用户名或者用户ID；组可以是组名或者组ID；文件是以空格分开的要改变权限的文件列表，支持通配符。系统管理员经常使用chown命令，在将文件拷贝到另一个用户的名录下之后，让用户拥有使用该文件的权限。 1．命令格式： chown [选项]... [所有者][:[组]] 文件... 2．命令功能：
2016-10-26 23:08:57
878
转载 Linux命令之"chmod"
chmod命令用于改变linux系统文件或目录的访问权限。用它控制文件或目录的访问权限。该命令有两种用法。一种是包含字母和操作符表达式的文字设定法；另一种是包含数字的数字设定法。Linux系统中的每个文件和目录都有访问许可权限，用它来确定谁可以通过何种方式对文件和目录进行访问和操作。 文件或目录的访问权限分为只读，只写和可执行三种。以文件为例，只读权限表示只允许读其内容，而禁止对其做
2016-10-26 23:03:54
1469
转载 Linux命令之"iostat"
Linux系统中的 iostat是I/O statistics（输入/输出统计）的缩写，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。同vmstat一样，iostat也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析。iostat属于sysstat软件包。可以用yum install sysstat 直接安装。
2016-10-26 22:52:43
1403
转载 Linux命令之"head"
head 与 tail 就像它的名字一样的浅显易懂，它是用来显示开头或结尾某个数量的文字区块，head 用来显示档案的开头至标准输出中，而 tail 想当然尔就是看档案的结尾。 1．命令格式：head [参数]... [文件]... 2．命令功能：head 用来显示档案的开头至标准输出中，默认head命令打印其相应文件的开头10行。 3．命令参数：
2016-10-26 09:30:15
828
转载 Linux命令之"rm"
昨天学习了创建文件和目录的命令mkdir ，今天学习一下linux中删除文件和目录的命令： rm命令。rm是常用的命令，该命令的功能为删除一个目录中的一个或多个文件或目录，它也可以将某个目录及其下的所有文件及子目录均删除。对于链接文件，只是删除了链接，原有文件均保持不变。rm是一个危险的命令，使用的时候要特别当心，尤其对于新手，否则整个系统就会毁在这个命令（比如在/（根目录）下执行rm *
2016-10-26 09:27:38
1037
转载 Linux命令之"mkdir"
linux mkdir 命令用来创建指定的名称的目录，要求创建目录的用户在当前目录中具有写权限，并且指定的目录名不能是当前目录中已有的目录。1．命令格式：mkdir [选项] 目录...2．命令功能：通过 mkdir 命令可以实现在指定位置创建以 DirName(指定的文件名)命名的文件夹或目录。要创建文件夹或目录的用户必须对所创建的文件夹的父文件夹具有写权限。并且
2016-10-26 09:23:44
857
转载 专家观点碰撞：深度学习能否取代其他机器学习算法
摘要：深度学习在最近两年非常火爆，但深度学习能否取代其他机器学习算法？纽约大学研究生Ran Bi根据Quora上的一个讨论总结了不同的观点，CSDN编辑将其翻译如下，并加上一些国内人工智能专家的观点，供大家参考。【编者按】深度学习在最近两年非常火爆，但深度学习能否取代其他机器学习算法？纽约大学研究生Ran Bi根据Quora上的一个讨论总结了不同的观点，CSDN编辑将其翻译如下，并
2016-10-25 21:29:04
2006
转载 Linux命令之"date"
在linux环境中，不管是编程还是其他维护，时间是必不可少的，也经常会用到时间的运算，熟练运用date命令来表示自己想要表示的时间，肯定可以给自己的工作带来诸多方便。1．命令格式： date [参数]... [+格式]2．命令功能：date 可以用来显示或设定系统的日期与时间。3．命令参数：必要参数:%H 小时(以00-23来表示)。
2016-10-24 17:55:58
1279
转载 Linux命令之"free"
free命令可以显示Linux系统中空闲的、已用的物理内存及swap内存,及被内核使用的buffer。在Linux系统监控的工具中，free命令是最经常使用的命令之一。1．命令格式：free [参数]2．命令功能：free 命令显示系统使用和空闲的内存情况，包括物理内存、交互区内存(swap)和内核缓冲区内存。共享内存将被忽略3．命令参数：-b 以
2016-10-24 17:39:46
1242
转载 Linux命令之"top"
top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。下面详细介绍它的使用方法。top是一个动态显示过程,即可以通过用户按键来不断刷新当前状态.如果在前台执行该命令,它将独占前台,直到用户终止该程序为止.比较准确的说,top命令提供了实时的对系统处理器的状态监视.它将显示系统中CPU最“敏感”的任务列表.该命令可以按CPU使用.内存
2016-10-24 17:34:32
643
转载 Linux命令之"ps"
Linux中的ps命令是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进程的快照，就是执行ps命令的那个时刻的那些进程，如果想要动态的显示进程信息，就可以使用top命令。要对进程进行监测和控制，首先必须要了解当前进程的情况，也就是需要查看当前进程，而 ps 命令就是最基本同时也是非常强大的进程查看命令。使用该命令可以确定有哪些进程正在
2016-10-16 23:01:47
709
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人