Ontheway的博客

转载 梯度下降优化算法综述

转载：梯度下降优化算法综述该文翻译自An overview of gradient descent optimization algorithms。   总所周知，梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就

转载 if __name__ == '__main__' 如何正确理解?

出处：凌孜貌似昨天还是前天看过这个~现学现卖一下，有错误的话大家走过路过请指正一下~谢谢！我的理解是，呜呜为什么我感觉我可以理解但是说不出来。。。我是看下面这段代码懂了的，引用自python - What does if __name__ == "__main__" do?其中Adam Rosenfield的回答。# file one.pydef func():

转载 径向基网络（RBF network）之BP监督训练

原文作者：[email protected]原文出处：http://blog.csdn.net/zouxy09       之前看了流行学习的时候，感觉它很神奇，可以将一个4096维的人脸图像降到3维。然后又看到了可以用径向基网络来将这3维的图像重构到4096维。看到效果的时候，我和小伙伴们都惊呆了（呵呵，原谅我的孤陋寡闻）。见下图，第1和3行是原图像，维度是64x64=4096维，第2和第

转载 交叉熵

原文链接：点击打开链接交叉熵（Cross-Entropy）交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。1.什么是信息量？假设X是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈X，我们定义事件X=x0的信息量为： I(x0)=−log(p(x0))，可以理解为，一个事件发生的概率越大，则它所携

转载 目标函数优化中的三种梯度

原文出处：点击打开链接 考虑一个关于参数矩阵 W 的标量目标函数 J(W) 的极小化问题，即Wopt=argminWJ(W)    通常，给定 W 的一个初值 W0 ，通过“迭代更新”的方法来搜索求解 Wopt 。设第 k步迭代的矩阵为 W(k) ，则 W(k) 的迭代更新方程可表示为W(k+1)=W(k)+ΔW(k)

转载 大白话解析模拟退火算法

转载出处：大白话解析模拟退火算法优化算法入门系列文章目录（更新中）：　　1. 模拟退火算法　　2. 遗传算法一. 爬山算法 ( Hill Climbing )         介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。      

转载 空空导弹发展及作战特点

原文出处：空空导弹介绍  作战飞机上都有挂架，可挂载导弹。跟踪瞄准的过程就是要将机头（也就是炮口）“对着目标”，但实际上不是“正对着目标”。目标是有速度的，炮弹飞到目标的位置需要时间，所以应对着的目标前面的某一点，使炮弹飞零点几秒钟之后正好飞机也飞到这一位置，于是炮弹与目标碰在一起，也就是“命中目标”。瞄准的超前位置称为“前置点”，炮口对着前面的超前角度称为“前置角”。前置角的大小与目标机相对

转载 神经网络隐含层的选取

1、神经网络算法隐含层的选取1.1 构造法首先运用三种确定隐含层层数的方法得到三个隐含层层数，找到最小值和最大值，然后从最小值开始逐个验证模型预测误差，直到达到最大值。最后选取模型误差最小的那个隐含层层数。该方法适用于双隐含层网络。1.2 删除法单隐含层网络非线性映射能力较弱，相同问题，为达到预定映射关系，隐层节点要多一些，以增加网络的可调参数，故适合运用删除法。1.3黄金分割

转载 什么是超参数

什么是超参数当参数时随机变量时，该参数分布中的参数就是超参数，简单的说就是参数的参数，感觉一般在贝叶斯方法中出现所谓超参数，就是机器学习模型里面的框架参数，比如聚类方法里面类的个数，或者话题模型里面话题的个数等等，都称为超参数。它们跟训练过程中学习的参数（权重）是不一样的，通常是手工设定，不断试错调整，或者对一系列穷举出来的参数组合一通枚举（叫做网格搜索）。深度学习和神经网络模型，

转载 深度强化学习：基于像素的乒乓游戏

转载出处：深度强化学习：基于像素的乒乓游戏英文原文：Deep Reinforcement Learning: Pong from Pixels作者：Andrej Karpathy (Stanford University)  译者：郭江这是一篇早就应该写的关于强化学习的文章。强化学习现在很火!你可能已经注意到计算机现在可以自动(从游戏画面的像素中)学会玩雅达利(Atari)游戏[1

原创 win64环境下sklearn的配置

Python环境配置所需工具下载地址：PyPI: Python Package Index需要下载的文件：scipy-0.15.1-cp27-none-win_amd64scikit_learn-0.17-cp27-none-win_amd64前提安装pip工具（参考：安装easy_install和pip）然后，安装scipy：安装sciki

转载 Python基础-字典详解

转自：Python学习之字典详解 在元组和列表中，都是通过编号进行元素的访问，但有的时候我们按名字进行数据甚至数据结构的访问，在c++中有map的概念，也就是映射，在python中也提供了内置的映射类型--字典。映射其实就是一组key和value以及之间的映射函数，其特点是：key的唯一性、key与value的一对多的映射。1.字典的创建      字典的基本形态dic={key1

转载 JSON数据格式的解析

转自：python-Json模块【解析Json】1，Json模块介绍JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一个子集。

转载 Unicode和UTF编码：编码的发展历程

原文出处：Unicode 和 UTF-8 有何区别？作者：于洋链接：https://www.zhihu.com/question/23374078/answer/69732605来源：知乎著作权归作者所有，转载请联系作者获得授权。=============很久以前保存的，别人写的但是很明了=============很久很久以前，有一群人，他们决定用8个可以开

转载 Python基础-Json编码和解码操作

什么是json：JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一个子集。JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家

转载 关于raw_input()和sys.stdin.readline()的区别

关于raw_input( )和sys.stdin.readline( )的区别之前一直认为用raw_input( )和sys.stdin.readline( )来获取输入的效果完全相同，但是最近在写程序时有类似这样一段代码：import sysline = sys.stdin.readline()for i in range(len(line)): print li

转载 机器学习中的数学(3)-模型组合(Model Combining)之Boosting与Gradient Boosting

版权声明：    本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系[email protected] 前言：    本来上一章的结尾提到，准备写写线性分类的问题，文章都已经写得差不多了，但是突然听说最近Team准备做一套分布式的分类器，可能会使用R

转载 随机森林-RandomForest

http://www.36dsj.com/archives/32820简介近年来，随机森林模型在界内的关注度与受欢迎程度有着显著的提升，这多半归功于它可以快速地被应用到几乎任何的数据科学问题中去，从而使人们能够高效快捷地获得第一组基准测试结果。在各种各样的问题中，随机森林一次又一次地展示出令人难以置信的强大，而与此同时它又是如此的方便实用。需要大家注意的是，在上文中

原创 决策树-信息增益，信息增益率，Gini

原文出处：信息增益，信息增益率，Gini话说今天《机器学习》上课被很深地打击了，标名为“数据挖掘”专业的我居然连个信息增益的例子都没能算正确。唉，自看书以来，这个地方就一直没有去推算过，每每看到决策树时看完Entropy就直接跳过后面增益计算了。因而，总想找个时间再回过来好好看一下，这不，被逼上了呢。神奇的墨菲定律呢：你担心它发生的，它就一定会发生。回正题了，这三个指标均是决策

转载 决策树-剪枝

原文出处：分类回归树CART(上)剪枝当分类回归树划分得太细时，会对噪声数据产生过拟合作用。因此我们要通过剪枝来解决。剪枝又分为前剪枝和后剪枝：前剪枝是指在构造树的过程中就知道哪些节点可以剪掉，于是干脆不对这些节点进行分裂，在N皇后问题和背包问题中用的都是前剪枝，上面的χ2方法也可以认为是一种前剪枝；后剪枝是指构造出完整的决策树之后再来考查哪些子树可以剪掉。在分类回归树中可

转载 决策树-CART算法

原文出自：ACdreamers-决策树之CART算法在之前介绍过决策树的ID3算法实现，今天主要来介绍决策树的另一种实现，即CART算法。 Contents    1. CART算法的认识   2. CART算法的原理   3. CART算法的实现  1. CART算法的认识    Clas

原创 决策树-信息论

熵越高，则混合的数据类型越多，信息量越大。

转载 机器学习中防止过拟合的处理方法

原文地址：一只鸟的天空，http://blog.csdn.net/heyongluoyao8/article/details/49429629防止过拟合的处理方法过拟合  我们都知道，在进行数据挖掘或者机器学习模型建立的时候，因为在统计学习中，假设数据满足独立同分布（i.i.d，independently and identically distributed），即当前

原创 Python基础-用多个字符分割字符串

Python的str类有split方法，但是这个split方法只能根据指定的某个字符分隔字符串，如果要同时指定多个字符来分隔字符串，该怎么办呢？采用正则表达式：幸运的是python的re模块中提供的split方法可以用来做这件事情。

原创 傅里叶变换-平稳信号

信号进行傅立叶变换的前提是平稳信号，对于非平稳信号，分析效果不好。所以在对一些信号进行分析的时候，若是非平稳信号，要现对信号进行转换，使之成为平稳信号。平稳信号：信号的统计特性（例如：均值、方差、协方差……不变）比较常见的操作是：对信号去trend和Season，信号含有趋势和季节性变化，需要去除这些变化，使信号满足平稳信号的条件。

原创 Python基础-sort()函数

sorted函数用法如下： sorted(data, cmp=None, key=None, reverse=False)  其中，data是待排序数据，可以使List或者iterator, cmp和key都是函数，这两个函数作用与data的元素上产生一个结果，sorted方法根据这个结果来排序。 cmp(e1, e2) 是带两个参数的比较函数, 返回值: 负数: e1 e2.

转载 FFT与DFT的关系及应用

看了一篇讲理解离散傅立叶变换（二. 实数形式离散傅立叶变换）的文章（本博客“文章”中有转载，点击该链接可以直接进入作者的博客），可是一直不大好理解。所以想用matlab验证一下，增强理解，顺便把验证的东西分享一下：    首先，FFT（快速傅里叶变换）是一种实现DFT（离散傅里叶变换）的快速算法，是利用复数形式的离散傅里叶变换来计算实数形式的离散傅里叶变换）。matlab中的fft函数是实

转载 傅里叶分析之掐死教程（完整版）更新于2014.06.06

原文出处：作 者：韩 昊我保证这篇文章和你以前看过的所有文章都不同，这是 2012 年还在果壳的时候写的，但是当时没有来得及写完就出国了……于是拖了两年，嗯，我是拖延症患者……这篇文章的核心思想就是：要让读者在不看任何数学公式的情况下理解傅里叶分析。傅里叶分析不仅仅是一个数学工具，更是一种可以彻底颠覆一个人以前世界观的思维模式。但不幸的是，傅里叶分析的公式看起来太复

原创 数字信号处理基础-DFT、IDFT

DFT和IDFT公式：

转载 一幅图弄清DFT与DTFT,DFS的关系

原文出处：　一幅图弄清DFT与DTFT,DFS的关系      很多同学学习了数字信号处理之后，被里面的几个名词搞的晕头转向，比如DFT，DTFT，DFS，FFT，FT,FS等，FT和FS属于信号与系统课程的内容，是对连续时间信号的处理，这里就不过多讨论，只解释一下前四者的关系。　　首先说明一下，我不是数字信号处理专家，因此这里只站在学生的角度以最浅显易懂的性质来解释问题，而不涉及

原创 AutoRegressive Integrated Moving Average(差分自回归移动平均模型)

ARIMA： AutoRegressive Integrated Moving Average(差分自回归移动平均模型)ARIMA里面的I指Integrated（差分）。 ARIMA（p,d,q）就表示p阶AR，d次差分，q阶MA。  为什么要进行差分呢？ ARIMA的前提是数据是stationary的，也就是说统计特性（mean，variance，correlation等）不会随着时

原创 Time Series Prediction：时间序列预测

题目：Time Series: Predict the Web Traffic推荐的几种方法：Resources

原创 Python基础-JSON编码与解码

参考：https://docs.python.org/3/library/json.html待整理内容：ascii format utf-8 format文档分类：Stack Exchange Question Classifier，数据格式JSON，需要将文档处理成单词的形式，需要注意：标点符号、链接等的特殊处理

原创 Python基础-计算程序运行时间

import time # 导入模块: timestartTime=time.time() # insert your code here # endTime=time.time() # 计算运行时间 print endTime-startTime

原创 Python基础-int和string互相转换

int转成string，函数int(string)string转成int，函数str(number)如下：

原创 Python基础-对数

import math # 需要导入模块Module: matha=math.log(c,b) #计算以c为底，b的对数:a=math.log(b) # 当参数c缺省，默认取自然对数

原创 Python基础-映射

在处理数据的时候，经常需要判重，例如将几个集合set合并成一个集合。法一：最开始采取的方法是利用Python自带的数据结构set([])，然后采用集合并‘|’运算，得到最终的集合，这种方法比较简单大，但效率太低，耗时严重，如下：vocabularySet=[]vocabularySet=vocabularySet|set(vocabularyDocument[classNumber])

原创 Python基础-输出到文件

打开文件：fw=open('data.txt','w') #'w'参数必须得写，不写的话，默认的是只读方式（即‘r’）输出到文件：方式1：fw.write(str) 这种方式只能输出str字符串方式2：print >>fw, 'hello world'print >>fw, a # a可以是数组，矩阵，数值，字符串……记住最后关闭文件：fw.

原创 python基础-区分数组、矩阵

区分以下两种格式：a=zeros((1,9))a=zeros(9)看起来都是一行一列，但是上面那个是二维形式，下面那个是一维形式，取值的时候不同a=zeros((1,9))，取值的方式：a[0][n]a=zeros(9)，取值的方式：a[n]

原创 朴素贝叶斯-文本分类