原创 IOU 源码 + 手绘计算过程

# IOU 计算过程，详细解释见下面手绘部分def IOU_calculator( x, y, width, height, l_x, l_y, l_width, l_height ): ''' Cculate IOU :param x: net predicted x :param y: net predicted y :param width: ne...

原创 Images from PASCAL VOC2007

Images from PASCAL VOC2007EXAMPLE : download the training/validation data extract the tar got folder structure:1. Annotations are labeled informations for all images. from 000005.xml ~ 009961.xml tota...

原创 Optimization Method 简易进化论

原创 机器学习系列 九 -3. Tips for Deep Learning - for testing data

 下图所说的testing data 不是真正的testing data， 而是我们已经labeled 数据，是validation set一. Early Stopping理想情况下，在training set上如果leraning rate 调的对的话，total loss 会越来越小；但我们也知道在testing set 和training set 上他们的distribution 分布 不...

原创 机器学习系列 九 - 2. Tips for Deep Learning - adaptive learning rate

下图所说的testing data 不是真正的testing data， 而是我们已经labeled 数据，是validation setAdaptive Learning Rate之前再讲gradient descent的时候已经讲过adaptive learning rate了。在那个时候，我们会用一次微分来估算二次微分的值，那是在假设说二次微分很固定的情况。在·但是实际上，我们真正面对问题的...

原创 机器学习系列 九 - 1. Tips for Deep Learning - new activation function

下图所说的testing data 不是真正的testing data， 而是我们已经labeled 数据，是validation set产生的问题如果在training data得到了好的结果，在testing data上没有得到好的结果 一般我们认为这是产生了 overfitting但是，得到的结果不好并不一定总是overfitting。这就是deep learning 和其他机器学习算法的不...

原创 机器学习系列 八 - 3.How can I save a Keras model

如何在Keras中保存一个模型？保存/加载整个模型(结构 + 权重 + 优化器状态)保存Keras 模型不推荐使用pickle 或者cPickle你可以使用 model.save(filepath) 来保存一个Keras 模型到一个单独的HDF5文件中，它将包含如下：模型的结构， 允许重新创建模型模型的权重training的配置(loss function， 优化器optimizer)优化器状态，...

原创 机器学习系列 八 - 2.使用Keras build一个网络 Keras 2.0 版本语法

还是手写数字辨识问题第一步，设计架构(模型)老版本中，我们每一层的输出，在1.0版本里面参数名字是output，而在Keras2.0里面，改成了units，这个看上去更为直观，表明下一层我要输出多少个节点。并制定激活函数。然后，因为下一层的输入就是上市上一层的输出，所以下一层里面不需要在生命input dimension了，input就是500。那直接定义units，就是输出到下一层的节点数。并指...

原创 机器学习系列 八 - 1. Hello World of Deep Learning

Hello World of Deep Learning使用KerasKeras其实呢就是TensorFlow或者theano 的一个接口，只是已经进过一些封装是底层更为简单易用。后台的ThensoFlow和theano是可以进行修改实现的。我们开始做第一个例子，手写字识别Keras中mnist数据集测试 下载Keras开发包>>> conda install git>&...

原创 机器学习系列 七 - 延展 Back Propagation

回顾微分链式求导法则那么，我们把L可以看做是多个 l 的偏微分的求和我们某一个neural 单独拿出来看看。向前计算，可以容易计算z对w的偏微分，后向计算，可以容易计算l对z的偏微分。开始计算：1，计算z分别对于weight的偏微分，当然根据 z= x1w1 + x2w2 + b，容易分别的大x1和x2Forward Pass那结论其实就是， z 对于weight求微分的结果就是他对应的输入的值。...

原创 机器学习系列 七 Deep Learning

Deep Learning在google 内部的应用，呈指数及成长DL简史：1980年代的多层感知机跟2006年的RBM initialization到底有什么区别？答案是没有区别，唯一的差别就是使用了RBM的就叫做Deep Learning，没使用RBM的就叫做多层感知机。但是得到的效果是一样的......但是从2009年GUP计算出来之后，对于deep learning的计算速度有了翻天覆地的...

原创 机器学习系列 六 Logistic Regression逻辑回归

逻辑回归如果用图像化表示：Logistical Regression的模型就是这样Z = 求和WiXi + b现在，来按照机器学习的三部曲来一步一步的进行。第一步，选择模型 也就是function set我们从这里可以看出，LR 是在线性回归的model前面加入了sigmod的function，好让线性模型的输出是介于0和1之间。他的输出就是概率。possibility第二步，判断function...

原创 机器学习系列 五 Classification 分类

分类的问题：1. 信用卡借贷判断input：    收入、存款、职业、年龄、过去的财务历史等等....output： 借钱  或  不借钱2.医疗诊断input：    某个人的症状、年龄、性别、旧病史等等....output： 他生的是哪一种病3.手写文字辨识input：手写字图片output： 属于哪个字(中文有8000个字)那就是要做test 的classification4.人脸识别inp...

原创 机器学习系列 四 Gradient Descent以及升级内容

前情回顾回顾上节课中涉及到的Gradient Descent 内容：现在假设θ就是一个模型的参数集合，我们使用loss function 来更新参数集合的变化。然后我们使用如下式子来代表Loss function对于参数的偏微分：那我们用可视化的方式来看这个问题：目前假设只有两个参数，我们随机选一个初始位置θ0，我们一步一步按照graident descent的方式，红色代表gradient，就是...

原创 机器学习系列 三 - 延伸 方差和样本方差

课堂上的出来的结论：样本方差的和总体方差是不等的，而是存在一个无偏估计的系数(N-1)/N先给出概念定义和公式：设样本均值为，样本方差为，总体均值(期望)为，总体方差为，那么样本方差有如下公式：样本方差用来表示一列数的变异程度。样本均值又叫样本均数。即为样本的均值。样本方差的公式为 其中  为样本均值。如果已知随机变量  的期望为  ，那么可以如下计算总体方差  ：这是方差的定义，使用随机一个样本...

原创 机器学习系列 三 误差从何而来

使用普通的gradient descent 来进行更新参数，经过1万次后的成果：距离最佳解依然非常遥远看样子可能是learning rate 不够大，把learning rate 调大10倍后：虽然距离最佳解近了一点，但是有一个剧烈的震荡会不会是learning rate还不够大呢，再次调大10倍：参数飞出范围了....不好！！gradient descent 无法解决这个问题，竟然只有两个参数都...

原创 机器学习系列 二 - 延伸 overfitting

防止过拟合，提高泛化能力的方法在训练数据不够多，或overtraining时，通常会导致overfitting过拟合。其直观表现就是如我们在第二课中所看到的宝可梦cp值预测时，过度的增加参数和model的次方，让训练集上的误差虽然逐渐减小，但却在测试集上得不到正确的结果，误差越来越大。这里引入一个验证集的概念--validation data。在机器学习算法中，我们经常将原始数据分为三种：trai...

原创 机器学习系列 二 Regression 回归

案例举例1. 股票市场预估2. 无人车3. 商品推荐系统实际案例：用回归预估宝可梦的cp值(战斗值)野外找到一只妙蛙种子， 喂一些糖，让他成长找一个function 来对改宝可梦得各种特性x进行进化，输出一个cp值Xcp， Xw， Xh，Xhp第一步，给出一些模型，比如带入b和w的值，如下有n多个可能性，有的带入值合理，有的值不合理。这样的一个模型，我们称之为线性模型，那么w的权重乘上输入的不同的...

原创 机器学习系列 - 入门

机器学习的整体框架1.有监督的机器学习整体架构，总共分为是哪个步骤    Step1 挑选一系列的方程，称之为模型    Step2 将方程带入训练集进行好坏的判定    Step3 挑选最好的方程来对测试数据进行测试学习曲线图我理解的对于机器学习的定义：机器学习就是用Linear Model \ Deep Learning \ SVM \ decision tree \ K-NN ..... 等...

原创 Java HashMap 源码解析 （一）

数据结构：首先，回顾ArrayList和LinkedList底层实现分别是数组和链表：数组查询快，因为数组查询是由数组下标，并且存储在内存是连续存储的，要删除一个数据，那他后面的数据都需要向前移位。链表增删快，是因为链表物理存储上是可以是离散的，它里面有一个地方专门存储next，指向下一个数据，直接修改指向即可。HashMap的大致存储结构下面我们看一下HashMap在进行存数据的时候都发生了什么...

原创 解决IE浏览器缓存通用方法

ajax的异步加载非常好用，但是在是使用的时候会遇到由于浏览器缓存了页面，造成数据不刷新的情况，一下方法可以有效的帮助解决ie浏览器的缓存而不正常更新数据的状况：/** * 处理ie缓存 */function catchMover(url){ var a = Math.random(); if (url.indexOf("?") > 0) { ur

原创 IN/NOT IN---EXISTS/NOT EXISTS理解

从两者依据的对象来区分：  IN/NOT IN          是针对于集合返回结果来进行操作的；（单行集合）效率低！容易理解，分析简单。         EXISTS/NOT EXISTS         是针对于条件的返回结果来进行操作的。（集合集合）效率高！需要仔细分析，避免写错！操作流程：IN/NOT IN获取一条记录中的条件字段，将该条件字段

原创 判断oarcle表中字段是否存在

判断一个表中的字段是否存在，若不存在则动态的创建它：--声明部分V_NUM INTEGER;V_SQL VARCHAR2(1000);--执行部分V_NUM := 0; SELECT COUNT(1) INTO V_NUM FROM cols WHERE table_name = UPPER('tab_name') AN...

原创 VBA合并多个EXCEL表代码

合并多个EXCEL表代码今天工作时，写一个文档，突然需要将多个excel工作簿合并成一个，于是总结一下，希望有用。1、合并多个EXCEL表为同一个EXCEL表[code="java"]Sub CombineWorkbooks() Dim FilesToOpen Dim x As Integer On Error GoTo ErrHandler...

原创 css控制按钮hover

[code="java"]Insert title here /* Css样式要放到页面头部，而且要加上 */.btn { background: url(../xx1.png); line-height: 15px; height: 95px; width: 95px; /* margin: 10px 0 0 20px;margin-top 和 mar...

原创 oracle sql

[code="sql"]--行列转换 行转列 DROP TABLE t_change_lc; CREATE TABLE t_change_lc (card_code VARCHAR2(3), q NUMBER, bal NUMBER); INSERT INTO t_change_lc SELECT '001' card_code, ROWNUM q, trun...

原创 java里for循环与它的前后变量关系

今天在偶然阅读一份某企业的笔试题的时候看到这样一道java选择题：下述程序代码中有语法错误的行是（ ）。int i, la[10] , lb[10];/*a*/for(int i=0;i...

原创 Java 对象（转载）

在大规模Java 应用开发中，总会遇到内存泄漏的问题。通常的做法，通过 Profile 工具，分析 Java Heap ，一般能够发现哪些对象内存占用巨大，而引起的泄漏问题。为了更好地深入了解问题的本质，以及从另外一个角度来分析问题，特写这篇文章。 原文地址：可能不少的读者，并不清楚Java 对象到底占居多少的空间（单位：字节 =8 比特）。文章中会使用 JDK 6 update 7...

原创 键盘监听例子

package com.test;import java.awt.event.KeyEvent;import java.awt.event.KeyListener;import java.awt.event.WindowAdapter;import java.awt.e

原创 Eclipse WTP Projects Facets实战指南地址

1.Eclipse WTP Projects Facets实战指南http://www.java-cn.com/club/html/13/n-1813.html2.Facet扩展点及其使用心得http://www.cnblogs.com/drawwindows/archive/2011/07/14/2106725.html...