qq_25222187的博客

原创 笔记——搭建 LeNet（tensorflow）

 本周搭建了 LeNet。参考：《TensorFlow 实战 Google 深度学习框架》（郑泽宇）             LeNet paperLeNet 模型如下按照以下的LeNet 架构：神经网络结构的代码 LeNet_forward.py，主要是完成前向通道的数值计算。import tensorflow as tf# layer size...

翻译 笔记——Tensorflow: The Confusing Parts (2)

原文链接：https://jacobbuckman.com/post/tensorflow-the-confusing-parts-2/ 命名Naming和作用域 Scoping变量和张量的命名必须是唯一的。随着创建的常量越来越多，每个常量的名字会枚举的方式递增。明确命名最大的意义在于帮助调试，当存在大量变量等，明确的命名可以快速定位出错的那个变量。使用 scopes当变量越来...

原创 笔记——小波分析

小波转换步骤如下：假设原信号为 s(n)，尺度函数为 Harr 尺度函数φ(x)，小波函数为 Haar 函数ψ(x)（1）首先采样根据信号高频特征确定分辨率(j)也即分解层数，获得离散信号 s'(n)（2）把 s'(n) = Vo + Wo + W1 + W2 + ... + W(j-1)（3）Vo 为最低频信号，W(j-1) 表征的是宽为的尖峰。用滤波器组直觉理解小波转...

原创 笔记——小波分解与重构的理解

原创 笔记——论文阅读《highway Network》

这篇论文里的吐槽点在于，连个图都没有？highway Network 解决的是深度神经网络的训练问题。文章的核心如下普通的前馈神经网络中对输入 x 进行非线性变化后为 y：本文收 LSTM 长短期记忆的启发，提出如下结构，也是本文 highway Network 的结构：           其中，T 表示 transform gate，C 表示 carry g...

原创 笔记——论文阅读《network in network》

在神经网络中，虽然面临着训练时间、训练难易程度的问题，但是既然更深的网络总能获得更好的效果，就不可避免深度这个问题。无论各种架构的 CNN 中创造性的提出了什么结构模块，深度都是必要条件。那么越深也就意味着能学到更多或者更好的学习到潜在特征。motivation在局部感受野中，用更复杂的 mlp增强模型的辨别力，提高抽象能力。mlp 由多层感知器组成，本身具有更强的函数逼近器的效果...

原创 笔记——CNN Architectures（cs231n 斯坦福计算机视觉公开课）

常见的 CNN Architectures LeNet-5 AlexNet  VGG GoogLeNet ResNet 一些计算：全连接层、卷积、池化操作对于维度的改变：Fully Connected Layer：暴力拉平操作，不管原来是什么样的长*宽*深。假设上图是一个分类神经网络的最后两层，该全连接层连接着输出层，输出层给出...

原创 笔记——AdaBoost算法

Outline弱学习算法「提升」为强学习算法的理论依据 Adaboost 算法 Adaboost 算法的例子 Adaboost 算法的例子的实现步骤 思考  1. 弱学习算法「提升」为强学习算法的理论依据：因此新问题是「如果存在弱学习算法，那么能否把它们提升为强学习算法？」提升方法boosting：常用的统计学习方法。在分类问题中通过改变训练样本的权重，学习多个分类...

原创 优化算法中的超参数：学习率

优化中的梯度下降法纯粹的 SGDSGD+MomentumAdaGradRMSPropAdam理解：从 AdaGrad 到 RMSProp、Adam，用Momentum的思想一路对这些优化算法的学习率进行变形。Momentum思想：当前时刻的更新量 = β * 上一时刻更新量 + (1-β) * 当前的计算项（如梯度/梯度平方等）xt+1 = βxt + (1-β)yt改进参数：采用...

原创 笔记——反向传播算法

反向传播算法为什么需要反向传播算法反向传播图解理论层面：链式法则前向通道后向通道反向传播代码作为一个逻辑很差又贼容易懵逼的菜鸟，不做笔记和经常回顾真的学不到东西，脑子一团浆糊。之前明明已经手推了反向传播算法，后面有点遗忘，再加上斯坦福 CS231n 的讲法把我讲懵了，所以必须写一篇针对我自己的理解总结笔记。反向传播公开课我只服气李宏毅！！！为什么需要反向传播算法首先！让我来捋一下！为什么...

原创 笔记——支持向量机

支持向量机Lagrange对偶问题SVM 中的对偶问题在 SVM 公式的推导中，优化问题的基本型是一个 凸二次规划问题，因此涉及到对偶问题与原问题等价性的论证。Lagrange对偶问题Q1：为什么要将原问题转换为对偶问题求解？原问题往往难以求解，因为对偶问题总是个凹函数，因此转化为对偶问题则便于求解。Q2：对偶问题的可行解是不是原问题的最优解？对偶问题的可行解未必就是原问题的最优...

原创 笔记一《斯坦福李飞飞机器视觉公开课CS231n》

原创 编程实践-逻辑回归分类算法--马的疝气病症分类

#!/usr/bin/env python3# -*- coding: utf-8 -*-"""逻辑回归分类@dataset：马的疝气病症数据集Horse Colic database 任务需求：预测病马的死亡率 http://archive.ics.uci.edu/ml/datasets/Horse+Colic data fi...

原创 笔记《西瓜书》—— 模型的评估与选择

原创 笔记《西瓜书》—— 模型的假设空间

原创 排序算法学习--直接插入排序--希尔排序@python

插入排序和希尔排序的python代码如下：def DirectInsertionSort(datalist): n = len(datalist) for i in range(1,n): for j in range(i,0,-1): if datalist[j] < datalist[j-1]: ...

原创 排序算法学习--简单选择排序@python

'''直接插入排序：将一个记录插到已经排好序的有序表中，得到一个新的、记录数增加1的有序表'''import timestart =time.clock()def simpleSelectionSort(datalist):    n = len(datalist)    min = 0    for i in range(n):        min = i        fo...

原创 排序算法学习--冒泡排序@python

学习排序算法，根据《大话数据结构》实现python版本的排序算法。import timestart =time.clock()'''冒泡排序思想：通过不断的交换实现排序'''#简单冒泡排序，前面排序对后面用处很小，所以 冒泡排序是非常低效率的def simpleBubbleSort(datalist): n = len(datalist) for i in range(n):...

原创 编程实践--决策树分类算法--隐形眼镜材质分类

第二个自己亲手敲出来的机器学习算法~任务描述：数据集来自：《机器学习实战》 手写数字识别任务 决策树算法思路：（1）计算信息增益，得到每一步的最好特征。（2）树结构。数据集及代码点击打开链接代码如下：'''数据集来自：《机器学习实战》 手写数字识别任务 决策树算法''''''使用决策树预测隐形眼镜类型数据集：隐形眼镜数据集，来自UCI数据库隐形眼镜类型包括：硬材质、软材质、不适合佩戴隐...

原创 编程实践--KNN分类算法--手写数字识别任务

第一个自己亲手敲出来的机器学习算法，觉得还是应该总结一下，并开始养成一个良好的习惯，希望一个接一个克服其他的算法，在这个过程中不仅加深对算法的理解，并获得对于数据理解的洞察力。任务描述：数据集来自：《机器学习实战》chapter 2 的手写体数字训练集和测试集任务：手写数字识别  算法：KNN分类算法思路：（1）先处理数据集，训练集和测试集的数据都是若干个TXT文本，要编写函数整合成适合的数据集和...