yizt-CSDN博客

原创 pytorch 实现Grad-CAM和Grad-CAM++

Grad-CAM.pytorch pytorch 实现Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization 和Grad-CAM++: Improved Visual Explanations for Deep Convolutional Networks工程地址: G...

2019-11-07 19:20:44 12773 13

原创 Hammersley-Clifford定理证明

Proof of Hammersley-Clifford TheoremProof of Hammersley-Clifford Theorem依赖知识定义1定义2证明过程反向证明(吉布斯分布=&amp;gt;MRF)正向证明(MRF=&amp;gt;吉布斯分布)证明第一点证明第二点疑问点最近看语义分割论文DeepLab，有使用全连接CRF恢...

2018-08-15 19:11:38 11267 19

原创 keras实现《Low-Shot Learning with Imprinted Weights》

keras-imprinting论文Low-Shot Learning with Imprinted Weights 的keras 版简要实现;该论文也是对于分类网络增量学习的一个典型思想; 一般情况下深度神经网络只能对训练过的类别进行正确分类，如果增加了一个新的类别；就需要从新从头开始训练网络，这是非常耗时的。此论文为分类网络提出一个通用的增量学习新的类别的方法；通过使用新类embeddin...

2019-01-16 09:04:36 1537 2

原创 keras实现《Large-scale Bisample Learning on ID vs. Spot Face Recognition》

keras-lbl-IvS论文地址：Large-scale Bisample Learning on ID vs. Spot Face Recognition工程地址：keras-lbl-IvS keras实现人证比对论文《Large-scale Bisample Learning on ID vs. Spot Face Recognition》的核心思想; 当类别数非常大时...

2019-01-15 23:34:42 852

原创 2_3-numpy-cnn-mnist手写数字识别

一、定义前向、后向传播过程二、加载数据三、训练网络一、定义前向、后向传播过程本文将用numpy实现cnn, 并测试mnist手写数字识别如果对神经网络的反向传播过程还有不清楚的，可以参考全连接层、损失函数的反向传播、卷积层的反向传播、池化层的反向传播网络结构如下,包括1个卷积层,1个最大池化层，1个打平层2个全连接层：input(1,28*28)=&amp;gt...

2018-09-12 22:48:44 4262 1

原创 2_2-numpy池化层实现

Max Pooling前向过程反向过程Average Pooling前向过程反向过程Global Max Pooling前向过程反向过程Global Average Pooling前向过程反向过程Cython加速Max Pooling前向过程参考池化层的反向传播中公式(1)import numpy as npdef...

2018-09-12 21:38:48 5496 6

原创 2_1-numpy卷积层实现

前向传播反向传播测试卷积Cython加速前向传播参考卷积层的反向传播-多通道、无padding、步长1中公式(4) import numpy as npdef conv_forward(z, K, b, padding=(0, 0), strides=(1, 1)): &quot;&quot;&quot; 多通道卷积前向过程 :param z: 卷积层矩阵,形...

2018-09-12 20:49:23 6205 10

原创 0_4-优化方法-SGD、AdaGrad、RMSProp、Adadelta、Adam

SGDAdaGrad特点RMSProp参考SGD 随机梯度下降，注意这里的随机梯度下降是mini-batch gradient descent。一般深度学习中就用sgd代表。a) 权重参数www , 权重梯度∇w∇w\nabla_w b) 学习率 ηη\eta , 学习率衰减decaydecaydecay (一般设置很小)c...

2018-09-11 21:35:31 1147

原创 0_2_5-池化层的反向传播-MaxPooling、AveragePooling、GlobalAveragePooling

依赖知识约定说明前向传播Max Pooling和Average PoolingGlobal Max Pooling和Global Average Pooling反向传播Max PoolingAverage PoolingGlobal Max PoolingGlobal Average Pooling依赖知识a) 熟悉全连接层、损失函数的反向传播...

2018-09-11 21:26:49 3441

原创 0_2_4-卷积层的反向传播-多通道、有padding、步长不为1

依赖知识约定说明前向传播反向传播权重梯度l-1层梯度依赖知识a) 熟悉全连接层、损失函数的反向传播b) 熟悉卷积层的反向传播-单通道、无padding、步长1c) 熟悉卷积层的反向传播-多通道、无padding、步长1d) 熟悉卷积层的反向传播-多通道、无padding、步长不为1e) 熟悉以上4点的依赖知识约定说明a) lll...

2018-09-11 21:17:43 2452

原创 1_1_2-全连接神经网络做mnist手写数字识别

一、定义前向、后向传播二、加载数据三、训练一、定义前向、后向传播本文将用numpy实现dnn, 并测试mnist手写数字识别a)如果对神经网络的反向传播过程还有不清楚的，可以0_1-全连接层、损失函数的反向传播 b) 激活函数的反向传播过程见0_3-激活函数的反向传播-ReLU、LeakyReLU、PReLU、ELU、SELU网络结构如下,包括3个fc层： ...

2018-09-02 23:14:23 5249 16

原创 0_3-激活函数的反向传播-ReLU、LeakyReLU、PReLU、ELU、SELU

依赖知识ReLU前向过程后向过程LeakyReLU前向过程后向过程PReLU前向过程后向过程ELU前向过程后向过程SELU前向过程后向过程本文介绍常见的激活函数的前向过程及反向传播过程依赖知识a) 熟悉全连接层、损失函数的反向传播b) 熟悉ReLU、LeakyReLU、PReLU、ELU、SELUReLU...

2018-09-02 23:06:00 8532

原创 0_2_3-卷积层的反向传播-多通道、无padding、步长不为1

依赖知识约定说明前向传播反向传播权重梯度l-1层梯度参考本文下载地址：0_2_3-卷积层的反向传播-多通道、无padding、步长不为1依赖知识a) 熟悉全连接层、损失函数的反向传播b) 熟悉卷积层的反向传播-单通道、无padding、步长1c) 熟悉卷积层的反向传播-多通道、无padding、步长1d) 熟悉以上三点的依赖知识约定说明...

2018-08-27 22:28:31 1868

原创 0_2_2-卷积层的反向传播-多通道、无padding、步长1

依赖知识约定说明前向传播反向传播权重梯度l-1层梯度本文下载地址：0_2_2-卷积层的反向传播-多通道、无padding、步长1依赖知识a) 熟悉全连接层、损失函数的反向传播b) 熟悉卷积层的反向传播-单通道、无padding、步长1c) 熟悉以上两点的依赖知识约定说明a) lll 代表网络的第lll 层, zlzlz^l 代表第lll 层...

2018-08-24 22:48:07 1617 3

原创 0_2_1-卷积层的反向传播-单通道、无padding、步长1

依赖知识a) 了解神经网络的基础知识,熟悉卷积网络b) 熟悉导数的链式法则及常见函数的导数c) 熟悉常见的优化方法，梯度下降，随机梯度下降等d) 熟悉矩阵和向量的乘加运算e) 熟悉全连接层、损失函数的反向传播卷积定义对于输入图像III , 使用维度为k1×k2k1×k2k_1 \times k_2 的滤波器KKK ,卷积的定...

2018-08-22 22:39:41 2836 3

原创 1_1-全连接神经网络做线性回归

一、定义前向、后向传播二、定义损失函数三、初始化数据四、定义网络、使用SGD训练如果对神经网络的反向传播过程还有不清楚的，可以查阅0_1-全连接层、损失函数的反向传播本文下载地址：1_1-全连接神经网络做线性回归一、定义前向、后向传播本文将用numpy实现全连接层的前向过程和反向过程，并使用一个线性回归作为例子进行测试；import numpy as n...

2018-08-19 21:02:32 5809 4

原创 0_1-全连接层、损失函数的反向传播

依赖知识约定说明误差反向结论常用损失函数均方差损失交叉熵损失依赖知识a) 了解神经网络的基础知识b) 熟悉导数的链式法则及常见函数的导数c) 熟悉常见的优化方法，梯度下降，随机梯度下降等d) 熟悉矩阵和向量的乘加运算约定说明a) 对于一个nnn层神经网络,第iii层表示为li,&amp;amp;amp;nbsp;1≤i≤nli,&amp;amp;amp;nbsp;1≤i≤n...

2018-08-19 16:56:30 8765 4

原创 cv-papers: 计算机视觉相关论文整理、翻译、记录、分享;

计算机视觉相关论文整理、翻译、记录、分享;包括图像分类、目标检测、视觉跟踪/目标跟踪、人脸识别/人脸验证等领域。欢迎加星, 欢迎提问，欢迎指正错误, 同时也期待能够共同参与;长沙的朋友欢迎线下交流持续更新中... ...项目地址：https://github.com/yizt/cv-papers基础网络ResNeXt目标检测R-CNN 系列R-CNNFast...

2018-07-17 17:04:14 2002

default