miya1028-CSDN博客

原创 Multi_Layer Perceptron

"""深度学习特点：层数越深，概念越抽象，需要背诵的知识点(神经网络隐含节点)就越少。不过实际应用中，使用层数较深的神经网络会遇到许多困难，比如容易过拟合，参数难以调试，梯度弥散，等等。过拟合：指模型预测准确率在训练集上升高，但是在测试集上反而下降了，通常意味着泛化性不好。为了解决这个问题，Hinton教授团队提出了一个思路简单但是非常有效的方法，Dropout.其实也算是一种bagging...

2018-05-16 11:44:33 494

原创 Denoising_Autoencoder

""" 自编码器（Autoencoder），顾名思义，即可以使用自身的高阶特征编码自己。也是一种神经网络，它的输入和输出是一致的，它借助稀疏编码的思想，目的是使用稀疏的一些高阶特征重新组合来重构自己。因此，它的特征非常明显：第一，期望输入/输出一致；第二，希望使用高阶特征来重构自己，而不只是复制像素点。 """ import numpy as np import sklearn.prepro...

2018-05-16 11:43:22 566

原创 TensorBoard

import collections import tensorflow as tf slim = tf.contrib.slim #定义一个典型的Block,需要输入三个参数，分别是scope, unit_fn, args. #以Block('block1',bottleneck, [(256,64,1)]*2+ [(256,64,2)])这一行代码为例，它可以定义一个典型的Block,其中...

2018-05-16 11:42:03 317

原创 ResNet

import collections import tensorflow as tf slim = tf.contrib.slim #定义一个典型的Block,需要输入三个参数，分别是scope, unit_fn, args. #以Block('block1',bottleneck, [(256,64,1)]*2+ [(256,64,2)])这一行代码为例，它可以定义一个典型的Block,其中...

2018-05-16 11:40:48 304

原创 Google Inception Net

"""Inception V1 最大的特点是控制了计算量和参数量的同时，获得了非常好的分类性能——top-5错误率6.67% Inception V1 有22层深，比AlexNet的8层或者VGGNet的19层还要更深，但参数量仅为AlexNet（6000万）的1/12。 Inception V1 降低参数量的目的有两点：第一，参数越多模型越庞大，需要提供模型学习的数据量就越大；第...

2018-05-16 11:32:10 346

原创 VGGNet

"""VGGNet是牛津大学计算机视觉组（Visual Geometry Group )与Google DeepMind一起研发的深度卷积神经网络。结构简洁，整个网络都使用了同样大小的卷积核尺寸（3*3），和最大池化尺寸（2*2）泛化性好，可用来提取图像特征。VGGNet训练后的模型参数在其官方网址上开源了，可用来在domain specific的图像分类任务上进行再训练, 相当于提供了非常好...

2018-05-16 11:30:11 471

原创 CIFAR

"""CIFAR-10,60000张32*32的彩色图像，训练集5，0000张，测试集1，0000张，标注为10类每一类图片6000张，airplane.automobile.bird.cat.deer.dog.frog.horse.ship.truck trick1: 对weights L2正则化 trick2: 对图片进行了翻转。随机剪切等数据增强，制造了更多样本 trick3: 在每个卷积...

2018-05-16 11:27:26 1196 1

原创 cifar-10

def train(): with tf.Graph().as_default(): global_step=tf.Variable(0,trainable=False) # 输入选用的是distored_inputs函数 images,labels=cifar10.distorted_inputs() logits=cifar1...

2018-04-19 11:39:44 191

原创 MNIST

from tensorflow.examples.tutorials.minist import input_data import tensorflow as tf minist=input_data.read_data_sets("MNIST_data/",one_hot=True) sess=tf.InteractiveSession() def weight_variable(shap...

2018-04-19 11:37:33 156

原创 AlexNet

"""AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。（2）训练时使用Dropout随...

2018-04-19 11:35:43 210

miya1028的博客