南枫木木-CSDN博客

原创 23-TensorFlow2.2+Keras版本新特性---自动图

基于autograph的tf.keras流程tensorflow-gpu安装查看版本tf.keras简单编程流程tf.function装饰器实现自动图整体流程tensorflow-gpu安装笔者这里安装了anaconda3的最新版本,下载自清华大学镜像站,选择了ubuntu系统可用的Anaconda3-2020.02-Linux-x86_64.sh下载安装的,其它系统选择对应的版本即可,anaconda安装完成后,可以首先检查一下系

2020-07-17 01:38:02 1208

原创 22-TensorFlow中估算器(Estimator)回归实例

TF2.0及Estimator初使用一些想说的话TF2.0新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入一些...

2020-01-05 01:32:26 1003

原创 00-tensorflow_lattice/cc/ops/_pwl_calibration_ops.so:cannot open shared object file——踩坑日记

tensorflow-lattice模块安装安装错误信息(linux安装)解决历程&MAC系统下安装方法Linux系统下安装方法安装错误信息(linux安装)import tensorflow_lattice as tfl File "/home/dream/anaconda3/envs/tensorflow-lattice/lib/python3.7/site-packages/...

2019-12-29 15:05:47 354

原创 21-Keras-yolo3-训练自己的数据(CDBmax 数据国度)

一、写在前面本篇博客将围绕着Github上星标最多(2k+)的基于Keras(后端为TensorFlow)的YOLOv3模型训练自己的数据，链接为qqwweee/keras-yolo3, 本篇博客仅介绍流程，代码和结构部分不做相应的解释，如果您对yolo的原理和结构比较感兴趣的话，建议可以搜索Yolov3，其它类似的文章可能对您有所帮助。如果您对Keras不是很了解的话，可以参考一下博主写的...

2019-01-23 20:49:57 1376 3

原创 20-Keras_CIFAR-10_Functional函数式模型(CDBmax 数据国度)

一、写在前面在上文已经讲到，Keras在构建模型方面，尤其是串联结构的模型时，使用Sequential无疑是一种比较好的选择，但是随着深度学习的不断发展，面对多种多样的模型，尤其是像GoogleNet等带有Inception结构的模型，仅仅是并联的结构是无法满足实际的需要，这种并联的网络结构往往对应着多个输出，这种时候我们往往需要选择更加通用的Functional模型，因为其的广泛性与通用性...

2019-01-07 14:54:30 1044

原创 19-Keras_Mnist_Sequential序贯模型(CDBmax 数据国度)

一、写在前面Keras是一个开放源代码的高级深度学习程序库，能够运行在TensorFlow之上，由python编写，其优点在于可以使用最少的程序代码、花费最少的时间就可以建立深度学习模型，进行训练和评估准确率并进行预测。虽然使用TensorFlow这样的链接库可以完全控制各种深度学习模型的细节，但是需要编写更多的程序代码，且花费更多的时间用于开发，因而学习Keras在笔者看来是完全有必要的。当然...

2019-01-05 16:34:18 1853

原创 18-TFRecord 数据格式化存储工具（CDBmax 数据国度）

一、写在前面这篇是拖了很久才正式写的一篇，也算是工程化的应用中比较重要的一个部分，所以在这里做一个简要的分享。TFRecord是TensorFlow官方推荐使用的数据格式化存储工具，可以很大程度上提高TensorFlow训练过程中的IO效率。我们之前在做一些简单的训练的时候都是使用文本存储的方式，比如之前所作的花卉分类使用的两万张图片存储之文本文件中大约耗费了70个G的存储空间，而且一次性读入这...

2018-12-30 17:19:43 1517 1

原创 17-seq2seq-映射关系

一、前言本例将简单使用seq2seq模型训练出一个简单的词向量映射关系的案例，往细一点说，就是首先准备有映射关系的数据用来作为数据集，然后将输入数据映射到语义空间传入编码器，然后得到它的状态信息，然后把状态信息传入解码器并且该信息和EOS（终止符）作为第一个结点的输入，之后把第一个时间结点的输出和上一个结点的状态信息置入第二个时间结点的输入中去，依次循环，直到最后得到EOS的结果为止。此时拿到解...

2018-11-06 21:12:08 978

原创 16-word2vec-使用CBOW模型分词

一、前言本篇博客将介绍一种语言模型词嵌入的一种常用方法，并通过案例简要实现自己的word2vec，并可视化的显示出来。具体一点说就是将一篇文章转化为若干单词，并将这些单词通过CBOW这种词嵌入的方式来训练出来每一个单词的词向量，然后再将这个高维的词向量经过t-SNE降维映射到二维平面中，最后通过matplotlib的有关方法显式的显示出来每一个单词在空间中的相对位置。二、有关概念在神经网络中...

2018-11-02 16:21:26 1285

原创 15-Anti global mean pooling

一、前言本篇简要介绍一下反全局平均池化原理以及api实现。二、相关概念反全局平均池化属于全局平均池化(TensorFlow中的api为tf.avg_pool)的逆操作，主要用于信息的还原，但是因为在池化的过程中不可避免的会丢失一部分的信息，所以我们并不能指望反全局平均池化的复原效果有想象中的能力。其原理如图所示：如图所示，反全局平均池化是近似全局平均池化的逆操作，也就是一个均值映射的过...

2018-10-23 22:04:22 877

原创 14-降噪自编码-增强抗干扰能力

一、前言本篇将围绕TinyMind 汉字书法识别自由练习赛中的比赛数据中单个字做数据增强操作，就是依据降噪自编码的原理将相对标准的字形作为训练结果，然后将比赛的单个字所有数据作为输入，简单训练一个有回溯能力的网络结构。该结构近似的将比赛数据模拟成噪声数据，输出的结果为真实的数据，这样可以在更多分类任务时让模型拥有更好的鲁棒性。也就会获得更好的结果。二、相关概念去噪自编码器：（Denoisin...

2018-09-19 21:03:11 2645

原创 13-tf.nn.batch_normalization（批量归一化）

一、前言本篇主要介绍tf.nn.batch_normalization的介绍及使用方法，该BN层级是博主之前搭建网络的过程中没有写入的，该层级的实用性是非常强的，也是一个比较常用的方法。二、介绍1.BN算法，一般用在全连接或卷积神经网络中。可以增强整个神经网络的识别准确率以及增强模型训练过程中的收敛能力。2.对于两套权重参数，例如（w1:0.01,w2:10000,w3:0.01）和（w1...

2018-09-17 23:08:39 11624

原创 12-GAN-使用GAN生成相似图片-数据增强

一、前言本篇将使用GAN(生成对抗网络)生成一类花卉图片的训练样本，也就是说我们现在拥有1000张樱花的图片，但是数据集的量太少导致分类模型的判别能力较弱，而且容易导致过拟合等问题，所以这里我们需要增加训练样本，但是实地采集又太麻烦并且爬虫得到的数据冗杂数据又太多，这个时候该怎么办呢？GAN的双网络并行训练的机制解决了这个问题。我们此案例就是依靠GAN的特点来生成更多的图片来扩充整个数据集合。...

2018-09-12 00:17:03 15549 16

原创 11-机器学习《朝花夕拾》写文章-字符预测

一、前言本篇将会以鲁迅的《朝花夕拾》的十篇散文 1.《从百草园到三味书屋》 2.《阿长与山海经》 3.《藤野先生》 4.《狗猫鼠》 5.《二十四孝图》 6.《五猖会》 7.《范爱农》 8.《琐记》 9.《无常》 10.《二十四孝图》作为模型学习的内容，全文字符数量为33431，并将如上所示的十篇散文整理为十行保存进同一个文件之中，文件名定为wordstext。之后构建3...

2018-08-22 23:31:08 1592

原创 10-RNN网络模型之MNIST分类

一、前言本篇将以RNN(Recurrent Neural Network)(循环神经网络)的网络结构来对我们熟知的MNIST数据集做分类模型训练，MNIST数据集在前面的文章中有简要的介绍，这里不做赘述，仅在下面的代码中有相应的注释信息。二、介绍 RNN:循环神经网络是一类用于处理序列数据的神经网络，就像卷积网络是专门用于处理网格化数据的神经网络一样，属于具有不同网络结构但有重叠功能的神...

2018-08-17 19:45:27 1783 1

原创 09-ResNet-TensorFlow 20 classification of flower identification

一、前言本篇应该是爬虫获取20分类数据集使用不同网络模型分类的最后一篇，本篇主要讲ResNet的网络架构及实现，具体如何更改相应的文件位置请参考上一篇，经过不断的测试与训练博主发现一个不小的问题，就是网络训练了很久都不能拟合实际效果，一开始是以为每个epoch迭代速度慢的原因，后来经过排查发现，实际是因为参数初始化的值与零相近的结果。在链式法则中，这样的参数初始化的值易陷入梯度弥散的情况。相...

2018-08-09 01:54:18 1055

原创 01_Linux install lastest opencv

一、前言本篇仅用于记录，下次如有使用，方便查看，若有问题，请及时告知，谢谢。二、安装过程 1.卸载原来版本的opencv https://blog.csdn.net/u010548772/article/details/77866744 2.更新包并下载依赖包sudo apt-get updatesudo apt-get upgradesudo apt-get ins...

2018-08-07 13:24:55 836

原创 08-GoogLeNet-TensorFlow 20 classification of flower identification

一、前言首先附上上一篇博客代码的码云链接，即右面的小图标：，相关代码已经在工作站站上跑了，读者可根据自己设备的情况，对图片数据做相应的更改以匹配自己设备的需求。有问题可以在下方留言，共同学习交流。本篇将以2014年的ILSVRC竞赛的冠军网络GoogLeNet为切入点。使用上篇博客所使用到的数据集并且使用相应的数据提取方式及框架来训练整个网络，也就是说相对上一篇博客所做的工作，这里只添加一...

2018-08-06 23:24:52 946

转载 00_码云使用所参考的文章

本内容仅做记录，如有问题，请联系告知，谢谢 1.大致流程 https://blog.csdn.net/qq_36434647/article/details/78731931 2.报错信息（fatal: refusing to merge unrelated histories）的处理 https://blog.csdn.net/m0_37402140/article/details/7...

2018-08-05 00:01:24 119

原创 07-vgg16-TensorFlow 20 classification of flower identification

一、前言首先附上整理之后的20种花卉分类数据集链接，，由于csdn对上传资源的限制，故共分为3个下载链接来使用，再次简要的介绍一下博主所整理的数据集，该数据集为20分类的花卉数据集合，分别为:杜鹃花、风信子、桂花、荷花、菊花、康乃馨、洛神花、玫瑰、梅花、茉莉花、牡丹、蒲公英、牵牛花、桃花、勿忘我、罂粟花、樱花、郁金香、月季和紫罗兰，每一种类别有1000张图片，20分类则有20000张图片。 ...

2018-08-03 22:11:59 1682 3

原创 06-CNN-爬虫获取20分类数据及数据预处理

一、前言本项目和接下来的几篇博文将会围绕着此次拿到的花卉图片数据使用各种不同的深度神经网络做分类处理，本篇内容可能会显得比较神经质。整个编写和整理的过程博主预测还是很有意思的，我们规定整个的training_epochs=5000，batch_size=10，learning_rate=0.01，梯度下降方式选择AdamOptimizer的方式，参数初始化都选择为mean=0,stddev=0...

2018-08-02 17:52:43 4636 2

原创 05-CNN网络模型之MNIST分类

一、写在前面笔者前几天已经对之前的需求做了一个简单的CNN模型构建，并成功应用到我们自己的APP上面了，但是在博客的编写过程中发现自己整理的数据集不是很容易用于展示，故这里构建CNN的网络模型使用我们所熟知的MNIST数据集，该数据集在我前面的文章中有介绍，是一个手写字体的数据集。本篇会介绍简单的CNN网络模型的搭建，以熟悉整个流程。二、任务目标 1. 构建CNN网络 2. 使用...

2018-07-29 11:20:23 1345 1

原创 04-多帧图片转换为高通道数组

一、前言经过短暂的认知实习学期的学习，笔者得到一个需求，那就是需要把一系列图片整合在一起形成一个高通道的图片，然后以一个二维数组的形式进行保存，这里的技术要求其实不是很难，但是对于细节的处理和把握还是相对比较高的，下面做一下简要的介绍。二、数据集介绍首先这个是一个8分类的数据集，每个分类在单独的一个文件夹下面，每一个文件夹下面还有若干个子文件夹，每个子文件夹下面存放的是...

2018-07-15 17:12:45 877

原创 03-网络参数初始化为0引发的问题概要

一、写在前面这里首先对上一篇内容的做一下更正与解释，上一篇的主要内容是使用3隐层的全连接网络来训练MNIST手写字体分类模型，但是在训练的过程中发现第一层隐层被设置为0的权重参数没有进行迭代更新，...

2018-07-12 01:10:11 3213

原创 02-基于TensorFlow的浅层全连接网络的手写字体识别

一、写在前面本篇将延续并拓展第一篇“01-基于TensorFlow的自定数据的三分类案例”的内容,依托于开源数据集MNIST，编写此篇内容仅为了加强自身学习和巩固知识点，并做一些简单的分享。二、数据集介绍与获取 MNIST数据集是一种入门级的计算机视觉数据集。其包含各种手写数字图片，图片种类为10类，分别是0～9。该数据集的下载地址为MNIST数据集，可以在官网中手动通过...

2018-07-10 20:42:33 1208

原创 01-基于TensorFlow的自定数据的三分类案例

一、前言：由于笔者前段时间学习TensorFlow一直以看书为重心，并没有很好的把学习到的知识转变为具体的应用中来，并且前一段时间，为了准备期末考试，很多内容都没有得到很好的记忆，为了贯穿相关知识，所以本系列博文将以实际案例为导向，结合自身所学知识和具体的应用来熟悉TensorFlow的运行机理和函数原理。本篇为第一篇，主要应用点是由机器学习拓展到深度学习中比较重要的一环，即从...

2018-07-09 13:36:21 5199 3

原创 ubuntu16.04+anaconda5.2+TensorFlow-gpu+CUDA+cuDNN+pycharm的整合

笔者由于昨天给工作站陪环境的时候把ubnutu16的系统整崩了，为了防止类似的情况发生，特记录一下配置ubuntu16.04+anaconda5.2+TensorFlow-gpu+cuda+cnDNN+pycharm的整合等要素。emmmmmmm,这里没有配图，只有相关的文字介绍，看起来可能会显得糙，人懒，望海涵。。。爬坑爬了两天时间，略显得人有点笨，还好整出来了，纠结一下先.....一.装系统，...

2018-07-04 01:02:16 2810

原创关于梯度下降有关的理解及表述

一、写在前面 1、首先说明，本人是机器学习小白，刚开始接触这一个领域，很多知识会了解的不是特别全面，在今后的学习过程中，会和大家一起努力、进步，在本博客中仅仅写梯度下降的相关内容，并不会做相关的拓展。望周知。 2、梯度法是求解无约束多元函数极值的最早的数值方法，很多机器学习的常用算法都是以它作为算法框架，进行改进和修正而导出更为复杂的优化方法。因此，梯度法可以认为是计算机求解优化问题的...

2018-03-04 00:29:11 2398 1

Keras_CIFAR-10_Functional函数式模型

已经讲到，Keras在构建模型方面，尤其是串联结构的模型时，使用Sequential无疑是一种比较好的选择，但是随着深度学习的不断发展，面对多种多样的模型，尤其是像GoogleNet等带有Inception结构的模型，仅仅是并联的结构是无法满足实际的需要，这种并联的网络结构往往对应着多个输出，这种时候我们往往需要选择更加通用的Functional模型，因为其的广泛性与通用性，在很多开源项目上面使用的就是这种以Model为类名的函数式模型。本篇将会以CIFAR-10数据集的一系列操作为时间线，来学习Functional模型。https://blog.csdn.net/qq_37972530/article/details/85873949

2019-01-07

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

qq_37972530的博客