- 博客(152)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 tensorflow | tensorflow实现将ckpt转pb文件
本博客实现将自己训练保存的ckpt模型转换为pb文件，该方法适用于任何ckpt模型，当然你需要确定ckpt模型输入/输出的节点名称。目录tensorflow实现将ckpt转pb文件一、CKPT 转换成 PB格式二、 pb模型预测三、源码下载和资料推荐 1、训练方法 2、本博客Github地址 3、将模型移植Android的方法 使用 ...
2019-01-06 17:02:20
6671
1
原创 keras | 一维序列- conv1d卷积的使用
keras中Conv1D从哪里导入？from keras.layers import *Conv1D的输入维度是怎样的？一般来说，输入数据如果是7500x128列的二维表形式的话，需要加入一个空间维度，如下X = np.expand_dims(X, axis=2) #表示是是增加的维度是在第三个维度上# reshape (569, 30) to (569, 30, 1) ...
2019-01-06 16:41:20
26129
1
转载 推理过程 | tf推理过程中获得所有节点的名称
在推理过程中，获得所有pb模型中的节点名称， 使用graph_def.node.name即可。from tensorflow.python.framework import tensor_utilfrom google.protobuf import text_formatimport tensorflow as tffrom tensorflow.python.platform impo...
2019-01-03 11:19:25
1014
转载 分布式深度学习 | TensorFlow单主机多GPU/多主机多GPU原理与实现
TF的部署分为单机部署和分布式部署。在训练集数据量很大的情况下，单机跑深度学习程序过于耗时，所以需要分布式并行计算。在分布式部署中，我们需要在不同主机节点，实现client，master，worker.1. Single-Device Execution1.1 单机多GPU训练构建好图后，使用拓扑算法来决定执行哪一个节点，即对每个节点使用一个计数，值表示所依赖的未完成的节点数目，当一个...
2018-12-08 09:11:16
2061
原创 工具使用 | Git 笔记
时间：2018.11.15（一）git提交文件到仓库——多次add,一次commit为什么Git添加文件需要add，commit一共两步呢？因为commit可以一次提交很多文件，所以你可以多次add不同的文件，比如：git add file1.txtgit add file2.txt file3.txtgit commit -m "add 3 files."小结现在总结一下今天学...
2018-11-15 10:55:08
309
4
转载 python | Python魔法方法指南
(来源：PyZh https://pyzh.readthedocs.io/en/latest/python-magic-methods-guide.html#id2)11. (译)Python魔法方法指南原文: http://www.rafekettler.com/magicmethods.html 原作者: Rafe Kettler 翻译: hit9 原版(...
2018-10-28 12:57:43
446
转载 LeetCode-DP算法 | 最长公共子序列和最长公共子串区别
最长公共子串（Longest Common Substring）与最长公共子序列（Longest Common Subsequence）的区别： 子串要求在原字符串中是连续的，而子序列则只需保持相对顺序一致，并不要求连续。例如X = {a, Q, 1, 1}; Y = {a, 1, 1, d, f}那么，{a, 1, 1}是X和Y的最长公共子序列，但不是它们的最长公共字串。一、最...
2018-09-21 09:37:15
8558
2
转载 分块查找(介于折半查找和顺序查找之间的查找方式)
分块查找：分块查找又称索引顺序查找，它是顺序查找的一种改进方法。方法描述：将n个数据元素“按块有序”划分为m块（m<=n）。每一块中的数据元素不必有序，但块与块之间必须“按块有序”，即第1快中的任一元素的关键字都必须小于第2块中任一元素的关键字；而第2块中任一元素又都小于第3块中的任一元素，……图示分块如下： 操作步骤：1、先选取各快中的最大关键字构成一个索引表2...
2018-09-19 10:49:20
8773
1
转载 多任务学习 | TensorFlow 一步一步构建一个多任务学习模型
介绍为什么是多任务学习？当你在思考新事物的时候，他们通常会利用他们以前的经验和获得的知识来加速现在的学习过程。当我们学习一门新语言的时候，尤其是相关的语言时，我们通常会使用我们一级学过的语言知识来加快这一门新语言的学习过程。这个过程也可以用另一种方式来理解 —— 学习一种新的语言可以帮助你更好的理解和说出自己的想法。我们的大脑会同时学习多种不同的任务，无论我们是想将英文翻译成中文，还是...
2018-09-13 16:45:08
5407
转载 去噪自编码器 | tensorflow 卷积反卷积形式的去噪自编码器
对于去噪自编码器，网上好多都是利用全连接神经网络进行构建，我自己写了一个卷积、反卷积形式的去噪自编码器，其中的参数调优如果有兴趣的话，可以自行修改查看结果。数据集使用最简单的mnist：网络结构：mnist输入（28*28=784向量） => 28*28*1矩阵 => 卷积层1 => 14*14*64 => 卷积层2 => 7*7*64...
2018-09-13 16:34:12
885
转载 反卷积实现 | tensorflow 实现
deconv解卷积，实际是叫做conv_transpose, conv_transpose实际是卷积的一个逆向过程，tf 中， 编写conv_transpose代码的时候，心中想着一个正向的卷积过程会很有帮助。想象一下我们有一个正向卷积: input_shape = [1,5,5,3] kernel_shape=[2,2,3,1] strides=[1,2,2,1] padding = "...
2018-09-13 16:29:41
1111
转载 GAP | tensorflow 实现 Class Activation Map 用于 分类目标定位
对《Learning Deep Features for Discriminative Localization》的剖析一个最近的使用例子是吴恩达公司做的肺炎诊断准确率超过人类医生在这篇论文中，认为图片在经过卷积层的特征提取后，通过CAM，除了不弱的分类精度外，还能对分类的依据进行定位，相当于诠释网络是如何做出分类判断的。CAM的核心部分如下图：在卷积层之后，使用了一个叫GAP的池，全称...
2018-09-13 16:20:11
1450
转载 深度学习 | FPN详解（2）
论文题目：Feature Pyramid Networks for Object Detection论文链接：论文链接论文代码：Caffe版本代码链接tensorflow:实现FPN的代码细节https://github.com/yangxue0827/FPN_Tensorflow/blob/master/libs/rpn/build_rpn.py 一、FPN初探1. 图像...
2018-09-10 20:32:34
2884
翻译 深度学习 |BN防止过拟合（论文解释）
BN论文对BN抑制过拟合的解释： When training with Batch Normalization, a training example is seen in conjunction with other examples in the mini-batch, and the training network no longer producing deterministic ...
2018-09-03 21:49:40
4160
转载 tensorflow | ConfigProto GPU使用设置（包括占用率等）
tf.ConfigProto一般用在创建session的时候。用来对session进行参数配置with tf.Session(config = tf.ConfigProto(...),...) #tf.ConfigProto()的参数log_device_placement=True : 是否打印设备分配日志allow_soft_placement=True ： 如果你...
2018-09-03 21:39:53
2625
1
原创 linux | 将服务器中projec工程映射到本地并利用jupyter编辑服务器代码
ssh [email protected] -p 2222 -L 18899:localhost:18899 -Njupyter notebook --no-browser --port 18899 授予某个用户权限：chown -R keesail:keesail ./local 指定local目录所有者为keesailchmod 760 ./local 赋予local目...
2018-08-30 15:28:01
453
转载 python | 批量文件名字汉字转拼音
# -*-coding=utf8-*-import os;import pypinyinfrom pypinyin import pinyin, lazy_pinyin def rename(): path=u"C:/Users/xxxer/Desktop/hanzi2pinyin/"; filelist=os.listdir(path)#该文件夹下所有的文件（包括文件...
2018-08-30 15:19:21
2994
1
原创 python | 细粒度分类图像标签的一些处理操作
#-*-coding:utf8-*-import osimport numpy as npimport sysfrom PIL import Imageimport stringimport relabeldict = {}def generate_label(labeldir, traindir): with open(labeldir) as f: ...
2018-08-28 09:10:36
989
2
转载 python | strip() 和split() 移除字符串末尾数字（正则表达式）
一、strip（）假设str是一个字符串那么str.strip()就是把这个字符串头和尾的空格，以及位于头尾的\n \t之类给删掉。举例e.g.1str=" ABC"那么str.strip() 就会为"ABC"e.g.2str="\t AABBc "那么str.strip()就会为"AABBc"e.g.3str=" \n A BC \t"...
2018-08-28 00:04:19
25306
转载 Python | Image 基本的图像处理操作
PIL ImagePython 里面最常用的图像操作库是Image library（PIL），功能上，虽然还不能跟Matlab比较，但是还是比较强大的，废话补多少，写点记录笔记。1. 首先需要导入需要的图像库：import Image2. 读取一张图片：im=Image.open('/home/Picture/test.jpg')3. 显示一张图片：im.show()...
2018-08-27 13:53:26
3662
转载 数据增广 | 原图和labelimg标签同时增加——适用于目标检测任务
针对目标检测任务，对训练数据做旋转进而达到数据增广的python2代码。另外附上一份，检查旋转后效果的Python代码（读取annotations中xml，画图的代码），在最下面# -*- coding:utf-8 -*-# !/usr/bin/env python import osimport cv2import xml.dom.minidomfrom xml...
2018-08-26 18:57:52
5535
转载 数据增广 | 原图 和mask 同时增加——适用语义分割等
博主想使用Unet网络完成一个分割任务,手边只有40张图和对应的mask,需要进行data augment. 做数据增强有很多工具,常用的是使用keras内置的ImageDataGenerator生成器生成图片,但是这个工具只能对一张图进行随机变化,而image和mask是一一对应的,二者必须同时进行同种变化.下面隆重介绍一个强大的数据增强工具augmentor 它的使...
2018-08-26 18:52:29
7405
15
转载 数据增广 | keras的图片生成器ImageDataGenerator对image和mask的同时数据生成
一 单张图片+flow函数###图片来源形式"""E:/tmp/0010.jpgE:/tmp/0010.png"""from keras.preprocessing.image import ImageDataGenerator, array_to_img, img_to_array, load_imgdatagen = ImageDataGenerator( ...
2018-08-26 18:49:54
2478
4
转载 C++基础|templete
转自：http://www.360doc.com/content/09/0403/17/799_3011262.shtml1. 模板的概念。我们已经学过重载(Overloading)，对重载函数而言,C++的检查机制能通过函数参数的不同及所属类的不同。正确的调用重载函数。例如，为求两个数的最大值，我们定义MAX()函数需要对不同的数据类型分别定义不同重载(Overload)版本。 ...
2018-08-22 12:06:10
832
转载 细粒度分类 | 细粒度识别中的深度定位与对齐
1.细粒度图像分析任务（又叫子类别图像分类） 分类：强监督（物体标准框、局部标注点）、弱监督（无人工标注信息或者只包含物体标注框）； 图 1 细粒度图像识别与粗类识别的区别 数据集描述：Caltech-UCSD Birds-200-2011 ...
2018-08-20 23:32:27
4377
转载 C++基础| std::transform()
std::transform在指定的范围内应用于给定的操作，并将结果存储在指定的另一个范围内。要使用std::transform函数需要包含<algorithm>头文件。以下是std::transform的两个声明，一个是对应于一元操作，一个是对应于二元操作：template <class InputIterator, class OutputIterator, ...
2018-08-20 19:09:45
1969
转载 深度学习网络 | inception网络再分析（含代码）
一、Inception网络（google公司）——GoogLeNet网络的综述获得高质量模型最保险的做法就是增加模型的深度（层数）或者是其宽度（层核或者神经元数），但是这里一般设计思路的情况下会出现如下的缺陷：1.参数太多，若训练数据集有限，容易过拟合；2.网络越大计算复杂度越大，难以应用；3.网络越深，梯度越往后穿越容易消失，难以优化模型。 解决上述两个缺点的根本方...
2018-08-20 19:03:41
5499
1
转载 深度学习 | softmax，softmax loss和cross entropy
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对这些层具体是怎么实现的了解吗？你对softmax，softmax loss，cross entropy了解吗？相信很多人不一定清楚。虽然网...
2018-08-20 16:04:54
636
转载 细粒度识别 | 百度细粒度识别方案
近日，百度发布了用于花卉识别的移动端应用，这种基于全卷积注意力网络的细粒度识别方法在计算和准确度上都有非常强大的优势。在百度主任研发架构师陈凯和资深研发工程师胡翔宇的解释下，本文首先将介绍什么是细粒度识别，以及一般的细粒度识别方法，然后重点解析百度基于强化学习和全卷积注意力网络的细粒度识别模型。五一出游赏花，为女朋友解释解释细粒度识别也是极好的。 细粒度识别的概念其实非常...
2018-08-20 16:03:20
4961
转载 细粒度分类 | Bilinear model 以及相关的变形
最近读到了一篇关于bilinear cnn的文章，就把几篇相关的文章进行了阅读和汇总，总共有三篇文章。我将对这三篇文章分别进行描述。Bilinear CNN Models for Fine-grained Visual Recognition-ICCV2015 这篇文章的主要思想是对于两个不同图像特征的处理方式上的不同。传统的，对于图像的不同特征，我们常用的方法是进行串联（连接...
2018-08-19 23:07:48
5781
2
转载 tensorflow | padding 介绍
之前一直对tensorflow的padding一知半解，直到查阅了tensorflow/core/kernels/ops_util.cc中的Get2dOutputSizeVerbose函数，才恍然大悟，下面是具体的介绍实际上tensorflow官方API里有介绍！！不科学上网貌似打不开根据tensorflow中的conv2d函数，我们先定义几个基本符号1、输入矩阵 W×W，这里只考...
2018-08-19 17:44:20
293
转载 深度学习 | tensorflow 实现卷积原理，手写python实现卷积
从一个通道的图片进行卷积生成新的单通道图的过程很容易理解，对于多个通道卷积后生成多个通道的图理解起来有点抽象。本文以通俗易懂的方式讲述卷积，并辅以图片解释，能快速理解卷积的实现原理。最后手写python代码实现卷积过程，让Tensorflow卷积在我们面前不再是黑箱子！注意：本文只针对batch_size=1,padding='SAME'，stride=[1,1,1,1]进...
2018-08-19 17:41:11
385
转载 深度学习| 用global average pooling 代替最后的全连接层
最近在看关于cifar10 的分类的识别的文章在看all convolution network 中看到中用到一个global average pooling 下面就介绍一下global average pooling 这个概念出自于 network in network 主要是用来解决全连接的问题，其主要是是将最后一层的特征图进行整张图的一个均值池化，形成一个特征点，将这些...
2018-08-18 22:49:56
28566
4
转载 深度学习 | 全连接层原理
一.全连接层： 全连接层需要把输入拉成一个列项向量，如下图所示： 比如你的输入的feature map是2X2，那么就需要把这个feature map 拉成4X1的列向量，如果你的feature map 的channels是3，也就是你的输入是3X2X2，也就是相当于有了12个像素点，你就需要把feature map 拉成12X1的列向量，这时...
2018-08-18 22:42:02
17590
转载 python基础 | python中找出numpy array数组的最值及其索引
1 在list列表中，max(list)可以得到list的最大值，list.index(max(list))可以得到最大值对应的索引 2 但在numpy中的array没有index方法，取而代之的是where，其又是list没有的首先我们可以得到array在全局和每行每列的最大值(最小值同理)>>> a = np.arange(9).reshape...
2018-08-18 22:02:41
2945
转载 机器学习 | 概念汇总（西瓜书）
转载请注明作者梦里茶括号表示概念出现的其他页码 如果发现错误，请到issue中提出或者直接PR 公式采用latex编辑，MathJax渲染整理by: ahangchen, luopengting, hscspring概念列表o 绪论 o 模型评估与选择 线性模型 决策树 神经网络 支持向量机 贝叶斯分类器 集成学习 聚类...
2018-08-17 11:55:12
262
转载 目标检测 | OHEM
这里主要说下该论文的hard mining过程： 先上图，如Figure2所示： 从图中可以看出，本文的亮点在于在每次迭代中，较少训练样本下，如何hard negative mining，来提升效果。 即针对Fast-RCNN框架，在每次minibatch（1张或者2张）训练时加入在线筛选hard region的策略，达到新的SoA。需要注意的是，这个OHEM适合于b...
2018-08-17 10:24:17
12763
4
转载 C++基础 | Sizeof与Strlen的区别与联系
一、sizeofsizeof(...)是运算符，在头文件中typedef为unsigned int，其值在编译时即计算好了，参数可以是数组、指针、类型、对象、函数等。它的功能是：获得保证能容纳实现所建立的最大对象的字节大小。由于在编译时计算，因此sizeof不能用来返回动态分配的内存空间的大小。实际上，用sizeof来返回类型以及静态分配的对象、结构或数组所占的空间，返回值跟对象、结构、数...
2018-08-17 01:27:00
219
转载 参数估计 | MLE，MAP，朴素贝叶斯估计
最大似然估计（MLE）：最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。最大似然估计中采样需满足一个很重要的假设，就...
2018-08-17 01:06:10
1239
转载 梯度下降 | 全量，随机，mini-batch
1，批量梯度下降法（Batch Gradient Descent） ：在更新参数时都使用所有的样本来进行更新。 优点：全局最优解，能保证每一次更新权值，都能降低损失函数；易于并行实现。 缺点：当样本数目很多时，训练过程会很慢。 2，随机梯度下降法（Stochastic Gradient Descent）：在更新参数时都使用一个样本来进行更新。每一次跟新参数都用一个样本，更新很多次...
2018-08-17 00:51:32
536
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人