- 博客(24)
- 收藏
- 关注
RSS订阅原创 自定义图片读取器
跟我一起来实现一个图片数据的读取器吧！keras里自定义的数据读取器：flow_from_directory(directory): 以文件夹路径为参数,生成经过数据提升/归一化后的数据,在一个无限循环中无限产生batch数据但是有些时候使用起来并不符合自己的意图，这时候我们可以自己写一个数据读取函数，在传递给框架。# 文件地址存储于txt文件中，第一列是地址，第二列是标签，中间以一个tab缩进隔开import Imagedef custom_reader(files_list): def
2020-05-12 11:36:53
261
原创 Python生成数据列表
利用Python根据目录下文件生成图片列表跟我这样做：定义训练参数定义需要用到的变量、列表等遍历每一类别的图片，并记录每一类别的数量和总数量将遍历的图片路径、对应的类别存储到第二步定义的列表中乱序后将相关信息存储到json文件Let’s do it!import osimport randomtrain_parameters = { "label_dict":{}, # 标签信息 'class_dim':0}def get_data_list(dataPath, tra
2020-05-12 09:56:46
1126
原创 python之zipfile
介绍一个简单的python工具包：zipfile如其名，解压缩zip文件，对于数据集是zip格式的文件，可以使用该包构造一个函数，实现解压缩。import zipfileimport osdef unzip(srcFile, targetFile): if (not os.path.isdir(targetFile + "datasetName")): z = zipfile.ZipFile(srcFile, 'r') # 'r' 指定解压缩模式 z.extractall(path=t
2020-05-11 11:12:16
206
原创 ORC提取图片中文字
前因：事情是这样的：目前有一个需求，将pdf中的一些内容做成PPT，PDF中的文字不能选中，是以图片形式保存的。如果人工对照PDF打字速度较慢，费时费力，下面不介绍ORC的实现，是介绍如何使用。主题:orc实现图片中的文字提取实现：1.安装pip install cnocr首次使用cnocr时，系统会自动从 cnocr-models 下载zip格式的模型压缩文件，并存于 ~/.cnocr目录。 下载后的zip文件代码会自动对其解压，然后把解压后的模型相关目录放于~/.cnocr/1.1.0目
2020-05-09 00:28:10
743
原创 python zip（a,b）和zip（*c）的用法
python zip（a,b）和zip（*c）的用法(a,b) 是从a，b这两个序列中，成对的、按顺序的取出相同位置上的元素，然后放在一起，组成一个元组。当然，a，b系列可能等长，也可能不等长，最终的结果长度与a，b这两个序列中最短的序列长度一致。>>> a = [1,2]>>> b = ['a', 'b']>>> c = zip(a,...
2020-03-19 12:04:33
2568
1
原创 【Tensorflow实战】一步步创建AlexNet模型识别猫和狗
实际项目见：https://github.com/HiAliens/Cat-and-dog一、概述一步步从数据处理和读入开始，到模型创建、训练、测试。二、所含文件文件注释里有详细的介绍,详细见上面gitghu地址三、代码preprocessing.py#!/usr/bin/env python # -*- coding:utf-8 -*-# author:Dr.Shang...
2019-06-16 16:24:22
940
5
原创 Tensorflow基础：TFRecords的扩展应用-将图片存储到TFRecords文件中，并从中读取
这是对上一篇文章的应用，内容相似，不多说了，直接上代码。一、存储图片文件存储结构：#!/usr/bin/env python # -*- coding:utf-8 -*-# author:Dr.Shang"""使用每个图片的文件名作为标签"""import osimport tensorflow as tffrom PIL import Imagepath = '...
2019-06-02 21:27:36
318
原创 Tensorflow基础：TFRecord文件创建和读取
一、创建创建时需要按照上篇文章介绍的三种数据格式来写。import tensorflow as tfimport numpy as npTFFilePath = 'test.tfrecords'writer = tf.python_io.TFRecordWriter(TFFilePath)for _ in range(100): randomArray = np.random...
2019-06-02 16:21:08
311
原创 Tensorflow基础：tf专属数据文件TFRecords可存储的3种数据格式
一、介绍 TFRecord是Tensorflow专门提供存储数据的文件，它可以接受3种数据格式，分别为float_list、int64_list、bytes_list。通过调用tf.python_io.TFRcordWriter类将数据写入到tf.train.Example协议中，最终生成TFRcords文件 一个tf.train.Example包含若干个Features，而Feature...
2019-06-02 14:50:52
487
原创 tensorflow基础：CSV文件的读取
一、概念 上一篇文章介绍了如何创建图片以及图片标签的csv文件，这一篇来说一下如何读取csv文件。在使用Tensorflow时，可以一边处理数据，一边根据csv文件读取图片，防止一次性读入过多数据造成资源耗光。二、思路 使用readines函数从csv文件中循环读取一条条记录，将读取到的地址和标签分别放置于两个不同的列表中。三、代码实现image_list = []label_l...
2019-05-25 18:46:44
892
原创 tensorflow基础之：图片地址和标签的CSV文件的创建
一、概念 无论是图片分类还是目标追踪，都需要提供每张图片对应的类别或者标注。这篇文章主要介绍一下如何创建图片对应的类别的csv文件。二、思路 首先在项目目录下创建一个名为IMAGE文件夹，将一些图片放入其中，图片名称最好有固定的命名规则（如图1）。之后通过代码获得图片路径，将所有图片名称读取到列表中，创建csv文件，利用循环结构，一次写入一张图片的地址和标签。三、代码实现impor...
2019-05-25 16:15:15
1419
原创 图片预处理和图片扩增（将一张图片按照固定步长分为4张）
这几天在读一篇论文，文中提到“当目标图像与原始图像的长宽比不同时，传统的归一化方法会使图像变形”，它提出一种按照目标图片（模型的输入）的比例缩放输入图片，步骤如下图所示：我将上述方法进行了复现，分为两给py文件，一个是处理文件，一个是运行文件。1.处理文件：image_processing.py我将处理文件封装成了类，便于使用，如下。需要说明的一点是，cv2.imwrite（path，im...
2019-05-24 14:27:31
1247
原创 图像数据预处理中读取图片的方法摘录
一、起因 需要自己编写一个图片分批处理函数，该函数完成的操作主要是两步，第一步，用某种方法从硬盘中读取图片；第二步，用某种方法分批处理这些文件。这里要说的，就是利用“某种方法从硬盘中读取图片”中的方法。二、方法gloa方法，其思想是获取每张图片的路径信息，将其存入一个列表中，然后根据batchsize的大小对这个列表进行分组，每次包含batchsize个图片列表作为参数传到获取图片的函数...
2019-05-09 11:24:00
1218
原创 conv1D实践
一、起因 （此处略去一些字）看了一篇博主关于心电图识别的博客：https://blog.csdn.net/xiaosongshine/article/details/88972196#commentBox，在学习过程有一些操作不解，查询后特此记录一下。二、答疑点from scipy.io import loadmat，数据集是.mat格式，调用这个库来转换成python能识别的形式。...
2019-05-07 14:04:14
1396
2
原创 tensorflow数据处理！！大神之作！！
一、起因最近在看图像数据预处理，有很多不懂得地方，于是问了问度娘。请各位小主按顺序食用。二、博客推荐1.Session.run()和Tensor.eval()的区别：https://blog.csdn.net/chengshuhao1991/article/details/785547432.四种类型数据的读取流程及API讲解和代码实现：https://blog.csdn.net/ch...
2019-05-06 21:21:18
192
原创 tensorflow - 队列、多线程
一、总览 今天为小主们简单得介绍一下tensorflow中有关队列与多线程的基本使用。主要讲解tf.Coordinator 和 tf.QueueRunner.二、具体介绍 首先来说一说tf.Coordinator，它的作用是协同多个线程一起停止，并提供了should_stop、request_stop、join三个函数，当should_stop函数的返回值为True时，当前线程退出；每一...
2019-05-06 19:28:04
157
原创 TF中一些疑惑解答
batch nomarlization 操作相关https://blog.csdn.net/huitailangyz/article/details/85015611https://www.jianshu.com/p/7ce4e709fe7d集合（collection）https://blog.csdn.net/touch_dream/article/details/78446863h...
2019-05-06 00:08:14
164
原创 利用tensorflow自带的函数预处理图像
一.方法图像读取，剪裁、反转、改变颜色，涉及的函数有：读取：tf.gfile.FastGFile(path,decodestyle)剪裁：tf.image.sample_distorted_bounding_box（image_size,bounding_boxes）tf.slice（image, bbox_begin, bbox_size）tf.image.resize_imag...
2019-05-05 21:16:33
265
原创 阅读fine-turn VGG16代码中不懂得操作
一 项目博客：https://blog.csdn.net/greepex/article/details/79349539二 代码文件vgg16.py 不懂操作汇总1.1 import inspect path = inspect.getfile(Vgg16) inspect模块主要提供了四种用处： a 对是否是模块、框架、函数进行类型检查 b 获取源码 c 获取...
2019-05-04 14:52:25
280
原创 tensorboard使用
使用 tf.name_scope(“name”) as scope:把需要显示的weight,biases,conv囊括进去，之后在变量下面添加 tf.summary.histogram(“name”, weight).在loss下面添加tf.summary.scalar(“loss”,loss)之后再使用sess.run(tf.gloable_variables_initiializer(...
2019-05-03 16:24:18
96
原创 Process finished with exit code -1073741819 (0xC0000005)错误解决
一. 错误出现原因从python3.5.2更新到了3.6.2后，再运行import tensorflow as tf，报错。二. 解决办法更新h5py
2019-05-03 13:30:23
3150
2
原创 使用tensorflower object detection api 训练自己模型时出现的问题以及解决办法
问题主要有两个，如下图所示：（1）需要安装pypcocotools（2）编码出错解决办法（1）安装对应文件，参考：https://blog.csdn.net/xccccz/article/details/82725409#commentBox注：在此之后，可能需要更新numpy。（2）在配置ssd_mobilenet_v1_coco.config文件时，我用的记事本打开，添加了一...
2019-04-29 16:43:44
525
原创 TensorFlow Object Detection API 运行demo报错以及解决办法
一. 安装win10安装参考：https://blog.csdn.net/qq_28019591/article/details/82023949#commentBox二.运行demo我之前在学习图像分类时候安装了tensorflow-gpu、tensorflow、numpy等其他（Protobuf 3.0.0、Python-tk、Pillow 1.0、lxml、tf Slim (which...
2019-04-29 14:20:37
493
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人