# 首先是模块的导入
"""
os模块是处理文件夹用的
PIL模块是用来处理图片的
"""
import tensorflow as tf
import os
from PIL import Image path = "tensorflow_application/jpg" # 这是上述文件结构的主文件夹路径
filename = os.listdir(path) # 作用是遍历path文件夹下的文件,返回的是001和002文件夹构成的一个列表
writer = tf.python_io.TFRecordWriter("tensorflow_application/train.tfrecords") # 将TFRecordWriter实例化,用于文件的写操作。其中的路径是tfrecords文件的存放路径,这个路径并不需要实现建立,代码会自动生成 for name in filename:
class_path = path + os.sep + name # 得到每一类的路径,即001文件夹和002文件夹的路径,其中的os.sep返回的是一个符号,即'//',这是路径中的一个符号而已,起到连接作用,构成此文件夹的完整路径
for img_name in os.listdir(class_path):
img_path = class_path + os.sep + img_name # 同上,得到此文件夹下的每一张图片的完整路径,用于后续的图片提取并处理
img = Image.open(img_path) # 取出图片
img = img.resize((500, 500)) # 改变图片大小,大小视具体的网络要求而定,不同的网络对输入图片的大小并不完全相同。这里我暂且将图片变为500*500的大小
img_raw = img.tobytes() # 这里将图片矩阵变为字符串形式进行存储,因为TFRecords能够保存的只能是二进制数据,因此需要将数组转换为二进制形式
# 下面是关键的步骤,将数据填入到Example协议内存块中,最终生成TFRecords文件。TFRecords文件就是通过一个包含着二进制文件的数据文件,将特征和标签进行保存便于TensorFlow读取
"""
一个tf.train.Example,即Example协议内存块,包含着若干数据特征(Features),而Features
中又包含着Feature字典。任何一个Feature中又包含着FloatList, Int64List或BytesList,本例
中使用到了其中两种数据格式,即Int64List和BytesList,需要注意的是value后跟的值需要为
列表形式,所以加上了方括号
"""
example = tf.train.Example(
features = tf.train.Features(
feature={
"label": tf.train.Feature(int64_list=tf.train.Int64List(value=[name])),
"image": tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw]))))
}
serialized = example.SerializeToString() # 先将样本进行序列化操作
writer.write(serialized) # 对序列化操作后的变量进行写操作,即生成最终的tfrecords文件

  接下来需要做的便是读取生成的tfrecords文件,在神经网络中,需要将tfrecords文件中的image和label读取出来,然后将其传递给图。

# 使用的模块还是tensorflow
import tensorflow as tf filename = "tensorflow_application/train.tfrecords" # 这是上面生成的tfrecords文件
filename_queue = tf.train.string_input_producer([filenname]) # 建立一个队列,其中的参数为tfrecords文件的路径 reader = tf.TFRecordReader() # 实例化读操作,建立读取器
_, serialized_example = reader.read(filename_queue) # 返回文件名和文件
"""
通过parse_single_example解析器解析,将Example协议内存块解析为张量(Tensor),然后使用
解码器tf.decode_raw解码
"""
features = tf.parse_single_example(serialized_example,
features={
"label": tf.FixedLenFeature([], tf.int64),
"image": tf.FixedLenFeature([], tf.string)
})
img = tf.decode_raw(features["image"], tf.uint8) # 使用tf.decode_raw解码
img = tf.reshape(img, [500, 500, 3]) # 重构图片的大小为500*500*3 img = tf.cast(img, tf.float32) * (1. / 128) - 0.5
label = tf.cast(features["label"], tf.int32) """
上面将img和label从tfrecords文件中读取了出来,但是如果需要将数据取出供
图使用,还需要使用tf.train.shuffle_batch
shuffle_batch的主要参数为:
1. tensor: 入队队列,即上面得到的img和label,[img, label]
2. batch_size: batch的大小
3. capacity: 队列的最大容量
4. num_threads: 线程数
5. min_after_dequeue: 限制出队时队列中元素的最小个数
"""
img_batch, label_batch = tf.train.shuffle_batch([img, label], batch_size=1,
capacity=24, min_after_dequeue=1) # 将得到的img_batch, label_batch传递给需要进行递归的数据即可

  原文链接:https://blog.csdn.net/cl2227619761/article/details/80107208

越来越清晰的TFRecord处理图片的步骤的更多相关文章

  1. 安装glue,用glue批量处理图片的步骤

     glue批量处理图片:http://glue.readthedocs.io/en/latest/quickstart.html#and-why-those-css-class-names 首先需要安 ...

  2. Nginx安装(我觉得我这篇可能是全网最清晰的一篇安装步骤了)

    原文内容来自于LZ(楼主)的印象笔记,如出现排版异常或图片丢失等问题,可查看当前链接:https://app.yinxiang.com/shard/s17/nl/19391737/46aadb8f-5 ...

  3. 更加清晰的TFRecord格式数据生成及读取

    TFRecords 格式数据文件处理流程 TFRecords 文件包含了 tf.train.Example 协议缓冲区(protocol buffer),协议缓冲区包含了特征 Features.Ten ...

  4. 自动化运维工具Ansible的部署步骤详解

    本文来源于http://sofar.blog.51cto.com/353572/1579894,主要是看到这样一篇好文章,想留下来供各位同僚一起分享. 一.基础介绍 ================= ...

  5. Goodbye2014,Hello2015

    正如我在研发会议上说的,总结是为了更好的计划:而计划,则是让你做事有目标,有方向:有了目标和方向,你才能真正把事情做成! 总的来说2014年可以归纳为下图: 2014年总结 一年的活动,基本可以归纳为 ...

  6. 【原创】机器学习之PageRank算法应用与C#实现(2)球队排名应用与C#代码

    在上一篇文章:机器学习之PageRank算法应用与C#实现(1)算法介绍 中,对PageRank算法的原理和过程进行了详细的介绍,并通过一个很简单的例子对过程进行了讲解.从上一篇文章可以很快的了解Pa ...

  7. 漫谈可视化Prefuse(六)---改动源码定制边粗细

    可视化一路走来,体会很多:博客一路写来,收获颇丰:代码一路码来,思路越来越清晰.终究还是明白了一句古话:纸上得来终觉浅,绝知此事要躬行. 跌跌撞撞整合了个可视化小tool,零零碎碎结交了众多的志同道合 ...

  8. [python 译] 基于面向对象的分析和设计

    [python 译] 基于面向对象的分析和设计 // */ // ]]>   [python 译] 基于面向对象的分析和设计 Table of Contents 1 原文地址 2 引言 2.1 ...

  9. Zbrush遮罩边界该怎么实现羽化和锐化

    很多情况下为了雕刻制图需要,在ZBrush®中不仅要使用边缘清晰的遮罩,有时还要将遮罩边缘变得模糊,做羽化效果.那么如何在ZBrush中实现羽化遮罩效果或锐化遮罩效果,本文将做详细讲解. 若有疑问可直 ...

随机推荐

  1. Nginx 的 location

    一.location语法 语法: Syntax: location [ = | ~ | ~* | ^~ ] uri { ... } location @name { ... } Default: — ...

  2. CF1166E The LCMs Must be Large

    CF1166E The LCMs Must be Large 构造趣题 正着推其实很不好推 不妨大力猜结论 如果两两集合都有交,那么一定可以 证明: 1.显然如果两个集合没有交,一定不可以 2.否则给 ...

  3. PHP IF判断 简写

    第一种:IF 条件语句 第二种:三元运算 第三种:&& .|| 组成的条件语句 第一种: IF 基础,相信绝大多数人都会: 第二种:  c=a>b ? true:false  / ...

  4. Java 参数的值传递和引用传递

    在Java中,方法的参数的传递分为值传递(基本数据)和引用传递(引用数据:对象.字符串),这是最容易接受的.如果你能知道有这两种情况存在,那么,在遇到调用方法时,你可以避免很多问题的产生.但是,仔细查 ...

  5. 《Netty权威指南》(一)简单的时间服务器P69

    由于该书是基于Netty5编写的样例代码,而Netty5已经被官方废弃. 目前基于推荐版的4.1.12.Final在学习过程中,可能会出现个别接口不一致的情况.所以记录可在4.1.12下编译通过的代码 ...

  6. python类中的双下划线方法

    __getitem__,__setitem__和__delitem__ 实现了对象属性的字典化操作. class Person: def __init__(self, name, age, hobby ...

  7. 2019-1-27-WPF-使用-ItemsPanel-修改方向

    title author date CreateTime categories WPF 使用 ItemsPanel 修改方向 lindexi 2019-1-27 21:8:9 +0800 2019-0 ...

  8. linux版本依赖

    记住, 你的模块代码一定要为每个它要连接的内核版本重新编译 -- 至少, 在缺乏 modversions 时, 这里不涉及因为它们更多的是给内核发布制作者, 而不是开发者. 模块 是紧密结合到一个特殊 ...

  9. CCPC2018 桂林 G "Greatest Common Divisor"(数学)

    UPC备战省赛组队训练赛第十七场 with zyd,mxl G: Greatest Common Divisor 题目描述 There is an array of length n, contain ...

  10. CentOS yum有时出现“Could not retrieve mirrorlist ”的解决办法——resolv.conf的配置

    国内服务器在运行命令yum -y install wget的时候,出现: Could not retrieve mirrorlist http://mirrorlist.centos.org/?rel ...