TFRecords转化和读取
标准TensorFlow格式
TensorFlow的训练过程其实就是大量的数据在网络中不断流动的过程,而数据的来源在官方文档[^1](API r1.2)中介绍了三种方式,分别是:
- Feeding。通过Python直接注入数据。
- Reading from files。从文件读取数据,本文中的TFRecord属于此类方式。
- Preloaded data。将数据以constant或者variable的方式直接存储在运算图中。
当数据量较大时,官方推荐采用标准TensorFlow格式[^2](Standard TensorFlow format)来存储训练与验证数据,该格式的后缀名为tfrecord
。官方介绍如下:
A TFRecords file represents a sequence of (binary) strings. The format is not random access, so it is suitable for streaming large amounts of data but not suitable if fast sharding or other non-sequential access is desired.
从介绍不难看出,TFRecord文件适用于大量数据的顺序读取。而这正好是神经网络在训练过程中发生的事情。
如何使用TFRecord文件
对于TFRecord文件的使用,官方给出了两份示例代码,分别展示了如何生成与读取该格式的文件。
生成TFRecord文件
第一份代码convert_to_records.py
[^3]将MNIST里的图像数据转换为了TFRecord格式 。仔细研读代码,可以发现TFRecord文件中的图像数据存储在Feature
下的image_raw
里。image_raw
来自于data_set.images
,而后者又来自mnist.read_data_sets()
。因此images
的真身藏在mnist.py
这个文件里。
mnist.py
并不难找,在Pycharm里按下ctrl
后单击鼠标左键即可打开源代码。
继续追踪,可以在mnist里发现图像来自extract_images()
函数。该函数的说明里清晰的写明:
Extract the images into a 4D uint8 numpy array [index, y, x, depth].
Args:
f: A file object that can be passed into a gzip reader.
Returns:
data: A 4D uint8 numpy array [index, y, x, depth].
Raises:
ValueError: If the bytestream does not start with 2051.
很明显,返回值变量名为data
,是一个4D Numpy矩阵,存储值为uint8
类型,即图像像素的灰度值(MNIST全部为灰度图像)。四个维度分别代表了:图像的个数,每个图像行数,每个图像列数,每个图像通道数。
在获得这个存储着像素灰度值的Numpy矩阵后,使用numpy的tostring()
函数将其转换为Python bytes格式[^4],再使用tf.train.BytesList()
函数封装为tf.train.BytesList
类,名字为image_raw
。最后使用tf.train.Example()
将image_raw
和其它属性一遍打包,并调用tf.python_io.TFRecordWriter
将其写入到文件中。
至此,TFRecord文件生成完毕。
可见,将自定义图像转换为TFRecord的过程本质上是将大量图像的像素灰度值转换为Python bytes,并与其它Feature
组合在一起,最终拼接成一个文件的过程。
需要注意的是其它Feature
的类型不一定必须是BytesList,还可以是Int64List或者FloatList。
读取TFRecord文件
第二份代码fully_connected_reader.py
[1]展示了如何从TFRecord文件中读取数据。
读取数据的函数名为input()
。函数内部首先通过tf.train.string_input_producer()
函数读取TFRecord文件,并返回一个queue
;然后使用read_and_decode()
读取一份数据,函数内部用tf.decode_raw()
解析出图像的灰度值,用tf.cast()
解析出label
的值。之后通过tf.train.shuffle_batch()
的方法生成一批用来训练的数据。并最终返回可供训练的images
和labels
,并送入inference
部分进行计算。
在这个过程中,有以下几点需要留意:
tf.decode_raw()
解析出的数据是没有shape
的,因此需要调用set_shape()
函数来给出tensor的维度。read_and_decode()
函数返回的是单个的数据,但是后边的tf.train.shuffle_batch()
却能够生成批量数据。- 如果需要对图像进行处理的话,需要放在第二项提到的两个函数中间。
其中第2点的原理我暂时没有弄懂。从代码上看read_and_decode()
返回的是单个数据,shuffle_batch
接收到的也是单个数据,不知道是如何生成批量数据的,猜测与queue
有关系。
所以,读取TFRecord文件的本质,就是通过队列的方式依次将数据解码,并按需要进行数据随机化、图像随机化的过程。
参考
TFRecords转化和读取的更多相关文章
- [TFRecord格式数据]利用TFRecords存储与读取带标签的图片
利用TFRecords存储与读取带标签的图片 原创文章,转载请注明出处~ 觉得有用的话,欢迎一起讨论相互学习~Follow Me TFRecords其实是一种二进制文件,虽然它不如其他格式好理解,但是 ...
- TensorFlow中数据读取之tfrecords
关于Tensorflow读取数据,官网给出了三种方法: 供给数据(Feeding): 在TensorFlow程序运行的每一步, 让Python代码来供给数据. 从文件读取数据: 在TensorFlow ...
- 由浅入深之Tensorflow(3)----数据读取之TFRecords
转载自http://blog.csdn.net/u012759136/article/details/52232266 原文作者github地址 概述 关于Tensorflow读取数据,官网给出了三种 ...
- tensorflowxun训练自己的数据集之从tfrecords读取数据
当训练数据量较小时,采用直接读取文件的方式,当训练数据量非常大时,直接读取文件的方式太耗内存,这时应采用高效的读取方法,读取tfrecords文件,这其实是一种二进制文件.tensorflow为其内置 ...
- (第二章第四部分)TensorFlow框架之TFRecords数据的存储与读取
系列博客链接: (第二章第一部分)TensorFlow框架之文件读取流程:https://www.cnblogs.com/kongweisi/p/11050302.html (第二章第二部分)Tens ...
- TensorFlow实践笔记(一):数据读取
本文整理了TensorFlow中的数据读取方法,在TensorFlow中主要有三种方法读取数据: Feeding:由Python提供数据. Preloaded data:预加载数据. Reading ...
- Tensorflow高效读取数据
关于Tensorflow读取数据,官网给出了三种方法: 供给数据(Feeding): 在TensorFlow程序运行的每一步, 让Python代码来供给数据. 从文件读取数据: 在TensorFlow ...
- VGGnet——从TFrecords制作到网络训练
作为一个小白中的小白,多折腾总是有好处的,看了入门书和往上一些教程,很多TF的教程都是从MNIST数据集入手教小白入TF的大门,都是直接import MNIST,然后直接构建网络,定义loss和opt ...
- tensorflow学习笔记(10) mnist格式数据转换为TFrecords
本程序 (1)mnist的图片转换成TFrecords格式 (2) 读取TFrecords格式 # coding:utf-8 # 将MNIST输入数据转化为TFRecord的格式 # http://b ...
随机推荐
- java构造函数重载this(true)
看storm的代码的时候,发现这样一句java代码, 很是不理解 google之后,发现原来是java语法中,构造函数重载,this()调用的其实就是 构造函数.This is constructor ...
- C语言遍历文件和文件夹——————【Badboy】
[cpp] #include #include #include #include #include #include #include #define MAX_PATH_LENGTH 512 #de ...
- poj2299--归并排序求逆序数
/** \brief poj2299 * * \param date 2014/8/5 * \param state AC * \return memory 4640K time 3250ms ...
- Android之怎样更改获取焦点的先后顺序
在组件中增加<requestFocus />能够首先获得焦点 以TextView为例: 例如以下: <TextView android:layout_width=&q ...
- iOS模仿微信的那个视频眼睛动画
咳咳,费死老劲把这个动画搞出来了. 欢迎批评指正 github URL: https://git.oschina.net/momochao/WeChatEyeDemo
- java学习笔记(二)图形用户接口
这个学期主要放在ACM比赛上去了,比赛结束了.不知不觉就15周了,这周就要java考试了,复习一下java吧.java的学习的目的还是让我们学以致用,让我们可以运用java开发一下小项目.而不是单单应 ...
- AdaBoostClassifier实战
AdaBoostClassifier实战 部分内容摘自:http://blog.csdn.net/sun_shengyun/article/details/54289955 这里我们用一个具体的例子来 ...
- Mysql数据库性能
Mysql数据库设计规范 https://www.cnblogs.com/Luke-Me/p/8994432.html 我们在项目一开始的设计中,就要忙着考虑数据库的设计,表.字段.索引.sql等等, ...
- EOJ 3037 十六进制加法
请编写程序实现两个十六进制整数的加法. 例如:十六进制整数 3762 和 05C3,3762+05C3 =3D25 十六进制整数 CB9 和 957,CB9+957=1610 Input 第 1 行: ...
- [ASP.Net] MVC2,3,4,5的不同
现在MVC的技术日趋成熟,面对着不同版本的MVC大家不免有所迷惑 -- 它们之间有什么不同呢?下面我把我搜集的信息汇总一下,以便大家能更好的认识不同版本MVC的功能,也便于自己查阅. View Eng ...