Python之TensorFlow的数据的读取与存储-2

　　一、我们都知道Python由于GIL的原因导致多线程并不是真正意义上的多线程。但是TensorFlow在做多线程使用的时候是吧GIL锁放开了的。所以TensorFlow是真正意义上的多线程。这里我们主要是介绍queue式的多线程运行方式。

　　二、了解一下TensorFlow多线程queue的使用过程

　　tensorflow:
        多线程是真正的多线程执行。
        队列：
            tf.FIFOQueue(<capacity>, <dtypes>, <name>), 先进先出
            tf.RandomShuffleQueue, 随机出队列
        多线程：
            当数据量很大时，入队操作从硬盘中读取，放入内存。主线程需要等待操作完成，才能训练。
            使用多线程，可以达到边处理，边训练的异步效果。
        队列管理器(弃用)：
            tf.train.QueueRunner(<queue>, <enqueue_ops>)
            enqueue_ops: 添加线程的队列操作列表[]*2为开启2个线程，[]内为操作部分
            method:
                create_threads(<sess>, <coord>, <start>):
                    创建线程来运行给定的入队操作。
                    start: 布尔值，是否启动线程
                    coord: 线程协调器
                    return: 线程实例
        线程协调器：
            协调线程之间终止

　　注意：这里使用的是TensorFlow1.0版本，在后续的版本中基本 把这种方式废弃了。但是这里为了好的了解文件读取的方式，我们使用queue式的多线程来执行。

import tensorflow as tf

def queue_demo():

    # 1、声明队列
    queue = tf.FIFOQueue(3, dtypes=tf.float32)

    # 2、加入数据
    init_queue = queue.enqueue_many([[0.1, 0.2, 0.3]])

    # 3、取出数据
    data = queue.dequeue()

    # 4、处理数据
    en_queue = queue.enqueue(data + 1)

    with tf.Session() as sess:
        # 初始化操作
        sess.run(init_queue)
        # 循环
        for i in range(10):
            sess.run(en_queue)
        for i in range(queue.size().eval()):
            print(queue.dequeue().eval())

import tensorflow as tf

def queue_thread_demo():
    # 1、声明队列
    queue = tf.FIFOQueue(100, dtypes=tf.float32)

    # 2、加入数据
    for i in range(100):
        queue.enqueue((i + 1)/100)

    # 3、操作
    data = queue.dequeue()
    en_queue = queue.enqueue(data + 1)

    # 3、定义队列管理器
    qr = tf.train.QueueRunner(queue, enqueue_ops=[en_queue] * 2)

    with tf.Session() as sess:
        # 开启线程协调器
        coord = tf.train.Coordinator()
        # 开启线程
        threads = qr.create_threads(sess, coord=coord, start=True)
        for i in range(100):
            print(sess.run(queue.dequeue()))
        # 注：没有线程协调器，主线程结束，会结束session，导致异常。
        coord.request_stop()
        coord.join(threads)　　

　　三、了解基本的数据读取过程和api

　　文件io:
        1、csv文件读取一行
        2、二进制文件指定bytes
        3、图片文件一张一张
        流程：
            1、构造一个文件队列
            2、读取文件内容
            3、解码文件内容
            4、批处理
        api:
            1、文件队列构造
                tf.train.string_input_producer(<string_tensor>, <shuffle=True>)
                string_tensor: 含有文件名的一阶张量
                num_epochs: 过几遍数据，默认无数遍
            2、文件阅读器
                tf.TextLineReader、csv文件格式类型
                tf.FixedLengthRecordReader(record_bytes)、读取固定值的二进制文件
                tf.TFRecordReader、读取TfRecords
                共同：
                    read(file_queue): 队列中指定数量
                    return: Tensors 元组（key：文件名， value默认行内容）
            3、文件解码器：
                tf.decode_csv(<records>, <record_defaults=None>, <field_delim=None>, <name=None>)
                将CSV转换为张量，与tf.TextLineReader搭配使用
                records: tensor型字符串，每一个字符串为CSV中的记录
                record_defaults: 参数决定了所有张量的类型，并设置一个值在输入字符串中缺少使用默认值
                tf.decode_raw(<bytes>, <out_type>, <little_endian=None>, <name=None>)
                将字节转换为一个向量表示，字节为一字符串类型的张量，与函数tf.FixedLengthRecordReader搭配使用，二进制读取为utf-8格式　

　　在读取文件之间先了解批处理的作用，主要是讲每次读出来的数据，缓存，然后到达一个批次，统一训练

    管道读端批处理：
            tf.train.batch(<tensors>, <batch_size>, <num_threads=1>, <capacity=32>, <name=None>)
            tensors: 张量列表
            tf.train.shuffle_batch(<tensors>, <batch_size>, <capacity>, <min_dequeue>)
            min_dequeue: 留下队列里的张量个数，能够保持随机打乱

　　四、csv文件读取

　　　　csv文件读取：
            1、找到文件，构建列表
            2、构造文件队列
            3、构造阅读器，读取队列内容
            4、解码内容
            5、批处理

import os
import tensorflow as tf

def csv_io():
    # 1、找到文件，加入队列
    file_names = os.listdir("data/csv")
    file_list = [os.path.join("data/csv", file_name) for file_name in file_names]
    file_queue = tf.train.string_input_producer(file_list)
    # 2、读取一行数据
    reader = tf.TextLineReader()
    key, value = reader.read(file_queue)
    # 3、解码csv
    records = [[-1], [-1]]
    num1, num2 = tf.decode_csv(value, record_defaults=records)
    # 4、批处理
    num1_batch, num2_batch = tf.train.batch([num1, num2], batch_size=9, num_threads=1, capacity=9)

    with tf.Session() as sess:
        # 加入线程协调器
        coord = tf.train.Coordinator()
        # 线程运行
        threads = tf.train.start_queue_runners(sess, coord=coord)
        print(sess.run([num1_batch, num2_batch]))

        # 子线程回收
        coord.request_stop()
        coord.join(threads)

　　五、图片文件读取

图片读取：
            每一个样本必须保证特征数量一样
            特征值：像素值
                单通道：灰度值（黑白图片，像素中只有一个值）
                三通道：RGB(每个像素都有3个值)
            三要素：长度宽度、通道值
            图像的基本操作：
                目的：
                    1、增加图片数据的统一性
                    2、所有图片装换成指定大小
                    3、缩小图片数据量，防止增加开销
                操作：
                    缩小图片大小
                api：
                    图片缩放：
                        tf.image.resize_images(<images>, <size>)
                        <images>:4-D形状[batch, height, width, channels]/3-D[height, width, channels]
                        <size>:1-D int32张量：new_height, new_width, 图像的新尺寸
                        return：4-D/3-D格式图片
            图片读取api：
                tf.WholeFileReader:
                    将文件的全部内容作为输入的读取器
                    return:读取器实例
                    read(<file_queue>):输出将一个文件名（key）和该文件的内容值
            图像解码器：
                tf.image.decode_jpeg(<contents>):
                    将JPEG编码的图像解码为unit8张量
                    return：uint8张量，3-D形状[height, width, channels]
                tf.image.decode_png():
                    将PNG编码的图像解码为uint8/uint16的张量
                    return:张量类型，3-D[height, width, channels]

import os
import tensorflow as tf

def image_io():
    # 1、读取文件放入队列
    image_names = os.listdir("data/image")
    image_files = [os.path.join("data/image", image_name) for image_name in image_names]
    image_queue = tf.train.string_input_producer(image_files)

    # 2、读取一张图片数据
    reader = tf.WholeFileReader()
    # value:一整张图片的数据
    key, value = reader.read(image_queue)

    # 3、解码
    image = tf.image.decode_jpeg(value)
    print(image)

    # 4、处理图片的大小
    new_image = tf.image.resize_images(image, [350, 350])
    print(new_image)
    # 注意一定要固定形状,批处理的时候所有数据必须固定
    new_image.set_shape([350, 350, 3])
    print(new_image)

    # 5、批处理
    image_batch = tf.train.batch([new_image], batch_size=2, num_threads=1, capacity=2)

    # 6、运行
    with tf.Session() as sess:
        # 加入线程协调器
        coord = tf.train.Coordinator()
        # 线程运行
        threads = tf.train.start_queue_runners(sess, coord=coord)
        print(sess.run([image_batch]))

        # 子线程回收
        coord.request_stop()
        coord.join(threads)

　　六、二进制文件读取

　　二进制文件读取：
            api:
                tf.FixedLengthRecordReader(<record_bytes>)
                record_bytes:数据长度
            解码器：
                tf.decode_raw(<bytes>, <out_type>, <little_endian=None>, <name=None>)
                bytes：数据
                out_type：输出类型

import os
import tensorflow as tf

def cifar_io():
    # 1、读取文件加入队列
    cifar_names = os.listdir("data/cifar")
    cifar_files = [os.path.join("data/cifar", cifar_name) for cifar_name in cifar_names if cifar_name.endswith(".bin") and cifar_name != "test_batch.bin"]
    file_queue = tf.train.string_input_producer(cifar_files)

    # 2、读取二进制文件
    reader = tf.FixedLengthRecordReader(record_bytes=(32 * 32 * 3 + 1))
    key, value = reader.read(file_queue)

    # 3、解码数据(二进制数据)
    # 样本数据集根据具体数据处理，这里的数据为第一个数据为目标值，后面的为图片数据
    target_image = tf.decode_raw(value, tf.uint8)

    # 4、分割数据
    target = tf.slice(target_image, [0], [1])
    image = tf.slice(target_image, [1], [32 * 32 * 3])

    # 5、特征数据形状改变
    new_image = tf.reshape(image, [32, 32, 3])
    print(new_image)

    # 6、批处理
    image_batch, target_batch = tf.train.batch([new_image, target], batch_size=10, capacity=10)
    print(image_batch, target_batch)

    # 7、运行
    with tf.Session() as sess:
        # 线程协调器
        coord = tf.train.Coordinator()
        # 线程运行
        threads = tf.train.start_queue_runners(sess, coord=coord)
        print(sess.run([image_batch, target_batch]))

        # 子线程回收
        coord.request_stop()
        coord.join(threads)

　　七、上面说完了，常用文件读取的方式，下面说一下TensorFlow文件的存储与读取的方式。TensorFlow一般采用*.threcords文件格式进行保存。它是一种内置文件格式，是一种二进制文件，它可以更好的利用内存，更方便的复制和移动。

　　tf.TFRecordReader
            一种内置文件格式，是一种二进制文件，它可以更好的利用内存，更方便的复制和移动
            为了将二进制数据和标签（训练类别标签），数据存储在同一文件中
            分析、存取
            文件格式：*.threcords
            写入文件内容：example协议块
            TF存储：
                TFRecord存储器
                    tf.python_io.TFRecordWriter(<path>)
                    method:
                        write(record)
                        close
                Example协议块：
                    tf.train.Example(<features=None>)
                    features:tf.train.Features(<feature=None>)实例
                        feature:字典数据，key为要保存的数据
                            tf.train.Feature(<**options>)
                                **options:
                                    tf.train.ByteList(<value=[Bytes]>)
                                    tf.train.IntList(<value=[Value]>)
                                    tf.train.FloatList(<value=[Value]>)
                        return:Features实例
                    return:Example协议块
            TF读取：
                tf.parse_example(<serialized>, <features=None>, <name=None>)
                    serialized:标量字符串Tensor,一个序列化的Example
                    features:dict字典数据，键为读取的名字，值为FixedLenFeature
                    return:一个键值对组成的字典，键为读取的名字
                    tf.FixedLenFeature(<shape>, <dtype>)
                        shape:形状
                        dtype:数据类型（float32/int64/string）

import os
import tensorflow as tf

def tf_records_io():
    # 1、读取文件加入队列
    cifar_names = os.listdir("data/cifar")
    cifar_files = [os.path.join("data/cifar", cifar_name) for cifar_name in cifar_names if
                   cifar_name.endswith(".bin") and cifar_name != "test_batch.bin"]
    file_queue = tf.train.string_input_producer(cifar_files)

    # 2、读取二进制文件
    reader = tf.FixedLengthRecordReader(record_bytes=(32 * 32 * 3 + 1))
    key, value = reader.read(file_queue)

    # 3、解码数据(二进制数据)
    # 样本数据集根据具体数据处理，这里的数据为第一个数据为目标值，后面的为图片数据
    target_image = tf.decode_raw(value, tf.uint8)

    # 4、分割数据
    target = tf.slice(target_image, [0], [1])
    image = tf.slice(target_image, [1], [32 * 32 * 3])

    # 5、特征数据形状改变
    new_image = tf.reshape(image, [32, 32, 3])
    print(new_image)

    # 6、批处理
    image_batch, target_batch = tf.train.batch([new_image, target], batch_size=10, capacity=10)
    print(image_batch, target_batch)

    # 7、tf文件写入
    with tf.Session() as sess:
        if not os.path.exists("data/tf_records/cifar.tfrecords"):
            # 1)存进tfRecords文件
            print("开始存储")
            with tf.python_io.TFRecordWriter(path="data/tf_records/cifar.tfrecords") as writer:
                # 2)循环次数为批次数
                for i in range(10):
                    # 获取对应值
                    image_data = image_batch[i].eval().tostring()
                    target_data = int(target_batch[i].eval()[0])
                    # 3)产生实例
                    example = tf.train.Example(features=tf.train.Features(feature={
                        "image": tf.train.Feature(bytes_list=tf.train.BytesList(value=[image_data])),
                        "target": tf.train.Feature(int64_list=tf.train.Int64List(value=[target_data]))
                    }))
                    # 4)写入数据
                    writer.write(example.SerializeToString())
            print("结束存储")

    # 8、tf文件读取
    # 1)读取tfRecords文件
    tf_queue = tf.train.string_input_producer(["data/tf_records/cifar.tfrecords"])

    # 2)读取数据
    tf_reader = tf.TFRecordReader()
    key, value = tf_reader.read(tf_queue)

    # 3)解析example
    features = tf.parse_single_example(value, features={
        "image": tf.FixedLenFeature([], dtype=tf.string),
        "target": tf.FixedLenFeature([], dtype=tf.int64)
    })
    print(features["image"], features["target"])

    # 4)解码数据
    image = tf.decode_raw(features["image"], tf.uint8)
    image_reshape = tf.reshape(image, [32, 32, 3])
    target = tf.cast(features["target"], tf.int32)
    print(image_reshape, target)
    # 5)批处理
    image_batch, target_batch = tf.train.batch([image_reshape, target], batch_size=10, capacity=10)

    # 9、运行
    with tf.Session() as sess:
        # 线程协调器
        coord = tf.train.Coordinator()
        # 线程运行
        threads = tf.train.start_queue_runners(sess, coord=coord)

        # tf文件读取
        print(sess.run([image_batch, target_batch]))

        # 子线程回收
        coord.request_stop()
        coord.join(threads)

　　八、总结，说起来文件读取只是读取各种数据样本的开始，这里的几种读取方式基本上就是常用的几种形式了。目的是认识常规数据读取的方式。

　　　　但是这里要说明：现在处理数据的方式一般采用tf.data的api来进行数据的处理和调整。所以需要把精力放在tf.data上面。