【小白学PyTorch】16 TF2读取图片的方法
【新闻】:机器学习炼丹术的粉丝的人工智能交流群已经建立,目前有目标检测、医学图像、NLP等多个学术交流分群和水群唠嗑的总群,欢迎大家加炼丹兄为好友,加入炼丹协会。微信:cyx645016617.
参考目录:
本文的代码已经上传公众号后台,回复【PyTorch】获取。
1 PIL读取图片
想要把一个图片,转换成RGB3通道的一个张量,我们怎么做呢?大家第一反应应该是PIL这个库吧
from PIL import Image
import numpy as np
image = Image.open('./bug1.jpg')
image.show()
展示的图片:
然后我们这个image现在是PIL格式的,我们使用numpy.array()
来将其转换成numpy的张量的形式:
image = np.array(image)
print(image.shape)
>>>(326, 312, 3)
可以看到,这个第三维度是3。对于pytorch而言,数据的第一维度应该是样本数量,第二维度是通道数,第三四是图像的宽高,因此PIL读入的图片,往往需要把通道数的这个维度移动到第二维度上才能对接上pytorch的形式。(transpose方法来实现这个功能,这里不细说)
2 TF读取图片
下面是重点啦,对于tensorflow,tf中自己带了一个解码函数,先看一下我的文件目录:
import tensorflow as tf
images = tf.io.gfile.glob('./*.jpeg')
print(images,type(images))
> ['.\\bug1.jpeg', '.\\bug2.jpeg'] <class 'list'>
可以看出来:
- 这个
tensorflow.io.gfile.glob()
是读取路径下的所有符合条件的文件,并且把路径做成一个list返回; - 这个功能也可以用glob库函数实现,我记得是
glob.glob()
方法; - 这里的bug1和bug2其实是同一张图片,都是上面的那个小兔子。
image = tf.io.read_file('./bug1.jpeg')
image = tf.image.decode_jpeg(image,channels=3)
print(image.shape,type(image))
> (326, 312, 3) <class 'tensorflow.python.framework.ops.EagerTensor'>
需要注意的是:
tf.io.read_file()
这个得到的返回值是二进制格式,所以需要下面的tf.image.decode_jpeg
进行一个解码;decode_jpeg
的第一个参数就是读取的二进制文件,然后channels是输出的图片的通道数,3就是RPB三个通道,如果是1的话,就是灰度图片,ratio是图片大小的一个缩小比例,默认是1,可以是2和4,一会看一下ratio=2的情况;- 这个image的type是一个tensorflow特别的Tensor的形式,而不是pytorch的那种tensor的形式了。
image = tf.io.read_file('./bug1.jpeg')
image = tf.image.decode_jpeg(image,channels=1,ratio=2)
print(image.shape,type(image))
> (163, 156, 1) <class 'tensorflow.python.framework.ops.EagerTensor'>
宽高都变成了原来的一半,然后通道数是1,都和预想的一样。使用decode_jpeg等解码函数得到的结果,是uint8的类型的,简单地说就是整数,0到255范围的。在对图片进行操作的时候,我们需要将其标准化到0到1区间的,因此需要将其转换成float32
类型的。所以对上述代码进行补充:
image = tf.io.read_file('./bug1.jpeg')
image = tf.image.decode_jpeg(image,channels=1,ratio=2)
print(image.shape,type(image))
image = tf.image.resize(image,[256,256]) # 统一图片大小
image = tf.cast(image,tf.float32) # 转换类型
image = image/255 # 归一化
print(image)
从结果来看,数据类型已经改变:
3 TF构建数据集
下面是dataset更正式的写法,关于TF2的问题,不要百度!百度到的都是TF1的解答,看的我晕死了,TF的API的结构真是不太友好。。。
def read_image(path):
image = tf.io.read_file(path)
image = tf.image.decode_jpeg(image, channels=3, ratio=1)
image = tf.image.resize(image, [256, 256]) # 统一图片大小
image = tf.cast(image, tf.float32) # 转换类型
image = image / 255 # 归一化
return image
images = tf.io.gfile.glob('./*.jpeg')
dataset = tf.data.Dataset.from_tensor_slices(images)
AUTOTUNE = tf.data.experimental.AUTOTUNE
dataset = dataset.map(read_image,num_parallel_calls=AUTOTUNE)
dataset = dataset.shuffle(1).batch(1)
for a in dataset.take(2):
print(a.shape)
代码中需要注意的是:
- glob获取一个文件的list,本次就两个文件名字,一个bug1.jpeg,一个bug2.jpeg;
tf.data.Dataset.from_tensor_slices()
返回的就是一个tensorflow的dataset类型,可以简单理解为一个可迭代的list,并且有很多其他方法;dataset.map
就是用实现定义好的函数,对处理dataset中每一个元素,在上面代码中是把路径的字符串变成该路径读取的图片张量,对图片的预处理应该也在这部分进行吧;- dataset.shuffle就是乱序,
.batch()
就是把dataset中的元素组装batch; - 在获取dataset中的元素的时候,TF1中有什么迭代器的定义啊,什么iter,但是TF2不用这些,直接
.take(num)
就行了,这个num就是从dataset中取出来的batch的数量,也就是循环的次数吧。 AUTOTUNE = tf.data.experimental.AUTOTUNE
就是根据你的cpu的情况,自动判断多线程的数量。
上面代码的输出结果为:
【小白学PyTorch】16 TF2读取图片的方法的更多相关文章
- 【小白学PyTorch】20 TF2的eager模式与求导
[新闻]:机器学习炼丹术的粉丝的人工智能交流群已经建立,目前有目标检测.医学图像.时间序列等多个目标为技术学习的分群和水群唠嗑的总群,欢迎大家加炼丹兄为好友,加入炼丹协会.微信:cyx64501661 ...
- 【小白学PyTorch】17 TFrec文件的创建与读取
[新闻]:机器学习炼丹术的粉丝的人工智能交流群已经建立,目前有目标检测.医学图像.时间序列等多个目标为技术学习的分群和水群唠嗑的总群,欢迎大家加炼丹兄为好友,加入炼丹协会.微信:cyx64501661 ...
- 【小白学PyTorch】3 浅谈Dataset和Dataloader
文章目录: 目录 1 Dataset基类 2 构建Dataset子类 2.1 Init 2.2 getitem 3 dataloader 1 Dataset基类 PyTorch 读取其他的数据,主要是 ...
- 【小白学PyTorch】7 最新版本torchvision.transforms常用API翻译与讲解
文章来自:微信公众号[机器学习炼丹术].欢迎关注支持原创 也欢迎添加作者微信:cyx645016617. 参考目录: 目录 1 基本函数 1.1 Compose 1.2 RandomChoice 1. ...
- 【小白学PyTorch】18 TF2构建自定义模型
[机器学习炼丹术]的炼丹总群已经快满了,要加入的快联系炼丹兄WX:cyx645016617 参考目录: 目录 1 创建自定义网络层 2 创建一个完整的CNN 2.1 keras.Model vs ke ...
- 【小白学PyTorch】19 TF2模型的存储与载入
[新闻]:机器学习炼丹术的粉丝的人工智能交流群已经建立,目前有目标检测.医学图像.时间序列等多个目标为技术学习的分群和水群唠嗑的总群,欢迎大家加炼丹兄为好友,加入炼丹协会.微信:cyx64501661 ...
- 【小白学PyTorch】15 TF2实现一个简单的服装分类任务
[新闻]:机器学习炼丹术的粉丝的人工智能交流群已经建立,目前有目标检测.医学图像.时间序列等多个目标为技术学习的分群和水群唠嗑的总群,欢迎大家加炼丹兄为好友,加入炼丹协会.微信:cyx64501661 ...
- 【小白学PyTorch】5 torchvision预训练模型与数据集全览
文章来自:微信公众号[机器学习炼丹术].一个ai专业研究生的个人学习分享公众号 文章目录: 目录 torchvision 1 torchvision.datssets 2 torchvision.mo ...
- 【小白学PyTorch】8 实战之MNIST小试牛刀
文章来自微信公众号[机器学习炼丹术].有什么问题都可以咨询作者WX:cyx645016617.想交个朋友占一个好友位也是可以的~好友位快满了不过. 参考目录: 目录 1 探索性数据分析 1.1 数据集 ...
随机推荐
- javaScript高级含Es6
JavaScript高级第01天笔记 1.面向过程与面向对象 1.1面向过程 面向过程就是分析出解决问题所需要的步骤,然后用函数把这些步骤一步一步实现,使用的时候再一个一个的依次调用就可以了. 1.2 ...
- springMVC使用JSR303数据校验
JSR303注解 hibernate validate是jsr 303的一个参考实现,除支持所有的标准校验注解外,他还支持扩展注解 spring4.0拥有自己独立的数据校验框架,同时支持jsr 303 ...
- Azure Storage 系列(一)入门简介
一,引言 今天作为新的Azure 资源介绍的开篇,我们来学习一个新的服务,Azure Storage.众所周知,我们实际在开发过程中,会需要存储一些比如说日志,图片,等等,各种类型的数据.比如说存储图 ...
- Mac 安装多个版本jdk
JDK默认安装路径为/Library/Java/JavaVirtualMachines 多版本安装后效果为: 设置 1.执行以下命令 cd ~ open -e .bash_profile #打开.ba ...
- windows远程连接老是出问题?如何使用Radmin进行云服务器的远程连接与文件传输?
(windows远程连接老是出错怎么办?云服务器远程连接一直有问题怎么办?如何用对多台windows电脑远程连接怎么办? 最近发现win的mstsc不好用,偶然想起Radmin这款老牌软件,利用Rad ...
- css实现导航栏下划线跟随效果
话不多说先附上代码 <style> ul li { float: left; display: block; list-style: none; margin-left: 20px; bo ...
- mysql与redis区别
编号 mysql redis 1 类型 关系型数据库 缓存数据库 2 作用 主要用于存放持久化数据,是将数据存储在硬盘中,读取时速度较慢,而且频繁访问也会导致数据库负载过高. 用于存储使用频繁的 ...
- Go Http包解析:为什么需要response.Body.Close()
简单来讲就是:为了提高效率,http.Get 等请求的 TCP 连接是不会关闭的(再次向同一个域名请求时,复用连接),所以必须要手动关闭. 2019-01-24 10:43:32 更新 不管是否使用 ...
- Django 页面之间传递MySql数据表(Django八)
之前实现了页面传递多个参数,但没有实现页面间传递一整个数据表 session传递几个参数:https://blog.csdn.net/qq_38175040/article/details/10496 ...
- [LeetCode] 79. 单词搜索(DFS,回溯)
题目 给定一个二维网格和一个单词,找出该单词是否存在于网格中. 单词必须按照字母顺序,通过相邻的单元格内的字母构成,其中"相邻"单元格是那些水平相邻或垂直相邻的单元格.同一个单元格 ...