最近在做一个鉴黄的项目,数据量比较大,有几百个G,一次性加入内存再去训练模青型是不现实的. 查阅资料发现keras中可以用两种方法解决,一是将数据转为tfrecord,但转换后数据大小会方法不好:另外一种就是利用generator,先一次加入所有数据的路径,然后每个batch的读入 # 读取图片函数 def get_im_cv2(paths, img_rows, img_cols, color_type=1, normalize=True): ''' 参数: paths:要读取的图片路径列表 i