技术背景 考虑到深度学习领域中的数据规模一般都比较大,尤其是训练集,这个限制条件对应到实际编程中就意味着,我们很有可能无法将整个数据文件的内容全部都加载到内存中.那么就需要一些特殊的处理方式,比如:创建内存映射文件来替代原始文件被加载到内存中.预处理数据后再加载内存中以及单次只加载文件的片段.其中关于内存映射技术的一些应用,在前面的这2篇博客1和博客2中有所介绍,而本文将要介绍的是从文件中只读取特定行的内容的3种解决方案. 行遍历实现 在python中如果要将一个文件完全加载到内存中,通过fil…