9. 获得图片路径,构造出训练集和验证集,同时构造出相同人脸和不同人脸的测试集,将结果存储为.csv格式 1.random.shuffle(数据清洗) 2.random.sample(从数据集中随机选取2个数据) 3. random.choice(从数据集中抽取一个数据) 4.pickle.dump(将数据集写成.pkl数据)
1. random.shuffle(dataset) 对数据进行清洗操作
参数说明:dataset表示输入的数据
2.random.sample(dataset, 2) 从dataset数据集中选取2个数据
参数说明:dataset是数据, 2表示两个图片
3. random.choice(dataset) 从数据中随机抽取一个数据
参数说明: dataset 表示从数据中抽取一个数据
4. pickle.dump((v1,v2), f_path,pickle.HIGHEST_PROTOCOL) 将数据集写成.pkl 数据
参数说明: (v1, v2)表示数据集,f_path 打开的f文件, pickle.HIGHEST_PROTOCOL 保存的格式
代码说明:将图片的路径进行添加,取前50张构造出验证集,后550构造出训练集,对于小于100张的people_picture,用于构造出测试集,每一个人脸的数据集构造出的相同人脸和不同人脸的数目为各5对,最后将结果保存在csv文件中
第一步:使用os.listdir 获取图片的路径,将低于100张的添加到测试集,将600张的图片的其中50张添加到验证集,其中的550张添加到训练集, 这里每一个people都对应一个label
第二步: 使用test_pair_generate 用于生成相同人脸数据集和不相同人脸数据集的制作
第三步:使用random.shuffle 进行数据清洗,然后将路径保存为csv文件格式
# -*- coding: utf-8 -*-
'''
Created on 2019/7/8/0008 9:29 @Author : Sheng1994
''' import os
import numpy as np
import random
import pickle def test_pair_generate(test_image_list, each_k=5): test_paris_list = [] test_images_length = len(test_image_list) for people_index, people_images in enumerate(test_image_list): # 生成相同一对的脸
for _ in range(each_k):
same_paris = random.sample(people_images, 2)
test_paris_list.append((same_paris[0], same_paris[1], 1)) # 生成不同的一对脸
for _ in range(each_k):
index_random = people_index
while index_random == people_index:
index_random = random.randint(0, test_images_length)
diff_one = random.choice(test_image_list[people_index])
diff_another = random.choice(test_image_list[index_random])
test_paris_list.append((diff_one, diff_another, 0)) return test_paris_list def save_to_pkl(path, v1, v2): pkl_file = open(path, 'wb')
pickle.dump((v1, v2), pkl_file, pickle.HIGHEST_PROTOCOL)
pkl_file.close() def build_dataset(source_folder):
# 第一步:将数据的路径进行添加,对于训练集和验证集的数据其标签使用label+ 来表示,对于测试集的数据使用相同和不同人脸数据集进行表示
label = 1
train_dataset, valid_dataset, test_dataset = [], [], []
counter = 0 test_pair_counter = 0
train_counter = 0 for people_folder in os.listdir(source_folder):
people_images = []
people_folder_path = source_folder + os.sep + people_folder
for vedio_folder in os.listdir(people_folder_path):
vedio_folder_path = people_folder_path + os.sep + vedio_folder
for vedio_file_name in os.listdir(vedio_folder_path):
full_path = vedio_folder_path + os.sep + vedio_file_name
people_images.append(full_path) random.shuffle(people_images)
if len(people_images) < 100:
test_dataset.append(people_images)
test_pair_counter += 1 else:
valid_dataset.extend(zip(people_images[0:50], [label]*50))
test_dataset.extend(zip(people_images[50:600], [label]*550))
label += 1
train_counter += 1 print(people_folder +': id--->' + str(counter)) counter += 1
# 将train和test数据集的个数表示下来
save_to_pkl('image/train_test_number.pkl', train_counter, test_pair_counter)
# 第二步:对测试数据进行生成,产生各5组的相同人脸数据集和不同人脸数据集
test_pairs_dataset = test_pair_generate(test_dataset, each_k=5) random.shuffle(train_dataset)
random.shuffle(valid_dataset)
random.shuffle(test_pairs_dataset) return train_dataset, valid_dataset, test_pairs_dataset def save_to_csv(dataset, file_name):
with open(file_name, "w") as f:
for item in dataset:
f.write(",".join(map(str, item)) + "\n") def run(): random.seed(7) train_dataset, valid_dataset, test_dataset = build_dataset('image\\result')
# 第三步:数据清洗,并将数据集存储到train_dataset_path
train_dataset_path = 'image\\train_dataset.csv'
valid_dataset_path = 'image\\valid_dataset.csv'
test_dataset_path = 'image\\test_dataset.csv'
save_to_csv(train_dataset, train_dataset_path)
save_to_csv(valid_dataset, valid_dataset_path)
save_to_csv(test_dataset, test_dataset_path) if __name__ == '__main__':
run()
9. 获得图片路径,构造出训练集和验证集,同时构造出相同人脸和不同人脸的测试集,将结果存储为.csv格式 1.random.shuffle(数据清洗) 2.random.sample(从数据集中随机选取2个数据) 3. random.choice(从数据集中抽取一个数据) 4.pickle.dump(将数据集写成.pkl数据)的更多相关文章
- 使用KFold进行训练集和验证集的拆分,使用准确率和召回率来挑选合适的阈值(threshold) 1.KFold(进行交叉验证) 2.np.logical_and(两bool数组都是正即为正) 3.np.logical_not(bool数组为正即为反,为反即为正)
---恢复内容开始--- 1. k_fold = KFold(n_split, shuffle) 构造KFold的索引切割器 k_fold.split(indices) 对索引进行切割. 参数说明:n ...
- 机器学习入门06 - 训练集和测试集 (Training and Test Sets)
原文链接:https://developers.google.com/machine-learning/crash-course/training-and-test-sets 测试集是用于评估根据训练 ...
- [DeeplearningAI笔记]改善深层神经网络1.1_1.3深度学习使用层面_偏差/方差/欠拟合/过拟合/训练集/验证集/测试集
觉得有用的话,欢迎一起讨论相互学习~Follow Me 1.1 训练/开发/测试集 对于一个数据集而言,可以将一个数据集分为三个部分,一部分作为训练集,一部分作为简单交叉验证集(dev)有时候也成为验 ...
- 训练集,验证集,测试集(以及为什么要使用验证集?)(Training Set, Validation Set, Test Set)
对于训练集,验证集,测试集的概念,很多人都搞不清楚.网上的文章也是鱼龙混杂,因此,现在来把这方面的知识梳理一遍.让我们先来看一下模型验证(评估)的几种方式. 在机器学习中,当我们把模型训练出来以后,该 ...
- Machine Learning笔记整理 ------ (二)训练集与测试集的划分
在实际应用中,一般会选择将数据集划分为训练集(training set).验证集(validation set)和测试集(testing set).其中,训练集用于训练模型,验证集用于调参.算法选择等 ...
- 深度学习原理与框架-Tensorflow卷积神经网络-cifar10图片分类(代码) 1.tf.nn.lrn(局部响应归一化操作) 2.random.sample(在列表中随机选值) 3.tf.one_hot(对标签进行one_hot编码)
1.tf.nn.lrn(pool_h1, 4, bias=1.0, alpha=0.001/9.0, beta=0.75) # 局部响应归一化,使用相同位置的前后的filter进行响应归一化操作 参数 ...
- 用python制作训练集和测试集的图片名列表文本
# -*- coding: utf-8 -*- from pathlib import Path #从pathlib中导入Path import os import fileinput import ...
- 随机切分csv训练集和测试集
使用numpy切分训练集和测试集 觉得有用的话,欢迎一起讨论相互学习~Follow Me 序言 在机器学习的任务中,时常需要将一个完整的数据集切分为训练集和测试集.此处我们使用numpy完成这个任务. ...
- 从MySQL随机选取数据
--从MySQL随机选取数据 -------------------------2014/06/23 从MySQL随机选取数据最简单的办法就是使用”ORDER BY RAND()”; 方案一: SEL ...
随机推荐
- 转pip更新后ImportError: cannot import name ‘main'
更新pip后,报出:ImportError: cannot import name ‘main' 根据https://www.cnblogs.com/dylan9/p/8981155.html的教程进 ...
- 关于sqlmap的两个小坑
i春秋作家:__LSA__ 0x00 概述 近日在利用sqlmap注入测试时遇到一个奇怪的现象,高版本sqlmap无法检测出注入,但是低版本的可以测出注入,并且能跑出数据不是误报,经过对比测试和查看s ...
- paramiko:实现ssh协议,对linux服务器资源的访问
介绍 网络传输是遵循协议的,比如SSH,paramiko则是实现了SSHv2协议的一个python库(底层使用的是cryptography).有了paramiko之后,我们便可以通过python使用s ...
- composer入门教程
初始化项目 使用composer初始化工作目录,在项目的根目录命令行输入 composer init 安装项目 在composer.json文件所在目录命令行下执行如下命令 php composer. ...
- 未能加载文件或程序集“System.Web.Http.WebHost
http://blog.csdn.net/yuanzhugen/article/details/46625353(转)
- 【AGC006 C】Rabbit Exercise
题意 有 \(n\) 只兔子在数轴上,第 \(i\) 只兔子的初始坐标为整数 \(x_i\). 现在这些兔子会按照下面的规则做体操.每一轮体操都由 \(m\) 次跳跃组成:在第 \(j\) 次跳跃时, ...
- shell_hive
(1)获取参数:从shell文件传来参数,调用:$1,$2,$3 load_date=$1 clearn_date=`date -d"$2 day ago $load_date" ...
- POJ3254Corn Fields (状态压缩or插头DP)
Description Farmer John has purchased a lush new rectangular pasture composed of M by N (1 ≤ M ≤ 12; ...
- Rust学习-阶段1学习总结
学习Rust已经两周了,基本上是断断续续的在学,或者是在上下班坐公交时,或者是在ODC没事做时.现在已经学习了Rust程序设计语言的前5章,是时候做一个总结了.关于数据类型或者if else这种内容我 ...
- Oracle11g RAC+DG搭建
项目环境准备 3.1虚拟机配置 版本选择 注意Linux操作系统.此次项目我选择的版本是Oracle Enterprise Linux 5.4 内存的设置 本人电脑物理内存8G,由于此次实验要开三台虚 ...