#读取数据库数据#import pandas as pd  导入模块#import pymysql  导入数据库模块#con = pymysql.connect(host='localhost',port=3306,user='root',password='mysql',db='mypro',charset='utf8') 建立链接#df_data = pd.read_sql('select * from user ',con)#print(df_data)#print(df_data.whe

refer to:  https://www.kaggle.com/dansbecker/data-leakage There are two main types of leakage: Leaky Predictors and a Leaky Validation Strategies. Leaky Predictors This occurs when your predictors include data that will not be available at the time y

大部分的pytorch入门教程,都是使用torchvision里面的数据进行训练和测试.如果我们是自己的图片数据,又该怎么做呢? 一.我的数据 我在学习的时候,使用的是fashion-mnist.这个数据比较小,我的电脑没有GPU,还能吃得消.关于fashion-mnist数据,可以百度,也可以 点此 了解一下,数据就像这个样子: 下载地址:https://github.com/zalandoresearch/fashion-mnist 但是下载下来是一种二进制文件,并不是图片,因此我先转换成了

申明:此教程加工于caffe 如何训练自己的数据图片 一.准备数据 有条件的同学,可以去imagenet的官网http://www.image-net.org/download-images,下载imagenet图片来训练.但是我没有下载,一个原因是注册账号的时候,验证码始终出不来(听说是google网站的验证码,而我是上不了google的).第二个原因是数据太大了... 我去网上找了一些其它的图片来代替,共有500张图片,分为大巴车.恐龙.大象.鲜花和马五个类,每个类100张.需要的同学,可到

1. 准备自己的图片数据 选用部分的Caltech数据库作为训练和测试样本.Caltech是加州理工学院的图像数据库,包含Caltech101和Caltech256两个数据集.该数据集是由Fei-FeiLi, Marco Andreetto, Marc 'Aurelio Ranzato在2003年9月收集而成的.Caltech101包含101种类别的物体,每种类别大约40到800个图像,大部分的类别有大约50个图像.Caltech256包含256种类别的物体,大约30607张图像.图像如下图所示

由于我涉及一个车牌识别系统的项目,计划使用深度学习库caffe对车牌字符进行识别.刚开始接触caffe,打算先将示例中的每个网络模型都拿出来用用,当然这样暴力的使用是不会有好结果的- -||| ,所以这里只是记录一下示例的网络模型使用的步骤,最终测试的准确率就暂且不论了! 一.图片数据库 来源 我使用的图像是在项目的字符分割模块中分割出来的字符图像,灰度化并归一化至32*64,字符图片样本示例如下: 建立自己的数据文件夹 在./caffe/data/目录下建立自己的数据文件夹mine,并且在mi

一.前言 本文主要尝试将自己的数据集制作成lmdb格式,送进lenet作训练和测试,参考了http://blog.csdn.net/liuweizj12/article/details/52149743和http://blog.csdn.net/xiaoxiao_huitailang/article/details/51361036这两篇博文 二.从训练模型到使用模型预测图片分类 (1)自己准备的图像数据 由于主要是使用lenet模型训练自己的图片数据,我的图像数据共有10个类别,分别是0-9,

一.mnist数据 深度学习的入门实例,一般就是mnist手写数字分类识别,因此我们应该先下载这个数据集. tensorflow提供一个input_data.py文件,专门用于下载mnist数据,我们直接调用就可以了,代码如下: import tensorflow.examples.tutorials.mnist.input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) 执行完成后,会在当前目录下

环境说明 系统:ubuntu16.04 显卡:Tesla k80 12G显存 python环境: 2.7 && 3.6 前提条件:cuda9.0 cudnn7.0 opencv3.4.0 安装cuda和cudnn教程 安装opencv3.4.0教程 实现YOLOV3的demo 首先安装darknet框架,官网链接 git clone https://github.com/pjreddie/darknet.git cd darknet vim Makefile 根据情况修改Makefile,

一.声明 本代码非原创,源网址不详,仅做学习参考. 二.代码 # -*- coding: utf-8 -*- import glob # 返回一个包含有匹配文件/目录的数组 import os.path import random import numpy as np import tensorflow as tf from tensorflow.python.platform import gfile # inception-v3瓶颈层的节点个数 BOTTLENECT_TENSOR_SIZE

1.  下载预训练权重文件 YOLOv3使用在Imagenet上预训练好的模型参数(文件名称: darknet53.conv.74,大小76MB)基础上继续训练. darknet53.conv.74下载链接:  https://pjreddie.com/media/files/darknet53.conv.74,下载完成后放在darknet主目录. 也可以直接在darknet目录下通过wget命令下载: wget https://pjreddie.com/media/files/darknet5

Python图像处理库 - Albumentations,可用于深度学习中网络训练时的图片数据增强. Albumentations 图像数据增强库特点: 基于高度优化的 OpenCV 库实现图像快速数据增强. 针对不同图像任务,如分割,检测等,超级简单的 API 接口. 易于个性化定制. 易于添加到其它框架,比如 PyTorch. 1. Albumentations 的 pip 安装 sudo pip install albumentations # 或 sudo pip install -U

训练自己的数据集(以bottle为例):   1.准备数据 文件夹结构: models ├── images ├── annotations │ ├── xmls │ └── trainval.txt └── bottle ├── train_logs 训练文件夹 └── val_logs 日志文件夹 1).下载官方预训练模型: https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/det

说明 该文为笔者在微信公众号:吴恩达deeplearningai 所推送<机器学习训练秘籍>系列文章的学习笔记,公众号二维码如下,1到15课课程链接点这里 该系列文章主要是吴恩达先生在机器学习方面的经验分享和基础教程,每一章十分短小,旨在让我们能在碎片化的时间中一点点熟悉机器学习的相关知识. 想看该系列文章英文版最新章节的同学请点击这里进行邮件订阅 第1至15章 1.2.3.决策方案很重要 -方案示例: 1.获取更多的数据,即收集更多猫的图片 2.收集更加多样化的训练数据集,比如处于不常见位置

首先得到了https://blog.csdn.net/gybheroin/article/details/72581318系列博客的帮助.表示感激. 关于安装caffe已在之前的博客介绍,自用可行,https://www.cnblogs.com/MY0213/p/9225310.html 1.数据源 首先使用的数据集为人脸数据集,可在百度云自行下载: 链接:https://pan.baidu.com/s/156DiOuB46wKrM0cEaAgfMw 密码:1ap0 将train.zip解压可得

人脸检测及识别python实现系列(3)——为模型训练准备人脸数据 机器学习最本质的地方就是基于海量数据统计的学习,说白了,机器学习其实就是在模拟人类儿童的学习行为.举一个简单的例子,成年人并没有主动教孩子学习语言,但随着孩子慢慢长大,自然而然就学会了说话.那么孩子们是怎么学会的呢?很简单,在人类出生之前,有了听觉开始,就开始不断听到各种声音.人类的大脑会自动组织.分类这些不同的声音,形成自己的认识.随着时间的推移,大脑接收到的声音数据越来越多.最终,大脑利用一种我们目前尚未知晓的机制建立了一个

转载:http://blog.csdn.net/sinat_30071459/article/details/51332084  Faster-RCNN+ZF用自己的数据集训练模型(Python版本) 说明:本博文假设你已经做好了自己的数据集,该数据集格式和VOC2007相同. Faster-RCNN源码下载地址: Matlab版本:https://github.com/ShaoqingRen/faster_rcnn Python版本:https://github.com/rbgirshick/

当前最好的实例分割网络非PANet莫属,可是由于模型太新,网上的资料太少,最近的项目需要 实例分割,只能自己踩踩坑了,目前我还没看到一篇关于PANet训练的博客,只有几篇讲论文的. 环境:ubuntu16.04    anaconda3  pytorch0.4.0 将代码down下来后,我在anaconda中新开了一个环境,用的是python3.6,如果用python2的话,在lib文件夹下的make.sh中的python3需要修改一下 然后一开始的时候我没有进行make,直接进行测试,运行 p

本文假设你已经完成了安装,并可以运行demo.py 不会安装且用PASCAL VOC数据集的请看另来两篇博客. caffe学习一:ubuntu16.04下跑Faster R-CNN demo (基于caffe). (亲测有效,记录经历两天的吐血经历) https://www.cnblogs.com/elitphil/p/11527732.html caffe学习二:py-faster-rcnn配置运行faster_rcnn_end2end-VGG_CNN_M_1024 (Ubuntu16.04)

1. 前言 关于用yolo训练自己VOC格式数据的博文真的不少,但是当我按照他们的方法一步一步走下去的时候发现出了其他作者没有提及的问题.这里就我自己的经验讲讲如何训练自己的数据集. 2.数据集 这里建议大家用VOC和ILSVRC比赛的数据集,因为xml文件都是现成的,省去很多功夫.当然除非你是个执着的孩子就想凭借着非人的毅力和追逐斗鸡眼这种个性特征而自己去标记label. 勤劳的孩子想自己标记的可以自己去github搜索 labelImg , 下载好make后直接运行就可以.具体使用方法先不做

系列博客链接: (第二章第一部分)TensorFlow框架之文件读取流程:https://www.cnblogs.com/kongweisi/p/11050302.html 本文概述: 目标 说明图片数字化的三要素 说明图片三要素与张量的表示关系 了解张量的存储和计算类型 应用tf.image.resize_images实现图像的像素改变 应用tf.train.start_queue_runners实现读取线程开启 应用tf.train.Coordinator实现线程协调器开启 应用tf.tra