在准备数据集时,darknet并不要求我们预先对图片resize到固定的size. darknet自动帮我们做了图像的resize. darknet训练前处理 本文所指的darknet版本:https://github.com/AlexeyAB/darknet ./darknet detector train data/trafficlights.data yolov3-tiny_trafficlights.cfg yolov3-tiny.conv.15 main函数位于darknet.c 训练…

今天来做UFLDL的第二个实验,向量化.我们都知道,在matlab里面基本上如果使用for循环,程序是会慢的一逼的(可以说基本就运行不下去)所以在这呢,我们需要对程序进行向量化的处理,所谓向量化就是将matlab里面所有的for循环用矩阵运算的方法实现,在这里呢,因为之前的实验我已经是按照向量化的形式编写的代码,所以这里我只把我对代码修改的部分发上来供大家参考吧.本文为本人原创,参考了UFLDL的教程,是我自己个人对于这一系列教程的理解以及自己的实验结果.非盈利性质网站转载请在文章开头处著名本文…

本人新写的3个pyhton脚本. (1)单张图片的resize: # coding = utf-8 import Image def convert(width,height): im = Image.open("C:\\workspace\\PythonLearn1\\test.jpg") out = im.resize((width, height),Image.ANTIALIAS) out.save("C:\\workspace\\PythonLearn1\\test.…

一. YOLOv2安装使用 1. darknet YOLOv2安装 git clone https://github.com/pjreddie/darknetcd darknetmake或到网址上下载darknet文件夹,解压后在darknet文件夹下执行make编译. 2. 预测模型权重下载 wget https://pjreddie.com/media/files/yolo.weights或到网址上下载yolo.weights,放到darknet目录下. 3. 目标检测 ./darknet…

数据集——iris(R语言自带鸢尾花包) 一.scale函数 scale函数默认的是对制定数据做均值为0,标准差为1的标准化.它的两个参数center和scale: 1)center和scale默认为真,即T 2)center为真表示数据中心化 3)scale为真表示数据标准化 中心化:所谓数据的中心化是指数据集中的各项数据减去数据集的均值. 标准化:标准化就是数据在中心化之后再除以标准差.变换后值域为[0,1]. # 标准化与中心化data(iris) # 读入数据head(iris) #查看…

变分自编码器(VAE,variatinal autoencoder)   VS    生成式对抗网络(GAN,generative adversarial network) 两者不仅适用于图像,还可以探索声音.音乐甚至文本的潜在空间: VAE非常适合用于学习具有良好结构的潜在空间,其中特定方向表示数据中有意义的变化轴;  GAN生成的图像可能非常逼真,但它的潜在空间可能没有良好结构,也没有足够的连续型.   自编码,简单来说就是把输入数据进行一个压缩和解压缩的过程. 原来有很多 Feature,…

做了一些简单机器学习任务后,发现必须要对数据集有足够的了解才能动手做一些事,这是无法避免的,否则可能连在干嘛都不知道,而一些官方例程并不会对数据集做过多解释,你甚至连它长什么样都不知道... 以sklearn的手写数字识别为例,例子中,一句 digits = datasets.load_digits() 就拿到数据了,然后又几句 images_and_labels = list(zip(digits.images, digits.target)) for index, (image, label…

本文是使用pycharm下的pytorch框架编写一个训练本地数据集的Resnet深度学习模型,其一共有两百行代码左右,分成mian.py.network.py.dataset.py以及train.py文件,功能是对本地的数据集进行分类.本文介绍逻辑是总分形式,即首先对总流程进行一个概括,然后分别介绍每个流程中的实现过程(代码+流程图+文字的介绍). 对于整个项目的流程首先是加载本地数据集,然后导入Resnet网络,最后进行网络训练.整体来说一个完整的小项目,难度并不高,需要有一定的pytorc…

用最近做的理赔申请人测试数据集做了个在线分析小网站. 数据结构,算法等设置都保存在json文件里.将来对这个小破站扩充算法,只修改一下json文件就行. 当然,结果分析还是要加代码的.页面代码不贴了,搞清楚django的view+model模型后,写程序还是很简单的. 那些不要脸的爬虫网站,敢不敢注明来源? 聚类算法结果,对连续性变量我用的是变异系数(Coefficient of Variation), 离散性变量简单统计记录数组成的矩阵. 最后把原始数据和分类结果合并成csv提供下载,可导入t…

创建网络数据集就得有各种数据和参数,这篇文章很长,慎入. 网络分析依赖于网络数据集的质量,这句话就在这里得到了验证:复杂.精确定义. 本节目录如下: 1. INetworkDataset与IDENetworkDataset对比 1.1 什么是INetworkDataset 1.2 两者对比 2. 如何设置数据元素网络数据集(IDENetworkDataset)的属性以创建网络数据集 2.1 涉及的接口.类.枚举 2.2 创建数据元素网络数据集(IDENetworkDataset)对象 2.3 添…

注册了博客园一晃有3个月了,同时接触机器学习也断断续续的算是有1个月了.今天就用机器学习神器sklearn包的相关内容作为我的开篇文章吧. 本文将对sklearn包中的数据集做一个系统介绍,并简单说一下它们的使用. 道行尚浅,如正文描述有误还望小伙伴不吝赐教,不胜感激,即刻进入正文. 首先,一般机器学习的建模步骤是:数据收集 -> 特征工程 -> 模型选择 -> 模型训练 -> 模型评估 -> 超参数调整 -> 模型预测 -> 模型保存 由此可见,拥有大量优质的数…

Middlebury数据集 http://vision.middlebury.edu/stereo/data/ KITTI数据集简介与使用 https://blog.csdn.net/solomon1558/article/details/70173223 http://www.dataguru.cn/article-12197-1.html 摘要: 一路走来,Matterport见证了3D数据集在深度学习多领域的巨大力量.我们在这个领域研究了很久,希望将一部分数据分享给研究者使用.令人兴奋的是…

1.计算节点为什么要做nova 的互信? nova 做resize 或者冷迁移需要两台计算节点做互信. 原因:resize(冷迁移)实际上是运行scp 文件到另一台主机上,如下的命令 Command: ssh 172.16.170.177 mkdir -p /var/lib/nova/instances/a7b26c11-d879-4aa1-b585-6e8e455df1ec 如果没有做互信会报如下错误: 2.如何验证是否做了互信? 首先说明的是每个用户都有自己的public key,所以互信是…

Minist数据集:MNIST_data 包含四个数据文件 一.方法一:经典方法 tf.matmul(X,w)+b import tensorflow as tf import numpy as np import input_data import time #define paramaters learning_rate=0.01 batch_size=128 n_epochs=900 # 1.read from data file #using TF learn built in func…

概述 在前边一篇文章,我们讲了如何复现论文代码,使用pascal voc 2012数据集进行训练和验证,具体内容可以参考<deeplab v3+在pascal_voc 2012数据集上进行训练>,在本篇文章,我们主要讲述,如何对deeplab v3+进行迁移学习,也即如何使用deeplab v3+算法来训练个人的数据集. 1. 数据集准备 首先在开始之前我们先对数据集做一个简单的说明,由于deeplabv3+使用的TensorFlow框架,并且为了提高训练的速度,因此在训练开始前,需要转换成t…

上个月发布了四篇文章,主要讲了深度学习中的"hello world"----mnist图像识别,以及卷积神经网络的原理详解,包括基本原理.自己手写CNN和paddlepaddle的源码解析.这篇主要跟大家讲讲如何用PaddlePaddle和Tensorflow做图像分类. 在卷积神经网络中,有五大经典模型,分别是:LeNet-5,AlexNet,GoogleNet,Vgg和ResNet.本文首先自己设计一个小型CNN网络结构来对图像进行分类,再了解一下LeNet-5网络结构对图像做分类…

论文标题: YOLOv3: An Incremental Improvement 论文作者: Joseph Redmon Ali Farhadi YOLO官网:YOLO: Real-Time Object Detection https://pjreddie.com/darknet/yolo/ 论文链接:https://pjreddie.com/media/files/papers/YOLOv3.pdf YOLOv3论文地址:https://arxiv.org/abs/1804.02767 声明…

Darknet/Yolo官网:https://pjreddie.com/darknet/yolo/ GitHub程序:https://github.com/AlexeyAB/darknet 关于程序程序 需要做的事情: 1.源码解析 2.论文看懂 3.代码跑通 4.代码修改 5.训练自己的数据集…

Redis内存淘汰 定义: 指的是用户存储的一些键被可以被Redis主动地从实例中删除,从而产生读miss的情况 机制存在原因: Redis最常见的两种应用场景为缓存和持久存储 首先要明确的一个问题是内存淘汰策略更适合于那种场景?是持久存储还是缓存? 内存的淘汰机制的初衷是为了更好地使用内存,用一定的缓存miss来换取内存的使用效率. 作为Redis用户,我如何使用Redis提供的这个特性呢?看看下面配置 配置文件 我们可以通过配置redis.conf中的maxmemory这个值来开启内存淘汰功…

完整代码及其数据,请移步小编的GitHub地址 传送门:请点击我 如果点击有误:https://github.com/LeBron-Jian/DeepLearningNote 在整理这些知识点之前,我建议先看一下原论文,不然看我这个笔记,感觉想到哪里说哪里,如果看了论文,还有不懂的,正好这篇博客就是其详细解析,包括源码解析. 我翻译的链接: 深度学习论文翻译解析(五):Siamese Neural Networks for One-shot Image Recognition 下面开始: 1,S…

摘要:FCN对图像进行像素级的分类,从而解决了语义级别的图像分割问题. 本文分享自华为云社区<全卷积网络(FCN)实战:使用FCN实现语义分割>,作者: AI浩. FCN对图像进行像素级的分类,从而解决了语义级别的图像分割(semantic segmentation)问题.与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类(全联接层+softmax输出)不同,FCN可以接受任意尺寸的输入图像,采用反卷积层对最后一个卷积层的feature map进行上采样, 使它恢复到输入图像…

原论文链接:https://gitee.com/shaoxuxu/DeepLearning_PaperNotes/blob/master/YOLOv1.pdf 笔记版论文链接:https://gitee.com/shaoxuxu/DeepLearning_PaperNotes/blob/master/YOLOv1-PaperNotes.pdf 你只需要看一次:统一的.实时的目标检测 1. 简介 (1)主要作者简介: Joseph Redmon:YOLOv1.YOLOv2.YOLOv3.DarkN…

2. 软件界面介绍 1. 基本组件 Hawk采用类似Visual Studio和Eclipse的Dock风格,所有的组件都可以悬停和切换.包括以下核心组件: 左上角区域:主要工作区,任务管理. 下方: 输出调试信息,和任务管理,监控一项任务完成的百分比. 右上方区域: 属性管理器,能对不同的模块设置属性. 右下方区域: 显示当前已经加载的所有数据表和模块. 2. 数据源 能够添加来自不同数据源的连接器, 并对数据进行加载和管理: 在空白处,点击右键,可增加新的连接器.在连接器的数据表上,双击可查…

工作和学习中常常会遇到一行要分割成多行数据的情况,在此整理一下做下对比. 单行拆分 如果表数据只有一行,则可以直接在原表上直接使用connect by+正则的方法,比如: select regexp_substr('444.555.666', '[^.]+', 1, level) col from dual connect by level <= regexp_count('444.555.666', '\.') + 输出结果: COL ---- 444 555 666   多行拆分 如果数据表…

公司最近在研究多条件组合查询方案,Google的一位技术专家Sam和我们讨论了几个备选方案. Sam的信: 我做了进一步研究,目前有这么几种做法: 1) 最直接粗暴,只做一个主index,比如按行业+地区做一个index,这样来说的话,无论多少个标签的查询,直接先用主index做一个筛选,这样下来可能只有少于10w个row,然后对这10w个一个个filtering,这种做法可能能够满足大部分需求.当然,这种做法需要用到cache来优化,否则每次都去DB load会影响数据库的performanc…

Hawk-数据抓取工具:简明教程 标签(空格分隔): Hawk Hawk: Advanced Crawler& ETL tool written in C#/WPF 1.软件介绍 HAWK是一种数据采集和清洗工具,依据GPL协议开源,能够灵活,有效地采集来自网页,数据库,文件, 并通过可视化地拖拽, 快速地进行生成,过滤,转换等操作.其功能最适合的领域,是爬虫和数据清洗. Hawk的含义为"鹰",能够高效,准确地捕杀猎物. HAWK使用C# 编写,其前端界面使用WPF开发,支持…

dplyr包是Hadley Wickham的新作,主要用于数据清洗和整理,该包专注dataframe数据格式,从而大幅提高了数据处理速度,并且提供了与其它数据库的接口:tidyr包的作者是Hadley Wickham, 该包用于"tidy"你的数据,这个包常跟dplyr结合使用. 本文将介绍dplyr包的下述五个函数用法: 筛选: filter() 排列: arrange() 选择: select() 变形: mutate() 汇总: summarise() 分组: group_by(…

1. RDD是什么RDD:Spark的核心概念是RDD (resilient distributed dataset),指的是一个只读的,可分区的弹性分布式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间可重复使用. 2. 为什么会产生RDD? (1)传统的MapReduce虽然具有自动容错.平衡负载和可拓展性的优点,但是其最大缺点是采用非循环式的数据流模型,使得在迭代计算式中要进行大量的磁盘IO操作.RDD正是解决这一缺点的抽象方法. (2)RDD是一种有容错机制的特殊集合,可以分…

转载:http://blog.fens.me/r-multi-linear-regression/ 前言 本文接上一篇R语言解读一元线性回归模型.在许多生活和工作的实际问题中,影响因变量的因素可能不止一个,比如对于知识水平越高的人,收入水平也越高,这样的一个结论.这其中可能包括了因为更好的家庭条件,所以有了更好的教育:因为在一线城市发展,所以有了更好的工作机会:所处的行业赶上了大的经济上行周期等.要想解读这些规律,是复杂的.多维度的,多元回归分析方法更适合解读生活的规律. 由于本文为非统计的专业…

转载自:http://blog.fens.me/r-linear-regression/ 前言 在我们的日常生活中,存在大量的具有相关性的事件,比如大气压和海拔高度,海拔越高大气压强越小:人的身高和体重,普遍来看越高的人体重也越重.还有一些可能存在相关性的事件,比如知识水平越高的人,收入水平越高:市场化的国家经济越好,则货币越强势,反而全球经济危机,黄金等避险资产越走强. 如果我们要研究这些事件,找到不同变量之间的关系,我们就会用到回归分析.一元线性回归分析是处理两个变量之间关系的最简单模型,是…