航拍图像面临的问题 正常图像受重力作用相对固定,航拍图像的物体受拍摄角度影响 航拍图像的物体比例变化很大 某些航拍图像中小物体很密集 传统的数据集面临数据偏差的问题严重 好的数据集必备的几个特征 大量图像数据 单个类别有足够多的实例 正确定向对象说明 单张图片中有足够多种类的物体,以便接近于真实世界 DOTA数据集特征 15种类别:飞机.轮船.储槽.网球场.篮球场.棒球场.田径场.港口.桥.大的交通工具.小的交通工具.直升机.环岛.足球场.游泳池.其中14个主类,(交通工具算一个主类) pape

https://www.jianshu.com/p/a672f702e596 本文记录了在ubuntu16.04下使用py-faster-rcnn来训练自己的数据集的大致过程. 在此之前,已经成功配置过了caffe-gpu,使用的显卡是GTX1080ti,安装的cuda8.0.61+cudnn v5.1,caffe-gpu的配置过程可以参考:Ubuntu16.04配置caffe-GPU环境. 第一步:制作自己的数据集 首先,为了方便,可以将自己的训练图像名称改成PASCAL VOC格式,比如我自

Python实现SVM(支持向量机) 运行环境 Pyhton3 numpy(科学计算包) matplotlib(画图所需,不画图可不必) 计算过程 st=>start: 开始 e=>end: 结束 op1=>operation: 读入数据 op2=>operation: 格式化数据 cond=>condition: 是否达到迭代次数 op3=>operation: 寻找超平面分割最小间隔 ccond=>conditon: 数据是否改变 op4=>operat

Python实现NN(神经网络) 参考自Github开源代码:https://github.com/dennybritz/nn-from-scratch 运行环境 Pyhton3 numpy(科学计算包) matplotlib(画图所需,不画图可不必) sklearn(人工智能包,生成数据使用) 计算过程 st=>start: 开始 e=>end: 结束 op1=>operation: 读入数据 op2=>operation: 格式化数据 cond=>condition: 是

决策树的分类过程和人的决策过程比较相似,就是先挑“权重”最大的那个考虑,然后再往下细分.比如你去看医生,症状是流鼻涕,咳嗽等,那么医生就会根据你的流鼻涕这个权重最大的症状先认为你是感冒,接着再根据你咳嗽等症状细分你是否为病毒性感冒等等.决策树的过程其实也是基于极大似然估计.那么我们用一个什么标准来衡量某个特征是权重最大的呢,这里有信息增益和基尼系数两个.ID3算法采用的是信息增益这个量. 根据<统计学习方法>中的描述,G(D,A)表示数据集D在特征A的划分下的信息增益.具体公式: G(D,A)

sklearn集成方法 集成方法的目的是结合一些基于某些算法训练得到的基学习器来改进其泛化能力和鲁棒性(相对单个的基学习器而言)主流的两种做法分别是: bagging 基本思想 独立的训练一些基学习器(一般倾向于强大而复杂的模型比如完全生长的决策树),然后综合他们的预测结果,通常集成模型的效果会优于基学习器,因为模型的方差有所降低. 常见变体(按照样本采样方式的不同划分) Pasting:直接从样本集里随机抽取的到训练样本子集 Bagging:自助采样(有放回的抽样)得到训练子集 Random

SSD,全称Single Shot MultiBox Detector,是Wei Liu在ECCV 2016上提出的一种目标检测算法,截至目前是主要的检测框架之一,相比Faster RCNN有明显的速度优势,相比YOLO又有明显的mAP优势(不过已经被CVPR 2017的YOLO9000超越) 在VOC2007上,SSD300比Faster R-CNN的mAP高了6.6倍 在VOC2007上,SSD300比YOLP的FPS高了10%倍 1.SSD网络结构 SSD网络最前边使用了VGG16的前5个

Text-CNN模型作为文本分类模型,通过验证实验以及业界的共识,在文本分类任务中,CNN模型已经能够取到比较好的结果,虽然在某些数据集上效果可能会比RNN稍差一点,但是CNN模型训练的效率更高.所以,一般认为CNN模型在文本分类任务中是兼具效率与质量的理想模型.针对海量的文本多分类数据,也可以尝试一下浅层的深度学习模型FastText模型,该模型的分类效率更高. Text-CNN模型结构: Text-CNN模型的整体网络架构如图所示.整个模型由四部分构成:输入层.卷积层.池化层.全连接层. 1

参考:https://pytorch.org/tutorials/beginner/data_loading_tutorial.html DATA LOADING AND PROCESSING TUTORIAL 在解决任何机器学习问题时,都需要花费大量的精力来准备数据.PyTorch提供了许多工具来简化数据加载,希望能使代码更具可读性.在本教程中,我们将看到如何加载和预处理/增强非平凡数据集中的数据. 为了运行下面的教程,请确保你已经下载了下面的数据包: scikit-image:为了图片的输入

前面学习了决策树的算法原理,这里继续对代码进行深入学习,并掌握ID3的算法实践过程. ID3算法是一种贪心算法,用来构造决策树,ID3算法起源于概念学习系统(CLS),以信息熵的下降速度为选取测试属性的标准,即在每一个节点选取还尚未被用来划分的具有最高信息增益的属性作为划分标准,然后继续这个过程,直到生成的决策树能完美的分类训练样例. ID3算法的背景知识 ID3算法最早是由罗斯昆(J. Ross Quinlan)于1975年在悉尼大学提出的一种分类预测算法,算法的核心是“信息熵”.ID3算法通

A Deep Learning Pipeline for Classifying Different Stages of Alzheimer's Disease from fMRI Data -- Yosra Kazemi 阿尔茨海默氏病(AD)是一种不可逆转的渐进性神经障碍,会导致记忆和思维能力的丧失 该论文使用深度学习的方法成功地对AD病的五个阶段进行了分类:非病态健康控制(NC).显著性记忆关注(SMC).早期轻度认知损害 (EMCI).晚期轻度认知损害(LMCI)和阿尔茨海默病(AD)

目录 决策树算法 ID3算法[1] C4.5 改进[1] "纯度"度量指标:信息增益率 离散化处理 CART(分类与回归树,二叉) 度量指标 二值化处理 不完整数据处理 CART生成算法[4] CART剪枝[3] 决策树优缺点 参考文献 决策树算法 决策树模型的核心: 1.由节点与有向边组成 2.节点分为内部节点和叶子节点 3.内部节点表示一个特征,叶子节点表示一个类 每个内部特征表示一个特征属性上的测试,分支代表这个特征属性在某个值域上的输出 决策树的关键步骤是分裂属性,即按照一种特

文本分类之特征选择 1 研究背景 对于高纬度的分类问题,我们在分类之前一般会进行特征降维,特征降维的技术一般会有特征提取和特征选择.而对于文本分类问题,我们一般使用特征选择方法. 特征提取:PCA.线性判别分析 特征选择:文档频数.信息增益.期望交叉熵.互信息.文本证据权.卡方等 特征选择的目的一般是: 避免过拟合,提高分类准确度 通过降维,大大节省计算时间和空间 特征选择基本思想: 1)构造一个评价函数 2)对特征空间的每个特征进行评分 3)对所有的特征按照其评估分的大小进行排序 4)从中选取

决策树ID3原理及R语言python代码实现(西瓜书) 摘要: 决策树是机器学习中一种非常常见的分类与回归方法,可以认为是if-else结构的规则.分类决策树是由节点和有向边组成的树形结构,节点表示特征或者属性, 而边表示的是属性值,边指向的叶节点为对应的分类.在对样本的分类过程中,由顶向下,根据特征或属性值选择分支,递归遍历直到叶节点,将实例分到叶节点对应的类别中. 决策树的学习过程就是构造出一个能正取分类(或者误差最小)训练数据集的且有较好泛化能力的树,核心是如何选择特征或属性作为节点, 通

附上代码加数据地址 https://github.com/Liuyubao/transfer-learning ,欢迎参考. 一.Inception-V3模型 1.1 详细了解模型可参考以下论文: [v1] Going Deeper with Convolutions, 6.67% test error http://arxiv.org/abs/1409.4842 [v2] Batch Normalization: Accelerating Deep Network Training by Re

在自己的数据集上训练一个新的深度学习模型时,一般采取在预训练好的模型上进行微调的方法.什么是微调?这里已VGG16为例进行讲解,下面贴出VGGNet结构示意图. 上面圈出来的是VGG16示意图,也可以用如下两个图表示. 如上图所示 ,VGG16的结构为卷积+全连接层.卷积层分为5个部分共13层,即图中的conv1~conv5.还有3层是全连接层,即图中的fc6.fc7.fc8.卷积层加上全连接层合起来一共为16层,因此它被称为VGG16.如果要将VGG16的结构用于一个新的数据集,首先要去掉fc

slides 讲得是相当清楚了: http://www.cs.unc.edu/~wliu/papers/ssd_eccv2016_slide.pdf 配合中文翻译来看: https://www.cnblogs.com/cx2016/p/11385009.html default boxes 核心点讲解 及 .cpp 代码见:https://www.cnblogs.com/sddai/p/10206929.html 小哥的后续论文: PUBLICATIONS Frustum PointNets f

Text-CNN 1.文本分类 转眼学生生涯就结束了,在家待就业期间正好有一段空闲期,可以对曾经感兴趣的一些知识点进行总结. 本文介绍NLP中文本分类任务中核心流程进行了系统的介绍,文末给出一个基于Text-CNN模型在搜狗新闻数据集上二分类的Demo. 文本分类是自然语言处理领域最活跃的研究方向之一,从样本数据的分类标签是否互斥上来说,可以分为文本多分类与文本多标签分类. 文本分类 目前文本分类在工业界的应用场景非常普遍,从新闻的分类.商品评论信息的情感分类到微博信息打标签辅助推荐系统,了解文

Text-CNN 1.文本分类 转眼学生生涯就结束了,在家待就业期间正好有一段空闲期,可以对曾经感兴趣的一些知识点进行总结. 本文介绍NLP中文本分类任务中核心流程进行了系统的介绍,文末给出一个基于Text-CNN模型在搜狗新闻数据集上二分类的Demo. 文本分类是自然语言处理领域最活跃的研究方向之一,从样本数据的分类标签是否互斥上来说,可以分为文本多分类与文本多标签分类. 文本分类 目前文本分类在工业界的应用场景非常普遍,从新闻的分类.商品评论信息的情感分类到微博信息打标签辅助推荐系统,了解文

sklearn集成方法 bagging 常见变体(按照样本采样方式的不同划分) Pasting:直接从样本集里随机抽取的到训练样本子集 Bagging:自助采样(有放回的抽样)得到训练子集 Random Subspaces:列采样,按照特征进行样本子集的切分 Random Patches:同时进行行采样.列采样得到样本子集 sklearn-bagging 学习器 BaggingClassifier BaggingRegressor 参数 可自定义基学习器 max_samples,max_feat

一,train_val.prototxt name: "CIFAR10_quick" layer { name: "cifar" type: "Data" top: "data" top: "label" include { phase: TRAIN } transform_param { # mirror: true # mean_file: "examples/cifar10/mean.bin