Active Learning 主动学习

Active Learning主动学习

Active Learning主动学习我们使用一些传统的监督学习方法做分类的时候,往往是训练样本规模越大,分类的效果就越好.但是在现实生活的很多场景中,标记样本的获取是比较困难的,这需要领域内的专家来进行人工标注,所花费的时间成本和经济成本都是很大的.而且,如果训练样本的规模过于庞大,训练的时间花费也会比较多.那么有没有办法,用尽可能少的标注,获取尽可能好的训练结果?主动学习(Active Learning)为我们提供了这种可能.主动学习通过一定的算法查询最有用的未标记样本,并交由专家进行标记…

Active Learning 主动学习

Active Learning 主动学习 2015年09月30日 14:49:29 qrlhl 阅读数 21374 文章标签: 算法机器学习更多分类专栏: 机器学习版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/qrlhl/article/details/48828589 最近读了一篇paper,题目是An MRF Model-Based Active Learning Fram…

[Active Learning] 01 A Brief Introduction to Active Learning 主动学习简介

目录什么是主动学习? 主动学习 vs. 被动学习为什么需要主动学习? 主动学习与监督学习.弱监督学习.半监督学习.无监督学习之间的关系主动学习的种类主动学习的一个例子主动学习工具包 ALiPy References 本文将简单介绍什么是主动学习(Active Learning,AL),为什么需要主动学习,主动学习和监督学习.弱监督学习.半监督学习.无监督学习之间是什么关系.最后再简单介绍主动学习的分类.(这里介绍的主动学习是机器学习的一个子领域.) 什么是主动学习? 主动学习(Acti…

简要介绍Active Learning(主动学习)思想框架，以及从IF（isolation forest）衍生出来的算法：FBIF（Feedback-Guided Anomaly Discovery）

1. 引言本文所讨论的内容为笔者对外文文献的翻译,并加入了笔者自己的理解和总结,文中涉及到的原始外文论文和相关学习链接我会放在reference里,另外,推荐读者朋友购买 Stephen Boyd的<凸优化>Convex Optimization这本书,封面一半橘黄色一半白色的,有国内学者翻译成了中文版,淘宝可以买到.这本书非常美妙,能让你系统地学习机器学习算法背后蕴含的优化理论,体会数学之美. 本文主要围绕下面这篇paper展开内涵和外延的讨论: [1] Siddiqui M A, Fer…

Active Learning

怎么办?进行Active Learning主动学习 Active Learning是最近又流行起来了的概念,是一种半监督学习方法. 一种典型的例子是:在没有太多数据的情况下,算法通过不断给出在决策边界上的样本,让打标者进行打标,使得算法明确分类边界,该算法结合On-Line的使用和灰度测试等方法,可以在有大量无标签数据和大量用户资源的时候,从无到有地创建良好的分类器. 如何进行主动学习周志华的<机器学习>里介绍主动学习的时候提到,利用SVM进行主动学习的时候,应该先用少量有标签的样本训练一个…

主动学习——active learning

阅读目录 1. 写在前面 2. 什么是active learning? 3. active learning的基本思想 4. active learning与半监督学习的不同 5. 参考文献 1. 写在前面在机器学习(Machine learning)领域,监督学习(Supervised learning).非监督学习(Unsupervised learning)以及半监督学习(Semi-supervised learning)是三类研究比较多,应用比较广的学习技术,wiki上对这三种学习…

【主动学习】Variational Adversarial Active Learning

本文记录了博主阅读ICCV2019一篇关于主动学习论文的笔记,第一篇博客,以后持续更新哈哈论文题目:<Variational AdVersarial Active Learning> 原文地址:https://arxiv.org/pdf/1904.00370 开源地址:https://github.com/sinhasam/vaal ·摘要主动学习旨在形成有效标记的算法,通过采样最有代表性的查询结果去使用标注专家标记.本文描述了一种基于池的半监督主动学习算法,以对抗的方式学习采样机制.通过…

主动学习(Active Learning)

主动学习简介在某些情况下,没有类标签的数据相当丰富而有类标签的数据相当稀少,并且人工对数据进行标记的成本又相当高昂.在这种情况下,我们可以让学习算法主动地提出要对哪些数据进行标注,之后我们要将这些数据送到专家那里让他们进行标注,再将这些数据加入到训练样本集中对算法进行训练.这一过程叫做主动学习. 主动学习方法一般可以分为两部分: 学习引擎和选择引擎.学习引擎维护一个基准分类器,并使用监督学习算法对系统提供的已标注样例进行学习从而使该分类器的性能提高,而选择引擎负责运行样例选择算法选择一个未标注…

Recorder︱深度学习小数据集表现、优化（Active Learning）、标注集网络获取

一.深度学习在小数据集的表现深度学习在小数据集情况下获得好效果,可以从两个角度去解决: 1.降低偏差,图像平移等操作 2.降低方差,dropout.随机梯度下降先来看看深度学习在小数据集上表现的具体观点,来源于<撕起来了!谁说数据少就不能用深度学习?这锅俺不背!> 原文:https://simplystatistics.org/2017/05/31/deeplearning-vs-leekasso/ 1.样本数量少于100个,最好不要使用深度学习倘若你的样本数量少于100个,最好不要使用…

[Machine Learning] Active Learning

1. 写在前面在机器学习(Machine learning)领域,监督学习(Supervised learning).非监督学习(Unsupervised learning)以及半监督学习(Semi-supervised learning)是三类研究比较多,应用比较广的学习技术,wiki上对这三种学习的简单描述如下: 监督学习:通过已有的一部分输入数据与输出数据之间的对应关系,生成一个函数,将输入映射到合适的输出,例如分类. 非监督学习:直接对输入数据集进行建模,例如聚类. 半监督学习:综合利…

[主动学习--查询策略] 01 Core-set

符号定义主动学习每一次迭代选择的样本数量为一个 budget 训练集中初始无标签数据集记为 unlabeled data,$\bm{u}^0$ 训练集中初始有标签数据集记为 initial labeled data,$\bm{s}^0$ 查询策略:Core-set k-Center-Greedy 主动学习每一轮将选择 budget 个样本,core-set 方法将这个过程视为寻找一个当前最佳集合的问题,顺序从 unlabeled data 中选出 budget 个样本加入集合 \(\b…

zz2019年主动学习有哪些进展？答案在这三篇论文里

2019年主动学习有哪些进展?答案在这三篇论文里目前推广应用的机器学习方法或模型主要解决分类问题,即给定一组数据(文本.图像.视频等),判断数据类别或将同类数据归类等,训练过程依赖于已标注类别的训练数据集.在实验条件下,这些方法或模型可以通过大规模的训练集获得较好的处理效果.然而在应用场景下,能够得到的数据实际上都没有进行人工标注处理,对这些数据进行类别标注所耗费的人力成本和时间成本非常巨大.在一些专门的应用领域,例如医学图像处理,只有专门学科的专业医生能够完成对医学影像图像的数据标注.显然,…

机器学习分支：active learning、incremental learning、online machine learning

1. active learning Active learning 是一种特殊形式的半监督机器学习方法,该方法允许交互式地询问用户(或者其他形式的信息源 information source)以获取对新的数据样本的理想输出. Active learning 提供的这种交互机制尤其适用于 unlabeled data 有很多,且手工标注的代价十分高昂的场合.显然这种交互式地向用户询问以获取label,使得原始非监督问题变成了一种迭代式的监督学习(iterative supervised lear…

Generalizing from a Few Examples: A Survey on Few-Shot Learning 小样本学习最新综述 | 三大数据增强方法

目录原文链接:小样本学习与智能前沿 01 Transforming Samples from Dtrain 02 Transforming Samples from a Weakly Labeled or Unlabeled Data Set 03 Transforming Samples from Similar Data Sets Discussion and Summary 原文链接:小样本学习与智能前沿上一篇:A Survey on Few-Shot Learning | Intro…

论文笔记 - SIMILAR: Submodular Information Measures Based Active Learning In Realistic Scenarios

motivation Active Learning 存在的重要问题:现实数据极度不平衡,有许多类别很少见(rare),又有很多类别是冗余的(redundancy),又有些数据是 OOD 的(out-of-distribution). 1. 不同的次模函数提出三种次模函数的变体: 次模条件增长(Submodular Conditional Gain, SCG),越大说明差异越大: $$f(\mathcal{A}|\mathcal{P})=f(\mathcal{A}\cup\mathcal{P}…

（转）Predictive learning vs. representation learning 预测学习与表示学习

Predictive learning vs. representation learning 预测学习与表示学习 When you take a machine learning class, there's a good chance it's divided into a unit on supervised learning and a unit on unsupervised learning. We certainly care about this distinction f…

浅谈 Active Learning

1. Active Query Driven by Uncertainty and Diversity for Incremental Multi-Label Learning The key task in active learning is to design a selection criterion such that queried labels can improve the classification model most. many active selection crit…

论文阅读之　A Convex Optimization Framework for Active Learning

A Convex Optimization Framework for Active Learning Active learning is the problem of progressively selecting and annotating the most informative unlabeled samples, in order to obtain a high classification performance. 目前AL方法存在的问题有: 1.大部分AL算法在预训练分类器之…

机器学习(Machine Learning)&深度学习(Deep Learning)资料【转】

转自:机器学习(Machine Learning)&深度学习(Deep Learning)资料 <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in Neural Networks: An Overview> 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最…

机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2)

##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2)---#####注:机器学习资料[篇目一](https://github.com/ty4z2008/Qix/blob/master/dl.md)共500条,[篇目二](https://github.com/ty4z2008/Qix/blob/master/dl2.md)开始更新------#####希望转载的朋友**一定要保留原文链接**,因为这个项目还在继续也在不定期更新．希望看到…

[Active Learning] Multi-Criteria-based Active Learning

目录 1 Informativeness 2 Representativeness 3 Diversity 3.1 Global consideration 3.2 Local consideration 4 Combinations of three criteria 4.1 Strategy 1 4.2 Strategy 2 4.3 Strategy 1 vs. Strategy 2 References Active Learning (AL) 的 query criteria 大致可以分…

deep learning深度学习之学习笔记基于吴恩达coursera课程

feature study within neural network 在regression问题中,根据房子的size, #bedrooms原始特征可能演算出family size(可住家庭大小), zip code可能演算出walkable(可休闲去处),富人比例和zip code也可能决定了学区质量,这些个可住家庭大小,可休闲性,学区质量实际上对于房价预测有着至关重要的影响,但是他们都无法直接从原始数据输入获取,而是进过hidden layer学习抽象得出的特征. loss functio…

调用weka模拟实现 “主动学习“ 算法

主动学习: 主动学习的过程:需要分类器与标记专家进行交互.一个典型的过程: (1)基于少量已标记样本构建模型 (2)从未标记样本中选出信息量最大的样本,交给专家进行标记 (3)将这些样本与之前样本进行融合,并构建模型 (4)重复执行步骤(2)和步骤(3),直到stopping criterion(不存在未标记样本或其他条件)满足为止模拟思路: 1. 将数据分为label 和 unlabel数据集 2. 将 unlabel 分为100个一组,每组样本数组分别求出熵值,按照熵值排序,取前5个样本,…

Andrew Ng Machine Learning Coursera学习笔记

课程记录笔记如下: 1.目前ML的应用包括:数据挖掘database mining.邮件过滤email anti-spam.机器人autonomous robotics.计算生物学computational biology.搜索引擎Google/Bing. 自动直升机autonomous helicopter.自然语言处理Natural Language Processing 2.ML的定义 3.目前ML的分类监督学习Supervised Learning.无监督学习Unsupervised…

<Machine Learning - 李宏毅> 学习笔记

<Machine Learning - 李宏毅> 学习笔记 b站视频地址:李宏毅2019国语第一章机器学习介绍 Hand crafted rules Machine learning ≈ looking for a function from data Speech recognition Image recognition Playing go Dialogue system Framework define a set of function goodness of function…

论文笔记 - Active Learning by Acquiring Contrastive Examples

Motivation 最常用来在 Active Learning 中作为样本检索的两个指标分别是: 基于不确定性(给模型上难度): 基于多样性(扩大模型的推理空间). 指标一可能会导致总是选到不提供有效信息的重复数据(例如模棱两可的.毫无价值的样本):而指标二会导致选择到的样本虽然具有多样性,但是太过于简单(你以为是选择个对于模型来说很陌生的样本,但模型说这种难度早就掌握了),不能有效增强模型能力. Analysis 某些样本在模型特征空间中距离很近,但是模型推理的似然概率却差异很大,称为对比样…