论文信息 论文标题:Improve Unsupervised Domain Adaptation with Mixup Training论文作者:Shen Yan, Huan Song, Nanxiang Li, Lincan Zou, Liu Ren论文来源:arxiv 2020论文地址:download 论文代码:download引用次数:93 1 Introduction 现有方法分别对源域和目标域施加约束,忽略了它们之间的重要相互作用.本文使用 mixup 来加强训练约束来直接解决目标域…
论文信息 论文标题:Domain-invariant Feature Exploration for Domain Generalization论文作者:Wang Lu, Jindong Wang, Haoliang Li, Yiqiang Chen, Xing Xie论文来源:TMLR 2022论文地址:download 论文代码:download引用次数: 1 前言 本文将介绍一种基于域不变特征挖掘的域泛化方法($\text{DIFEX}$).近年来,领域泛化(Domain Generali…
1. 什么是迁移学习 迁移学习(Transformer Learning)是一种机器学习方法,就是把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中.迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务,虽然大多数机器学习算法都是为了解决单个任务而设计的,但是促进迁移学习的算法的开发是机器学习社区持续关注的话题. 迁移学习对人类来说很常见,例如,我们可能会发现学习识别苹果可能有助于识别梨,或者学习弹奏电子琴可能有助于学习钢琴. 找到目标问题的相似性,迁移学习任务就…
论文信息 论文标题:Domain-Adversarial Training of Neural Networks论文作者:Yaroslav Ganin, Evgeniya Ustinova, Hana Ajakan, Pascal Germain, Hugo Larochelle....论文来源: JMLR 2016论文地址:download 论文代码:download引用次数:5292 1 Domain Adaptation We consider classification tasks w…
论文信息 论文标题:Joint domain alignment and discriminative feature learning for unsupervised deep domain adaptation论文作者:Chao Chen , Zhihong Chen , Boyuan Jiang , Xinyu Jin论文来源:AAAI 2019论文地址:download 论文代码:download引用次数:175 1 Introduction 近年来,大多数工作集中于减少不同领域之间的…
论文信息 论文标题:Adversarial Discriminative Domain Adaptation论文作者:Eric Tzeng, Judy Hoffman, Kate Saenko, Trevor Darrell论文来源:CVPR 2017论文地址:download 论文代码:download引用次数:3257 1 简介 本文主要探讨的是:源域和目标域特征提取器共享参数的必要性. 源域和目标域特征提取器共享参数的代表--DANN. 2 对抗域适应 标准监督损失训练源数据: $\und…
第一章我们简单了解了NER任务和基线模型Bert-Bilstm-CRF基线模型详解&代码实现,这一章按解决问题的方法来划分,我们聊聊多任务学习,和对抗迁移学习是如何优化实体识别中边界模糊,垂直领域标注样本少等问题的.Github-DSXiangLi/ChineseNER中提供了bert_bilstm_crf_mtl多任务, 和bert_bilstm_crf_adv对抗迁移两个模型,支持任意NER+NER,CWS+NER的Joint Training. 多任务学习 以下Reference中1,2,…
在前面的文章中,我们通常是拿到一个任务,譬如图像分类.识别等,搜集好数据后就开始直接用模型进行训练,但是现实情况中,由于设备的局限性.时间的紧迫性等导致我们无法从头开始训练,迭代一两百万次来收敛模型,所以这个时候迁移学习就派上用场了. 什么是迁移学习? 迁移学习通俗来讲,就是运用已有的知识来学习新的知识,核心是找到已有知识和新知识之间的相似性,用成语来说就是举一反三.由于直接对目标域从头开始学习成本太高,我们故而转向运用已有的相关知识来辅助尽快地学习新知识.比如,已经会下中国象棋,就可以类比着来…
原于2018年1月在实验室组会上做的分享,今天分享给大家,希望对大家科研有所帮助. 今天给大家分享一下对抗训练(Adversarial Training,AT). 为何要选择这个主题呢? 我们从上图的Attention的搜索热度可以看出,Attention在出现后,不断被人们所重视,基本上现在的顶会论文都离不开Attention. 同样,AT的搜索热度也持续高涨,因此,我们有理由相信AT也能像Attention一样,在学术界大放光彩. 原本的AT,最初是在样本中加入对抗扰动使神经网络失效,当时A…
资源:http://www.cse.ust.hk/TL/ 简介: 一个例子: 关于照片的情感分析. 源:比如你之前已经搜集了大量N种类型物品的图片进行了大量的人工标记(label),耗费了巨大的人力物力,构建了源情感分类器(即输入一张照片,可以分析出照片的情感).注:这里的情感不是指人物的情感,而是指照片中传达出来的情感,比如这张照片是积极的还是消极的. 目标:因为不同类型的物品,他们在源数据集中的分布也是不同的,所以为了维护一个很好的分类器性能,经常需要增加新的物品.传统的方式是搜集大量N+1…