AAAI 2021 最佳论文公布
作者:Synced
翻译:仿佛若有光
第三十五届 AAAI 人工智能会议 (AAAI-21) 以虚拟会议的形式拉开帷幕。组委会在开幕式上公布了最佳论文奖和亚军。三篇论文获得了最佳论文奖,三篇被评为亚军。
AAAI 2021 共收到 9,034 篇论文,再创历史新高,超过了去年的 8800 篇。来自中国的论文(3,319 篇)几乎是美国论文数量(1,822 篇)的两倍。在 7,911 篇去评审的论文中,共有 1,692 篇论文通过。今年的录取率为21%,略高于去年的20.6%。
点个关注,专注于计算机视觉
最佳论文奖
Informer:超越用于长序列时间序列预测的高效transformer
论文名称:Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
论文地址:https://arxiv.org/pdf/2012.07436.pdf (文末附下载方式)
机构:北京航空航天大学、加州大学伯克利分校、罗格斯大学、北京国旺福达科技发展公司
作者:Haoyi Zhou、Shanghang Zhang、Jieqi Peng、Shuai Zhang、Jianxin Li、Hui Xiong、Wancai Zhang
摘要:许多实际应用需要预测长序列时间序列,例如用电规划。长序列时间序列预测(LSTF)需要模型的高预测能力,即高效捕捉输出和输入之间精确的长期依赖耦合的能力。最近的研究表明 Transformer 具有提高预测能力的潜力。
然而,Transformer 存在一些严重的问题,使其无法直接应用于 LSTF,例如二次时间复杂度、高内存使用率以及编码器-解码器架构的固有限制。
为了解决这些问题,我们为 LSTF 设计了一个高效的基于 Transformer 的模型,名为 Informer,具有三个鲜明的特征:
(i)ProbSparse Self-attention 机制,在时间复杂度和内存使用方面实现了 O(Llog L),并且具有序列依赖性比对的可比性能。
(ii) 自注意力蒸馏通过将级联层输入减半来突出主导注意力,并有效地处理极长的输入序列。
(iii) 生成式解码器虽然概念上很简单,但在一次前向操作中而不是一步一步地预测长时间序列序列,这大大提高了长序列预测的推理速度。
在四个大规模数据集上的大量实验表明,Informer 显着优于现有方法,并为 LSTF 问题提供了新的解决方案。
多智能体学习中的探索-利用:灾难理论遇到博弈论
论文:Exploration-Exploitation in Multi-Agent Learning: Catastrophe Theory Meets Game Theory
论文地址:https://arxiv.org/pdf/2012.03083.pdf (文末附下载方式)
院校:新加坡科技与设计大学
作者:Stefanos Leonardos、Georgios Piliouras
摘要:探索-利用是多智能体学习 (MAL) 中一种强大而实用的工具,但其效果尚不清楚。为了在这个方向上取得进展,我们研究了 Q-learning 的平滑模拟。我们首先表明,我们的学习模型作为研究探索开发的最佳模型具有很强的理论依据。
具体来说,我们证明,对于明确捕获游戏和探索成本之间的平衡的成本模型,平滑 Q 学习在任意游戏中具有有限的遗憾,并且它始终收敛到一组量子响应均衡(QRE),标准解决方案概念对于有限理性下的博弈,在具有异构学习代理的加权潜在博弈中。
在我们的主要任务中,我们然后转向衡量探索对集体系统性能的影响。我们描述了低维 MAL 系统中 QRE 表面的几何形状,并将我们的发现与灾难(分叉)理论联系起来。特别是,随着探索超参数随着时间的推移而演变,系统会经历相变,其中平衡的数量和稳定性可以从根本上改变,因为探索参数的变化非常小。
基于此,我们提供了一个正式的理论处理,说明如何调整探索参数可以证明导致平衡选择对系统性能产生积极和消极(并且可能是无限的)影响。
通过强化校准减轻语言模型中的政治偏见
论文名称:Mitigating Political Bias in Language Models Through Reinforced Calibration
论文地址:https://www.cs.dartmouth.edu/~rbliu/aaai_copy.pdf (文末附下载方式)
机构:达特茅斯学院、德克萨斯大学奥斯汀分校、Google AI
作者:Ruibo Liu、Chenyan Jia、Jason Wei、Guangxuan Xu、Lili Wang 和 Soroush Vosoughi
摘要:当前的大规模语言模型可能会因其所训练的数据而存在政治偏见,当它们部署在现实世界中时可能会导致严重的问题。
在本文中,我们描述了测量 GPT-2 生成中政治偏见的指标,并提出了一个强化学习 (RL) 框架来减轻生成文本中的政治偏见。通过使用来自词嵌入或分类器的奖励,我们的 RL 框架指导去偏差生成,而无需访问训练数据或需要重新训练模型。在对政治偏见敏感的三个属性(性别、位置和主题)的实证实验中,我们的方法根据我们的指标和人工评估减少了偏见,同时保持了可读性和语义一致性。
最佳论文亚军
从极端强盗反馈中学习
论文名称:Learning From Extreme Bandit Feedback
论文地址:https://arxiv.org/pdf/2009.12947.pdf (文末附下载方式)
机构:加州大学伯克利分校、德克萨斯大学奥斯汀分校
作者:Romain Lopez、Inderjit Dhillon、Michael I. Jordan
摘要:我们研究了在极大动作空间的设置中从强盗反馈中批量学习的问题。从极端强盗反馈中学习在推荐系统中无处不在,其中在一天内对由数百万个选择组成的集合做出数十亿个决策,产生大量观察数据。
在这些大规模的现实世界应用中,尽管由于bandit反馈和监督标签之间的不匹配而导致显着的偏差,但诸如极限多标签分类 (XMC) 之类的监督学习框架被广泛使用。这种偏差可以通过重要性采样技术来减轻,但这些技术在处理大量动作时会出现不切实际的差异。
在本文中,我们引入了一种选择性重要性采样估计器 (sIS),它在一个明显更有利的偏差方差机制中运行。sIS 估计器是通过对每个实例的一小部分动作(Rao-Blackwellization 的一种形式)对奖励的条件期望进行重要性采样来获得的。
我们在一个新的算法程序中使用这个估计器——称为极端模型的策略优化 (POXM)——从强盗对 XMC 任务的反馈中学习。在 POXM 中,sIS 估计器选择的动作是日志策略的 top-p 动作,其中 p 是根据数据调整的,并且明显小于动作空间的大小。
我们在三个 XMC 数据集上使用监督到强盗的转换来对我们的 POXM 方法与三种竞争方法进行基准测试:BanditNet、以前应用的部分匹配修剪策略和监督学习基线。虽然 BanditNet 有时比日志记录策略略有改进,但我们的实验表明,POXM 在所有基线上都有系统且显着的改进。
Self-Attention Attribution:解读transformer内部的信息交互
论文名称:Self-Attention Attribution: Interpreting Information Interactions Inside Transformer
论文地址:https://arxiv.org/pdf/2004.11207.pdf (文末附下载方式)
机构:北京航空航天大学、微软研究院
作者:郝亚茹、李东、傅如薇、许柯
摘要:基于 Transformer 的模型的巨大成功得益于强大的多头自注意力机制,该机制从输入中学习令牌依赖性并编码上下文信息。先前的工作努力将模型决策归因于具有不同显着性度量的单个输入特征,但他们未能解释这些输入特征如何相互作用以达到预测。
在本文中,我们提出了一种自注意力归因算法来解释 Transformer 内部的信息交互。我们以BERT为例进行广泛的研究。首先,我们提取每一层中最显着的依赖关系来构建一个归因图,它揭示了 Transformer 内部的分层交互。此外,我们应用 selfattention 归因来识别重要的注意力头,而其他注意力头只能在边缘性能下降的情况下进行修剪。
最后,我们表明归因结果可以用作对抗性模式来实施对 BERT 的非针对性攻击。
双重任务巡逻:绿色安全的多臂强盗
论文名称:Dual-Mandate Patrols: Multi-Armed Bandits for Green Security
论文地址:https://arxiv.org/pdf/2009.06560.pdf (文末附下载方式)
机构:哈佛大学、卡内基梅隆大学
作者:Lily Xu、Elizabeth Bondi、Fei Fang、Andrew Perrault、Kai Wang、Milind Tambe
摘要:在绿色安全领域保护野生动物和森林的保护工作受到防御者(即巡逻者)的有限可用性的限制,他们必须巡逻大片区域以防止攻击者(例如偷猎者或非法伐木者)。防御者必须选择在保护区的每个区域花费多少时间,平衡不常访问区域的探索和已知热点的开发。
我们将问题表述为随机多臂bandit,其中每个动作代表一个巡逻策略,使我们能够保证巡逻策略的收敛速度。然而,幼稚的bandit方法会为了长期最优而损害短期性能,导致动物被偷猎和森林被毁。
为了加快性能,我们利用奖励函数的平滑性和动作的可分解性。我们展示了 Lipschitz 连续性和分解之间的协同作用,因为每个都有助于另一个的收敛。通过这样做,我们弥合了组合bandit和 Lipschitz bandit之间的差距,提出了一种无悔方法,可以在优化短期性能的同时收紧现有保证。
我们证明了我们的算法 LIZARD 提高了柬埔寨真实世界偷猎数据的性能。
原文链接:
https://synced.medium.com/aaai-2021-best-papers-announced-c32307f3d39b
在公众号 “CV技术指南” 后台回复关键字 “ 0004 ” 可获取以上论文。
本文来源于公众号 CV技术指南 的论文分享系列。
欢迎关注公众号 CV技术指南 ,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读。
在公众号中回复关键字 “技术总结” 可获取以下文章的汇总pdf。
其它文章
经典论文系列 | 目标检测--CornerNet & 又名 anchor boxes的缺陷
在做算法工程师的道路上,你掌握了什么概念或技术使你感觉自我提升突飞猛进?
AAAI 2021 最佳论文公布的更多相关文章
- ICRA 2019最佳论文公布 李飞飞组的研究《Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks》获得了最佳论文
机器人领域顶级会议 ICRA 2019 正在加拿大蒙特利尔举行(当地时间 5 月 20 日-24 日),刚刚大会公布了最佳论文奖项,来自斯坦福大学李飞飞组的研究<Making Sense of ...
- InfoQ一波文章:AdaSearch/JAX/TF_Serving/leon.bottou.org/Neural_ODE/NeurIPS_2018最佳论文
和 Nested Partition 有相通之处? 伯克利提出 AdaSearch:一种用于自适应搜索的逐步消除方法 在机器学习领域的诸多任务当中,我们通常希望能够立足预先给定的固定数据集找出问题的答 ...
- KDD 2018 | 最佳论文:首个面向Facebook、arXiv网络图类的对抗攻击研究
8 月 19 日至 23 日,数据挖掘顶会 KDD 2018 在英国伦敦举行,昨日大会公布了最佳论文等奖项.最佳论文来自慕尼黑工业大学的研究者,他们提出了针对图深度学习模型的对抗攻击方法,是首个在属性 ...
- USENIX 最佳论文奖:擦除 Windows Azure 存储编码
我们发表了一篇介绍Windows Azure 存储如何用编码方式擦除数据的论文,此论文在 2012 年 6 月的 USENIX 技术年会上荣获最佳论文奖.这是 MicrosoftResearch ...
- FPGA 17最佳论文导读 ESE: Efficient Speech Recognition Engine with Compressed LSTM on FPGA
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 技术交流QQ群:433250724,欢迎对算法.机器学习技术感兴趣的同学加入. 后面陆续写一些关于神经网络加 ...
- ACM TOMM 2017最佳论文:让AI接手繁杂专业的图文排版设计工作
编者按:你是否曾经为如何创作和编辑一篇图文并茂.排版精美的文章而烦恼?或是为缺乏艺术灵感和设计思路而痛苦?AI技术能否在艺术设计中帮助到我们?今天我们为大家介绍的这篇论文,“Automatic Gen ...
- NIPS2018最佳论文解读:Neural Ordinary Differential Equations
NIPS2018最佳论文解读:Neural Ordinary Differential Equations 雷锋网2019-01-10 23:32 雷锋网 AI 科技评论按,不久前,NeurI ...
- 人工智能顶级会议最佳论文里的“DaDianNao”是什么鬼?
最近对人工智能领域的 AI 加速芯片感兴趣,在翻阅 Google 的第一代 TPU 论文时,在相关工作中看到了 DaDianNao,PuDianNao,ShiDianNao.看的我一脸懵逼,这是什么? ...
- CCKS 2018 | 最佳论文:南京大学提出DSKG,将多层RNN用于知识图谱补全
作者:Lingbing Guo.Qingheng Zhang.Weiyi Ge.Wei Hu.Yuzhong Qu 2018 年 8 月 14-17 日,主题为「知识计算与语言理解」的 2018 全国 ...
随机推荐
- 一次SQL查询优化原理分析(900W+数据,从17s到300ms)
有一张财务流水表,未分库分表,目前的数据量为9555695,分页查询使用到了limit,优化之前的查询耗时16 s 938 ms (execution: 16 s 831 ms, fetching: ...
- js判断字符串为空或者为null 简写
if (str1!== null || str1!== undefined || str1!== '') { var str2= str1; } 下面是简写 var str2= str1|| ''; ...
- Java操作SQL数据库(JDBC)
0.引入驱动jar包 使用jdbc进行具体操作前,需要引入相关数据库的jar包, 或者使用mave管理依赖 <!-- https://mvnrepository.com/artifact/mys ...
- 重新整理 .net core 实践篇————熔断与限流[三十五]
前言 简单整理一下熔断与限流,跟上一节息息相关. 正文 polly 的策略类型分为两类: 被动策略(异常处理.结果处理) 主动策略(超时处理.断路器.舱壁隔离.缓存) 熔断和限流通过下面主动策略来实现 ...
- SAI常用快捷键大全
一.默认常用工具快捷键如下: N 铅笔 B 喷枪 V 笔 X 前/背景色切换 - 前景色与透明色切换 C 水彩笔 A 选区笔 S 选区擦 D 清空当前图层 F 向下转写 (当前图层内容合并至下层,该层 ...
- 浅析富文本编辑器框架Slate.js
浅析富文本编辑器框架Slate.js 本文不是关于Slate.js使用入门的文章,如果还不了解该框架,建议先阅读下官方的文档:Slate官网文档 关于Slate的一些特性 不同于其他编辑器类的库,Sl ...
- 探究国内CRM系统哪家公司做的最好?
国内CRM系统哪家公司做的最好?相信这是很多人关心的话题.但这是一个伪命题,因为无论什么产品,都没有一个确定的结论来证明哪个产品最好.我们只能根据它的功能.适用性.价格等来判断哪个最合适.所以小编只能 ...
- linux添加用户并授权访问目录
1.创建用户及访问目录 useradd test -d /data/app -M设置密码passwd test 将访问目录权限全部赋予用户chown -R test /data/app2. 创建组(如 ...
- IDEA+Hadoop2.10.1+Zookeeper3.4.10+Hbase 2.3.5 操作JavaAPI
在此之前要配置好三节点的hadoop集群,zookeeper集群,并启动它们,然后再配置好HBase环境 本文只是HBase2.3.5API操作作相应说明,如果前面环境还没有配置好,可以翻看我之前的博 ...
- 各种学位&不同学段的表达
1.学士 B.S.=Bachelor of Science 2.硕士 Master MA.Sc(master of Science科学硕士) MA.Eng(master of engineer ...