名校 AI 课程|斯坦福 CS25:Transformers United 专题讲座
自 2017 年提出后,Transformer 名声大噪,不仅颠覆了自然语言处理(NLP)领域,而且在计算机视觉(CV)、强化学习(RL)、生成对抗网络(GANs)、语音甚至是生物学等领域也大显锋芒,于是就有了近年来看到的基于 Transformer 创建的大型语言模型 GPT-3,以及“魔改”的 Transformer 在蛋白质折叠问题的 AlphaFold2 算法中大展身手……
那么,Transformer 是什么?它的工作原理如何?有哪些不同结构的 Transformer ,它们在不同领域的应用现状或前景如何?
斯坦福大学近期公开的 CS 25:Transformers United 课程将为我们一一解答。该视频内容已由矩池云进行翻译。
课程全套视频
https://www.bilibili.com/video/BV1KV4y1j7NH?spm_id_from=333.999.0.0
课程介绍
CS25 是全网免费公开的 Transformer 课程。作为近年来在 NLP 领域应用广泛的深度学习模型,课程不止于 Transformer 在 NLP 领域的应用,还重点介绍了 Transformer 及其在 CV、生物学和其他领域的最新突破和前沿应用,故而课程命名为 Transformers United。
课程共10个讲座视频,涵盖了 Transformer 在多个领域的突破及应用:
- Transformer 介绍
- NLP 中 Transformer 的应用:GPT-3,Codex
- CV 中 Transformer 的应用
- 决策 Transformer:通过序列建模的强化学习
- 多专家模型(MoE)和 Switch Transformer
- Perceiver IO 中 Transformer 的应用
- 自注意及非参数 Transformer(NPTs)
- GLOM:神经网络中的部分-整体层级表示
- Transformer 的可解释性
- 音频、语音和音乐中的 Transformer 应用:从语言建模、理解到合成
理论学习之外,你可能会有兴趣将 Transformer 应用到不同的项目或研究中,CS25 虽然没有为原始课程创建练习,但会使用 Harvard NLP 提供的《The Annotated Transformer》中的内容,另外,也可以使用 HuggingFace 的 Transformer 库(矩池云的系统镜像已支持 Transformer)。
课程主讲
讲师为斯坦福大学硕士生 Divyansh Garg、软件工程师 Chetanya Rastogi(毕业于斯坦福大学)、软件工程师 Advay Pal(毕业于斯坦福大学)。指导教授为 Christopher Manning,他是斯坦福大学计算机与语言学教授,也是将深度学习应用于NLP的领军者。
此外,该课程还邀请了不同领域研究Transformer的前沿人士进行客座讲座,OpenAI 的研究科学家 Mark Chen,Google Brain 的科学家 Lucas Beyer,DeepMind的Andrew Jaegle,还有“深度学习之父”Geoffrey Hinton等诸多前沿科学家,讨论各自领域关于Transformer的最新突破和想法,以激发交叉合作研究。
课程视频直达
课程配套资料
关于译者
Transformer 注释版
名校 AI 课程|斯坦福 CS25:Transformers United 专题讲座的更多相关文章
- 全球名校AI课程库(38)| 马萨诸塞大学 · 自然语言处理进阶课程『Advanced Natural Language Processing』
课程学习中心 | NLP课程合辑 | 课程主页 | 中英字幕视频 | 项目代码解析 课程介绍 自然语言处理 (NLP) 是一门关于如何教计算机理解人类语言的工程艺术和科学.NLP 作为一种人工智能技术 ...
- 世界名校网络课程大盘点,美国大学CS专业十三大研究方向,世界50所知名大学提供开放课程
世界名校网络课程大盘点 加州大学伯克利分校http://webcast.berkeley.edu/ 加州大学伯克利分校与斯坦福大学. 麻省理工学院等一同被誉为美国工程科技界的学术 领袖,其常年位居 ...
- 王家林人工智能AI课程大纲和电子书 - 老师微信13928463918
**3980元团购原价19800元的AI课程,团购请加王家林老师微信13928463918. 基于王家林老师独创的人工智能"项目情景投射"学习法,任何IT人员皆可在无需数学和Pyt ...
- Deeplearning.ai课程笔记--汇总
从接触机器学习就了解到Andrew Ng的机器学习课程,后来发现又出来深度学习课程,就开始在网易云课堂上学习deeplearning.ai的课程,Andrew 的课真是的把深入浅出.当然学习这些课程还 ...
- deeplearning.ai课程学习(1)
本系列主要是我对吴恩达的deeplearning.ai课程的理解和记录,完整的课程笔记已经有很多了,因此只记录我认为重要的东西和自己的一些理解. 第一门课 神经网络和深度学习(Neural Netwo ...
- 斯坦福经典AI课程CS 221官方笔记来了!机器学习模型、贝叶斯网络等重点速查...
[导读]斯坦福大学的人工智能课程"CS 221"至今仍然是人工智能学习课程的经典之一.为了方便广大不能亲临现场听讲的同学,课程官方推出了课程笔记CheatSheet,涵盖4大类模型 ...
- 名校AI课推荐 | UC Berkeley《人工智能导论》
深度学习具备强感知能力但缺乏一定的决策能力,强化学习具备决策能力但对感知问题束手无策,因此将两者结合起来可以达到优势互补的效果,为复杂系统的感知决策问题提供了解决思路. 今天我们推荐这样一门课程--U ...
- deeplearning.ai课程学习(2)
第二周:神经网络的编程基础(Basics of Neural Network programming) 1.逻辑回归的代价函数(Logistic Regression Cost Function) 逻 ...
- Deeplearning.ai课程笔记-改善深层神经网络
目录 一. 改善过拟合问题 Bias/Variance 正则化Regularization 1. L2 regularization 2. Dropout正则化 其他方法 1. 数据变形 2. Ear ...
- Deeplearning.ai课程笔记-神经网络和深度学习
神经网络和深度学习这一块内容与机器学习课程里Week4+5内容差不多. 这篇笔记记录了Week4+5中没有的内容. 参考笔记:深度学习笔记 神经网络和深度学习 结构化数据:如数据库里的数据 非结构化数 ...
随机推荐
- [转帖]Linux make: g++: Command not found
https://www.cnblogs.com/kerrycode/p/4748606.html Linux使用make命令时遇到"make: g++: Command not found& ...
- [转帖]【JVM】JDK命令行工具
在JDK/bin目录下我发现了许多命令行工具 这些命令有哪些作用呢,接下来我就来详细介绍一下 常用JDK命令行工具 命令名称 全称 用途 jstat JVM Statistics Monitoring ...
- WebAssembly入门笔记[1]:与JavaScript的交互
前一阵子利用Balazor开发了一个NuGet站点,对WebAssembly进行了初步的了解,觉得挺有意思.在接下来的一系列文章中,我们将通过实例演示的方式介绍WebAssembly的一些基本概念和编 ...
- TypeScript中Never类型和类型断言
Never 类型 never类型表示:那些永不存在的值的类型. 例如:never类型是那些总是会[抛出异常]或根本就[不会有返回值的函数表达式]或[箭头函数表达式的返回值类型] never类型是任何类 ...
- 我对vue3的理解
我对 reactive源码的理解 reactive 只能够代理对象 首先它判断传递过来的值是否是对象,如果是才会进行代理.变成响应式的. Proxy 并没有重写对象的属性,只做代理,在取值的时候回调用 ...
- 如何用etcdctl产生分布式环境中的递增ID
作者:张富春(ahfuzhang),转载时请注明作者和引用链接,谢谢! cnblogs博客 zhihu Github 公众号:一本正经的瞎扯 用golang代码当然很简单,我这里是在shell环境中, ...
- docker上部署启动RabbitMQ
在docker上部署启动RabbitMQ及使用 一.docker上部署启动RabbitMQ 1.查询rabbitmq镜像 docker search rabbitmq:management 2.拉取r ...
- NLP文本匹配任务Text Matching 有监督训练:PointWise(单塔)、DSSM(双塔)、Sentence BERT(双塔)项目实践
NLP文本匹配任务Text Matching [有监督训练]:PointWise(单塔).DSSM(双塔).Sentence BERT(双塔)项目实践 0 背景介绍以及相关概念 本项目对3种常用的文本 ...
- 驱动开发:通过SystemBuf与内核层通信
内核层与应用层之间的数据交互是必不可少的部分,只有内核中的参数可以传递给用户数据才有意义,一般驱动多数情况下会使用SystemBuf缓冲区进行通信,也可以直接使用网络套接字实现通信,如下将简单介绍通过 ...
- Swift中UITableViewDiffableDataSource的使用
在 iOS 13 中 Apple 为 UITableView 和 UICollectionView 引入了 DiffableDataSource, 让开发者可以更简单高效的实现 UITableView ...