更快的训练和推理: 对比 Habana Gaudi®2 和英伟达 A100 80GB

通过本文，你将学习如何使用 Habana Gaudi2 加速模型训练和推理，以及如何使用 Optimum Habana 训练更大的模型。然后，我们展示了几个基准测例，包括 BERT 预训练、Stable Diffusion 推理以及 T5-3B 微调，以评估 Gaudi1、Gaudi2 和英伟达 A100 80GB 之间的性能差异。剧透一下: Gaudi2 的训练和推理速度大约是英伟达 A100 80GB 的两倍！

Gaudi2 是 Habana Labs 设计的第二代 AI 硬件加速卡。每台服务器装有 8 张加速卡，每张加速卡的内存为 96GB (Gaudi1 为 32GB，A100 80GB 为 80GB)。Habana 的 SynapseAI SDK 在 Gaudi1 和 Gaudi2 上是通用的。这意味 Optimum Habana，一个将 Transformers 和 Diffusers 库与 SynapseAI 连起来的、用户友好的库， 在 Gaudi2 上的工作方式与 Gaudi1 完全相同！

因此，如果你在 Gaudi1 上已经有现成的训练或推理工作流，我们鼓励你在 Gaudi2 上尝试它们，因为无需任何更改它们即可工作。

如何访问 Gaudi2？

访问 Gaudi2 的简单且经济的方法之一就是通过英特尔和 Habana 提供的英特尔开发者云 (Intel Developer Cloud，IDC) 来访问。要使用 Gaudi2，你需要完成以下操作步骤:

进入英特尔开发者云登陆页面并登录你的帐户 (如果没有账户，需要先注册一个)。
进入英特尔开发者云管理控制台。
选择 Habana Gaudi2 Deep Learning Server，其配有 8 张 Gaudi2 HL-225H 卡以及最新的英特尔至强处理器 ，然后单击右下角的 Launch Instance ，如下所示。

然后你可以申请一个实例。

一旦申请成功，请重新执行步骤 3，然后单击 Add OpenSSH Publickey 以添加付款方式 (信用卡或促销码) 以及你的 SSH 公钥，你可使用 ssh-keygen -t rsa -b 4096 -f ~/.ssh/id_rsa 命令以生成公钥。每次添加付款方式或 SSH 公钥时，你可能会被重定向到步骤 3。
重新执行步骤 3，然后单击 Launch Instance 。你必须接受建议条款才能真正把实例启动起来。
进入英特尔开发者云管理控制台，然后单击 View Instances 选项卡。
你可以复制实例界面上的 SSH 命令来远程访问你的 Gaudi2 实例！

如果你终止实例后想再次使用 Gaudi2，则必须重新执行整个过程。

你可以在此处找到更多相关信息。

基准测试

下面，我们将进行多项基准测试来评估 Gaudi1、Gaudi2 和 A100 80GB 在各种尺寸的模型上的训练和推理能力。

BERT 模型预训练

几个月前，Hugging Face 的技术主管 Philipp Schmid 介绍了如何使用 Optimum Habana 在 Gaudi 上预训练 BERT。该预训练一共执行了 6.5 万步，每张卡的 batch size 为 32 (因此总 batch size 为 8 * 32 = 256)，总训练时长为 8 小时 53 分钟 (你可以在此处查看此次训练的 TensorBoard 日志)。

我们在 Gaudi2 上使用相同的超参重新运行相同的脚本，总训练时间为 2 小时 55 分钟 (日志见此处)。 也就是说，无需任何更改，Gaudi2 的速度提升了 3.04 倍。

由于与 Gaudi1 相比，Gaudi2 的单卡内存大约增加了 3 倍，因此我们可以充分利用这更大的内存容量来增大 batch size。这将会进一步增加 HPU 的计算密度，并允许开发人员尝试那些在 Gaudi1 上无法尝试的超参。在 Gaudi2 上，我们仅需 2 万训练步，每张卡的 batch size 为 64 (总 batch size 为 512)，就可以获得与之前运行的 6.5 万步相似的收敛损失，这使得总训练时长降低为 1 小时 33 分钟 (日志见此处)。使用新的配置，训练吞吐量提高了 1.16 倍，同时新的 batch size 还极大地加速了收敛。 总体而言，与 Gaudi1 相比，Gaudi2 的总训练时长减少了 5.75 倍，吞吐量提高了 3.53 倍。

Gaudi2 比 A100 更快: batch size 为 32 时，Gaudi2 吞吐为每秒 1580.2 个样本，而 A100 为 981.6; batch size 为 64 时，Gaudi2 吞吐为每秒 1835.8 个样本，而 A100 为 1082.6。这与 Habana 宣称的 batch size 为 64 时 Gaudi2 在 BERT 预训练第一阶段上的训练性能是 A100 的 1.8 倍 相一致。

下表展示了我们在 Gaudi1、Gaudi2 和英伟达 A100 80GB GPU 上测得的吞吐量:

	Gaudi1 (BS=32)	Gaudi2 (BS=32)	Gaudi2 (BS=64)	A100 (BS=32)	A100 (BS=64)
吞吐量 (每秒样本数)	520.2	1580.2	1835.8	981.6	1082.6
加速比	x1.0	x3.04	x3.53	x1.89	x2.08

BS 是每张卡上的 batch size。 Gaudi 训练时使用了混合精度 (bf16/fp32)，而 A100 训练时使用了 fp16。所有数据都基于 8 卡分布式训练方案测得。

使用 Stable Diffusion 进行文生图

Optimum Habana 1.3 的主要新特性之一是增加了对 Stable Diffusion 的支持。现在，在 Gaudi 上进行文生图非常容易。与 GPU 上的 Diffusers 不同，Optimum Habana 上的图像是批量生成的。由于模型编译耗时的原因，前两个 batch 比后面的 batch 的生成速度要慢。在此基准测试中，在计算 Gaudi1 和 Gaudi2 的吞吐量时，我们丢弃了前两个 batch 的生成时间。

这个脚本使用的 batch size 为 8，其 gaudi_config 为 Habana/stable-diffusion。

我们得到的结果与 Habana 发布的数字一致，如下表所示。 Gaudi2 的延迟比 Gaudi1 快 3.51 倍 (0.925 秒对比 3.25 秒)，比英伟达 A100 快 2.84 倍 (0.925 秒对比 2.63 秒)。 而且，Gaudi2 支持的 batch size 更大。

	Gaudi1 (BS=8)	Gaudi2 (BS=8)	A100 (BS=1)
延迟 (每图像秒数)	3.25	0.925	2.63
加速比	x1.0	x3.51	x1.24

更新: 上图已更新，因为 SynapseAI 1.10 和 Optimum Habana 1.6 为 Gaudi1 和 Gaudi2 带来了额外的加速。

BS 是 batch size。Gaudi 上的推理精度为 bfloat16 ，A100 上的推理精度为 fp16 (更多信息详见此处)。所有数据均为单卡运行数据。

微调 T5-3B

因为每张卡的内存高达 96 GB，Gaudi2 可以运行更大的模型。举个例子，在仅应用了梯度 checkpointing 内存优化技术的条件下，我们成功微调了一个 T5-3B (参数量为 30 亿) 模型。这在 Gaudi1 上是不可能实现的。我们使用这个脚本在 CNN DailyMail 数据集上针对文本摘要任务进行了微调，运行日志见这里。

结果如下表所示。 Gaudi2 比 A100 80GB 快 2.44 倍。 我们发现，目前在 Gaudi2 上的 batch size 只能为 1，不能设更大。这是由于在第一次迭代时生成的计算图占了不少内存空间。Habana 正在致力于优化 SynapseAI 的内存占用，我们期待未来新版本的 Habana SDK 能够缓解这一问题。同时，我们还期待使用 DeepSpeed 来扩展此基准，从而看看引入 DeepSpeed 后平台间的性能对比是否与现在保持一致。

	Gaudi1	Gaudi2 (BS=1)	A100 (BS=16)
吞吐量 (每秒样本数)	N/A	19.7	8.07
加速比	/	x2.44	x1.0

BS 指的是每卡 batch size。 Gaudi2 和 A100 使用的精度为 fp32，且启用了梯度 checkpointing 技术。所有数据都基于 8 卡分布式训练方案测得。

总结

本文讨论了我们首次使用 Gaudi2 的经历。从 Gaudi1 到 Gaudi2 的过渡完全是无缝的，因为 Habana 的 SDK SynapseAI 在两者上是完全兼容的。这意味着 SynapseAI 上的新优化会让两个平台同时受益。

可以看到，Habana Gaudi2 的性能与 Gaudi1 相比有了显著提高，且其训练和推理吞吐大约是英伟达 A100 80GB 的两倍。

我们还知道了如何在英特尔开发者云上设置 Gaudi2 实例。设置完后，你就可以 Gaudi2 上使用 Optimum Habana 轻松运行这些例子。

如果你对使用最新的 AI 硬件加速卡和软件库加速机器学习训练和推理工作流感兴趣，可以移步我们的专家加速计划。如果你想了解有关 Habana 解决方案的更多信息，可以在此处了解我们相关信息并联系他们。要详细了解 Hugging Face 为让 AI 硬件加速卡更易于使用而做的努力，请查阅我们的硬件合作伙伴计划。