介绍 基于语言.视觉和语音的 Transformer 模型越来越大,以支持终端用户复杂的多模态用例.增加模型大小直接影响训练这些模型所需的资源,并随着模型大小的增加而扩展它们.Hugging Face 和微软的 ONNX Runtime 团队正在一起努力,在微调大型语言.语音和视觉模型方面取得进步.Hugging Face 的 Optimum 库,通过和 ONNX Runtime 的集成进行训练,为许多流行的 Hugging Face 模型提供了一个开放的解决方案,可以将训练时间缩短 35% 或…

在本文中,我们将展示如何使用 大语言模型低秩适配 (Low-Rank Adaptation of Large Language Models,LoRA) 技术在单 GPU 上微调 110 亿参数的 FLAN-T5 XXL 模型.在此过程中,我们会使用到 Hugging Face 的 Transformers.Accelerate 和 PEFT 库. 通过本文,你会学到: 如何搭建开发环境 如何加载并准备数据集 如何使用 LoRA 和 bnb (即 bitsandbytes) int-8 微调 T…

每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新.社区活动.学习资源和内容更新.开源库和模型更新等,我们将其称之为「Hugging News」,本期 Hugging News 有哪些有趣的消息,快来看看吧! Hugging Chat 来啦! 我们认为需要有一个 ChatGPT 的开源替代品,让好的机器学习大众化,因此,我们推出了 HuggingChat,欢迎你的使用!这个聊天机器人使用了德国非营利组织 LAION.ai 的 Open…

Hugging Face 的开源生态今年成长迅速,timm 成为新加入的成员.diffusers.evaluate 以及 skops 等各种库蓬勃发展. Transformers Transformers 提供了一系列的 API 和工具,使用者可以轻松下载和训练 SOTA 预训练模型,支持 PyTorch.TensorFlow 和 JAX,并支持框架之间的互操作.模型还可以导出为 ONNX 和 TorchScript 等格式,以方便在生产环境中部署. 查看文档: https://hf.co/do…

每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新.社区活动.学习资源和内容更新.开源库和模型更新等,我们将其称之为「Hugging News」. 产品更新 享用由 A100 GPU 强力支持的超快速机器学习推理 Hugging Face Spaces 现已支持使用 A100 GPU,用户享受超快速机器学习推理,自助开通的价格为每小时 4.13 美元,企业客户更可以享受更低的价格.此外,未来几个月,Spaces 还将提供更多用于机器学…

  Hugging Face是什么?它作为一个GitHub史上增长最快的AI项目,创始人将它的成功归功于弥补了科学与生产之间的鸿沟.什么意思呢?因为现在很多AI研究者写了大量的论文和开源了大量的代码,但是AI工程师又不能直接很好的使用,而Hugging Face将这些AI模型进行了更好的封装,满足了AI工程师的生产实践需要,大大降低了AI模型使用的门槛.Hugging Face已经共享了超100,000个预训练模型,10,000个数据集,涵盖了 NLP.计算机视觉.语音.时间序列.生物学.强化学…

作者:韩信子@ShowMeAI 深度学习实战系列:https://www.showmeai.tech/tutorials/42 TensorFlow 实战系列:https://www.showmeai.tech/tutorials/43 本文地址:https://www.showmeai.tech/article-detail/312 声明:版权所有,转载请联系平台与作者并注明出处 收藏ShowMeAI查看更多精彩内容 工具库 transformers 的开源方 Hugging Face 刚刚发…

每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新.社区活动.学习资源和内容更新.开源库和模型更新等,我们将其称之为「Hugging News」. 下面是本期的 Hugging News 内容: Metadata Editor UI 你是否也曾经苦恼过如何填写模型或者数据集的 metadata?快来试试新的 Editor 吧. SantaCoder: 11 亿参数的代码生成模型 模型:https://huggingface.co/bi…

每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新.社区活动.学习资源和内容更新.开源库和模型更新等,我们将其称之为「Hugging News」. 下面是本期的 Hugging News 内容: HF 模型数量已达 10w 现在可以在 HF Spaces 里面跑 Jupyter Notebook 啦 打开 https://huggingface.co/spaces/camenduru/jupyter 创建一个私有拷贝(点右上角三个点,…

每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新.社区活动.学习资源和内容更新.开源库和模型更新等,我们将其称之为「Hugging News」. 产品更新 Space 应用支持使用模版了 只需点击几下,即可轻松构建.部署和共享你最喜爱的开源项目,Hugging Face Spaces 已经支持使用 Docker 构建,现在它又增加了模版的支持. 我们的第一个 Space 模版是和 Argilla 合作完成,你可以在 Space SD…