SadTalker是一款先进的人工智能模型，它通过从音频中学习生成3D运动系数，并使用全新的三维面部渲染器来生成头部运动，只需传入一张照片和一段音频，就能生成高质量的AI数字人视频

工作原理

1、显式地对音频和不同类型的运动系数之间的联系进行单独建模

2、通过蒸馏系数和3D渲染的脸部，从音频中学习准确的面部表情

3、通过条件VAE设计PoseVAE来合成不同风格的头部运动

4、使用生成的三维运动系数映射到人脸渲染的无监督三维关键点空间，合成最终视频

SadTalker生成后的人物头部运动规律，面部表情自然，口型也和音频的内容保持一致（小姐姐还会眨眼睛！）

最新中文版：

百度网盘：https://pan.baidu.com/s/1AMInL9l_LxfQ0g3j1TrWQA?pwd=8r4f

使用方法

1、上传人物图片和音频（音频可以是英文、中文、歌曲）

2、设置参数（下面会详细介绍）

3、点击“生成”按钮

参数说明

· 姿式风格：调节头部运动风格，默认0

· 表达量表：人物表情丰富程度，默认1

· 生成中的批量大小：生成视频的速度，默认1，显卡好可以适当拉大

· 预处理

crop：从图片中截取头部做视频

resize：拉伸图片，人物被压缩选择此项

full：全身照做视频

extcrop：加强版crop，主要聚焦头部

extfull：加强版全身

· 面部渲染：两种模式可自由尝试

· GFPGAN：让面部高清化

在控制台可以查看当前的处理进度，程序执行完毕会输出信息The generated video is named

生成的视频保存在SadTalker\results路径下，也可以在网页端下载

在操作界面下方的Examples中提供了部分图片和音频，请点击“图片源”选择使用

注意事项

①项目安装路径不要包含中文

②推荐使用GTX1060以上显存运行此项目

③使用过程中若不慎关闭软件后台，请重新打开，并刷新网页

照片也能说话了？嘴型表情全同步，AI数字人时代要来了的更多相关文章

  1. [转]字符型IP地址转换成数字IP的SQL函数

    使用SQL函数可以实现许多的功能,下面为您介绍的是字符型IP地址转换成数字IP的SQL函数示例,供您参考,希望对您学习SQL函数能够有所帮助.      /**//*--调用示例       sele ...

  2. DataUml Design 教程3-模型与数据库同步

    上一节我们已经建立好了数据模型,那么怎么让数据模型和数据库进行同步呢?模型同步到数据库非常简单,只需要模型绑定到数据库即可.DataUml Design目前支持和Oracle与MS Server数据库 ...

  3. js坑 把数字型的字符串默认为数字 把前面的0给去掉了（"001"）

    <script> b("); function b(id) { console.log("b函数的id:"+id); //var history = &quo ...

  4. 声网Agora Lipsync 技术揭秘：通过实时语音驱动人像模拟真人说话

    元宇宙的火热让人们对未来虚拟世界的形态充满了幻想,此前我们为大家揭秘了声网自研的 3D 空间音频技术如何在虚拟世界中完美模拟现实听觉体验,增加玩家沉浸感.今天我们暂时离开元宇宙,回到现实世界,来聊聊声 ...

  5. 从Chat-GPT看爆火技术概念及医疗领域科技与应用场景

    作者:京东健康 陈刚 一.前言 最近OpenAI在官网上宣告了多模态大模型 GPT-4 的诞生,它可能是迄今为止最好的多模态模型. 主要更新内容如下: 1. 逻辑分析能力更加全面.「考试」能力大幅提升 ...

  6. ChatGPT调研分析与应用场域结合构想

    作者:京东科技 胡骏 摘要 1. ChatGPT调研分析 2022年11月30日,ChatGPT横空出世,在全球范围内形成了热烈的讨论.根据Similarweb的数据,今年1月,平均每天约有1300万 ...

  7. win10如何让她闭嘴、按什麽建系统都要说话、如何让她闭嘴？

    win10如何让她闭嘴.按什麽建系统都要说话.如何让她闭嘴? 开始 设置 轻松使用 讲述人,关掉……

  8. 一定要记住这20种PS技术，让你的照片美的不行！ - imsoft.cnblogs

    照片名称:调出照片柔和的蓝黄色-简单方法, 1.打开原图素材,按Ctrl + J把背景图层复制一层,点通道面板,选择蓝色通道,图像 > 应用图像,图层为背景,混合为正片叠底,不透明度50%,反相 ...

  9. js关于对象键值为数字型时输出的对象自动排序问题的解决方法

    一.对象键值为数字型时输出的对象自动排序问题如: var objs = {    "1603":{id:"1603"},    "1702" ...

  10. 一定要记住这20种PS技术！！！会让你的照片美的不行！！！

    一种简单的数码照片后期润饰 1 打开图片,执行色像/饱和度(-40)降低饱和度. 2 新建一图层,将图层模式改为柔光,用画笔工具将需要润饰的部分画几下,这里可以利用色板方便的提取颜色 3 图片色彩过渡 ...

随机推荐

  1. 学科知识图谱学习平台项目 ：技术栈Java、Neo4j、MySQL等超详细教学

    学科知识图谱学习平台项目 :技术栈Java.Neo4j.MySQL等超详细教学 0.效果展示 1.安装教程 安装Java SDK 11,下载前需要登录Oracle账号,下载链接,安装教程,测试是否能在 ...

  2. Python 调用Zoomeye搜索接口

    钟馗之眼是一个强大的搜索引擎,不同于百度谷歌,它主要收集网络中的主机,服务等信息,国内互联网安全厂商知道创宇开放了他们的海量数据库,对之前沉淀的数据进行了整合.整理,打造了一个名符其实的网络空间搜索引 ...

  3. 用arr.filter数组去重

    let res = arr.filter((item,index,arr)=>{ //返回找到的下标,等于 下标 return arr.indexOf(item) === index; }) c ...

  4. 遥感图像处理笔记之【FastAI Multi-label image classification】

    遥感图像处理学习(4) 前言 遥感系列第4篇.遥感图像处理方向的学习者可以参考或者复刻 本文初编辑于2023年12月15日 2024年1月24日搬运至本人博客园平台 文章标题:FastAI Multi ...

  5. 201871010111-刘佳华 实验三 结对项目—《D{0-1}KP 实例数据集算法实验平台》项目报告

    实验三 软件工程结对项目 ========== 时间:2021-4-1 项目 内容 课程班级博客链接 课程链接 这个作业要求链接 作业要求 我的课程学习目标 1.了解软件工程过程中结对项目的开发流程 ...

  6. 京豆薅羊毛新姿势-docker方式

    背景 上周看脉脉的时候看到下面这个帖子,领导让搞项目容器化,但是楼主没搞过,对新东西有畏惧感,怂了,然后把机会白白送给其他同事了. 想来我也是差不多这样的,刚到阿里工作的时候,有个好的项目机会来了,领 ...

  7. 【MFC学习一】BROWSEINFO选择路径导出文件

    mfc中使用 BROWSEINFO,使用 bi.lpfn = BrowseCallbackProc; 回调指定默认当前程序所在目录,导出csv文件,注意处理文件内容中的逗号.单引号.数字字符串开头有0 ...

  8. Vue3学习(16) - 左侧显示分类菜单

    写在前面 和大家不太一样,我觉得今年的自己更加relax,没有亲戚要走,没有朋友相聚,也没有很好的哥们要去叙旧,更没有无知的相亲,甚至可以这么说没有那些闲得慌的邻居. 也可以说是从今天开始,算是可以进 ...

  9. CF1859

    A 让 \(c\) 保存数组中所有最大的数,如果所有数都相等则 \(-1\). B 只需要记录每个序列的最小值和次小值,然后对次小值求前后缀和. C 枚举最大值 \(mx\),然后遍历 \(i:n\s ...

  10. C# 实现刘谦春晚魔术

    internal class Program { static List<string> list=new List<string>() { "A",&qu ...