SadTalker是一款先进的人工智能模型，它通过从音频中学习生成3D运动系数，并使用全新的三维面部渲染器来生成头部运动，只需传入一张照片和一段音频，就能生成高质量的AI数字人视频

工作原理

1、显式地对音频和不同类型的运动系数之间的联系进行单独建模

2、通过蒸馏系数和3D渲染的脸部，从音频中学习准确的面部表情

3、通过条件VAE设计PoseVAE来合成不同风格的头部运动

4、使用生成的三维运动系数映射到人脸渲染的无监督三维关键点空间，合成最终视频

SadTalker生成后的人物头部运动规律，面部表情自然，口型也和音频的内容保持一致（小姐姐还会眨眼睛！）

最新中文版：

百度网盘：https://pan.baidu.com/s/1AMInL9l_LxfQ0g3j1TrWQA?pwd=8r4f

使用方法

1、上传人物图片和音频（音频可以是英文、中文、歌曲）

2、设置参数（下面会详细介绍）

3、点击“生成”按钮

参数说明

· 姿式风格：调节头部运动风格，默认0

· 表达量表：人物表情丰富程度，默认1

· 生成中的批量大小：生成视频的速度，默认1，显卡好可以适当拉大

· 预处理

crop：从图片中截取头部做视频

resize：拉伸图片，人物被压缩选择此项

full：全身照做视频

extcrop：加强版crop，主要聚焦头部

extfull：加强版全身

· 面部渲染：两种模式可自由尝试

· GFPGAN：让面部高清化

在控制台可以查看当前的处理进度，程序执行完毕会输出信息The generated video is named

生成的视频保存在SadTalker\results路径下，也可以在网页端下载

在操作界面下方的Examples中提供了部分图片和音频，请点击“图片源”选择使用

注意事项

①项目安装路径不要包含中文

②推荐使用GTX1060以上显存运行此项目

③使用过程中若不慎关闭软件后台，请重新打开，并刷新网页

照片也能说话了？嘴型表情全同步，AI数字人时代要来了的更多相关文章

  1. [转]字符型IP地址转换成数字IP的SQL函数

    使用SQL函数可以实现许多的功能,下面为您介绍的是字符型IP地址转换成数字IP的SQL函数示例,供您参考,希望对您学习SQL函数能够有所帮助.      /**//*--调用示例       sele ...

  2. DataUml Design 教程3-模型与数据库同步

    上一节我们已经建立好了数据模型,那么怎么让数据模型和数据库进行同步呢?模型同步到数据库非常简单,只需要模型绑定到数据库即可.DataUml Design目前支持和Oracle与MS Server数据库 ...

  3. js坑 把数字型的字符串默认为数字 把前面的0给去掉了（"001"）

    <script> b("); function b(id) { console.log("b函数的id:"+id); //var history = &quo ...

  4. 声网Agora Lipsync 技术揭秘：通过实时语音驱动人像模拟真人说话

    元宇宙的火热让人们对未来虚拟世界的形态充满了幻想,此前我们为大家揭秘了声网自研的 3D 空间音频技术如何在虚拟世界中完美模拟现实听觉体验,增加玩家沉浸感.今天我们暂时离开元宇宙,回到现实世界,来聊聊声 ...

  5. 从Chat-GPT看爆火技术概念及医疗领域科技与应用场景

    作者:京东健康 陈刚 一.前言 最近OpenAI在官网上宣告了多模态大模型 GPT-4 的诞生,它可能是迄今为止最好的多模态模型. 主要更新内容如下: 1. 逻辑分析能力更加全面.「考试」能力大幅提升 ...

  6. ChatGPT调研分析与应用场域结合构想

    作者:京东科技 胡骏 摘要 1. ChatGPT调研分析 2022年11月30日,ChatGPT横空出世,在全球范围内形成了热烈的讨论.根据Similarweb的数据,今年1月,平均每天约有1300万 ...

  7. win10如何让她闭嘴、按什麽建系统都要说话、如何让她闭嘴？

    win10如何让她闭嘴.按什麽建系统都要说话.如何让她闭嘴? 开始 设置 轻松使用 讲述人,关掉……

  8. 一定要记住这20种PS技术，让你的照片美的不行！ - imsoft.cnblogs

    照片名称:调出照片柔和的蓝黄色-简单方法, 1.打开原图素材,按Ctrl + J把背景图层复制一层,点通道面板,选择蓝色通道,图像 > 应用图像,图层为背景,混合为正片叠底,不透明度50%,反相 ...

  9. js关于对象键值为数字型时输出的对象自动排序问题的解决方法

    一.对象键值为数字型时输出的对象自动排序问题如: var objs = {    "1603":{id:"1603"},    "1702" ...

  10. 一定要记住这20种PS技术！！！会让你的照片美的不行！！！

    一种简单的数码照片后期润饰 1 打开图片,执行色像/饱和度(-40)降低饱和度. 2 新建一图层,将图层模式改为柔光,用画笔工具将需要润饰的部分画几下,这里可以利用色板方便的提取颜色 3 图片色彩过渡 ...

随机推荐

  1. .net Core IsDefined、GetValues、HasFlag 使用

    IsDefined可以用于判断传入的单个值是否属于该枚举 GetValues检索指定枚举中常量值的数组 HasFlag 可以用于判断传入的多个值是否属于该枚举 先来个例子: public enum B ...

  2. TienChin 活动管理-工程创建

    工程模块的创建,与之前创建渠道管理一样的,所以这里就不贴图带着大家一起动手进行了,表结构我已经给到大家了,这里我只贴一下代码生成器的代码部分即可. @Test void generateActivit ...

  3. 8.9 RDTSC时钟检测反调试

    RDTSC时钟检测同样可实现反调试检测,使用时钟检测方法是利用rdtsc汇编指令,它返回至系统重新启动以来的时钟数,并且将其作为一个64位的值存入EDX:EAX寄存器中,通过运行两次rdstc指令,然 ...

  4. 由刷题学习 heapq

    今日一题是 面试题 17.14. 最小K个数 https://leetcode-cn.com/problems/smallest-k-lcci/ 还好 提示 0 <= len(arr) < ...

  5. 46从零开始用Rust编写nginx，数据还能这么传，多层代理（IP多级代理）搭建

    wmproxy wmproxy已用Rust实现http/https代理, socks5代理, 反向代理, 负载均衡, 静态文件服务器,websocket代理,四层TCP/UDP转发,内网穿透等,会将实 ...

  6. 每日一道Java面试题：说一说Java中的异常

    写在开头 任何一个程序都无法保证100%的正常运行,程序发生故障的场景,我们称之为:异常,在Java中对于异常的处理有一套完善的体系,今天我们就来一起学习一下. 老样子,用一段简单的代码开始今天的学习 ...

  7. SpringBoot 多模块开发 笔记（一）

    多模块开发 简易版 dao 层 也可以说是 Mapper 层 web 层 将 controller 放在这一层 还有 统一返回类型 和 自定义异常 也在放在这里 启动类也放在这里 model 层 也就 ...

  8. （C语言）我的第一个项目：命令行窗口下的学生成绩管理系统，及数据生成程序

    学生成绩管理系统 页面效果如图: 代码如下: #include <stdio.h> #include <stdlib.h> #include <string.h> ...

  9. docker容器-乌班图安装vim

    apt-get update && apt-get install -y vim

  10. Collectors.toMap的暗坑与避免方式

    使用Java的stream中的Collectors可以很方便地做容器间的转换,可以少写很多代码.但是其中有暗含的坑需要注意和避免,本文探讨Collectors.toMap(JDK8版本). Colle ...