视频云肖长杰:视频AI科技助力短视频生态
人工智能技术是当今炙手可热的技术领域,它在制造、家居、零售、交通、安防等行业的应用已经是大势所趋。在本月云栖Techday音视频技术沙龙中,阿里云视频云产品专家肖长杰为我们分享了一些AI技术在视频中应用的小趋势,带大家回顾了AI是如何渗透到了短视频生产中的各个环节中的。
趋势一:AI技术创新已经渗透到了短视频各个环节。
可能我们没有注意到,其实人工智能技术已经应用到了视频的生产、传输、消费等各个阶段。比如,在用户创作阶段,基于人脸识别及跟踪技术实现瘦脸、大眼、美白功能已经相当常见;当视频上传到服务端之后,我们会对视频内容进行审核、去重、溯源等处理,并进一步对视频的打标、分类,同时采用AI技术去定义最有美学感的封面,便于完成用户个性化搜索、智能推荐等动作,提升用户的点击率和体验。
趋势二:算法在数据积累到一个临界点后,才会带来爆发。
这里举个我们非常熟悉的例子,今年9月,移动资讯的独角兽平台趣头条赴美上市了,股价更是一路飙涨。趣头条的安装用户数在2018年达到一定数量级,伴随着用户数增多,上传视频数也成倍增长,所以到达了某个数据积累的临界点之后,个性化推荐的算法开始发挥其强大的作用,用户DAU激增。
趋势三:用户对视频质量要求高,短视频虽短,但处理流程趋于精细化。
移动互联网时代视频量暴增起来,但是其中不乏一些低质量的内容,比如一些互联网搬运工的作品,他们在网上下载视频后经过批量地二次加工,再上传到网上去。这种情况对于原创者是个致命的打击,同时也影响了平台的用户体验。所以,现在一般平台都采用多重方式,对视频的质量进行把控审核。处理流程大概是:面对平台100个视频,去重和版权违规过滤掉一些视频,涉黄又过滤了一部分视频,最终到转码的时候可能只有70个视频,整个处理流程变成的好处是,转码和存储的量会大大降低,用户体验也会相应提升。
阿里云视频AI解决方案典型场景分析
采用视频DNA技术实现视频的去重、溯源与盗版打击
短视频平台通常会面临视频大量重复的情况,所以在整个视频AI的应用中,怎么样去辨别视频的唯一性,以及根据内容分析来追溯视频来源是第一步关键所在。比如下面的攻击举例中,视频左下角的黑色键盘被稍稍做了一点改动,又上传到平台上了,这样的重复内容破坏了用户的体验,又会给平台带来大量数据冗余,也损害了原创者的利益,视频AI就可以帮助平台高效地判定对视频的剪拼改编行为。
这里面所用到的视频DNA,它的技术原理是:当你上传一个视频的时候,可以生成唯一的指纹,指纹的特性是唯一性,即两个不同视频拥有相同DNA的几率低于千万分之一,接近于0,同时具有稳定性,它不会随音视频文件的格式转换、剪辑拼接、压缩、旋转、增加logo等变换而变化。所以当其他视频上传的视频,你就可以再在视频库中与现有视频做检索比对,相似性达到一定程度,就被证明重复性视频。
同时,我们运用视频DNA在做相似性溯源的时候,会对视频内容关联关系进行挖掘,对视频内容制作路径溯源。它的应用场景是:平台可以先将电视剧的长视频录入库中,当用户看了长视频后,可以把相应的短视频做推荐,根据用户偏好进行推送,提升用户体验。
此外,视频DNA可以配合DRM数字版权保护技术(没有授权的账号不能播放)和视频水印(专属LOGO识别),更好的打击行业盗版。
谈到盗版,还有非常关键的一步是存证。视频DNA和存证体系做关联,推出了可信数字内容版权服务。方案运用了区块链将DNA等关键信息上链,实现多方透明共享、无法篡改和删除,进而构建拥有版权存证、侵权追溯和版权交易等能力的平台。可以重塑版权价值,并提供侵权监测、法律维权、IP孵化等相关服务,进而助力提升全社会的版权意识。
更低成高效率的视频审核
在最开始第三个趋势中,我们也提到,视频在去重后会进入审核阶段。低成本高危视频审核方案可以针对色情、广告、暴恐、涉政、不良场景、视频黑库等做审核,它具备两个特点,第一是色情图片识别准确度高于90%,模型高度灵活,可根据用户要求实时调整生效;第二是能够针对二维码、文字、logo等内容多层防护,层层过滤,以最快的速度达到最大的效果。
通常内容审核需要截取视频帧进行排查,那在直播中,我们通过业务截帧策略决策系统,先判断是否是高危业务,如果是高危的话,进行高频截帧,加大审核力度,如果不是高危业务,可直接进行关键帧截取,排除违禁内容。这样可以实现成本的节约与效率提升。
更“智能”的视频转码——窄带高清2.0
对点播来说,单视频带来的流量带宽非常大,那么如果有一种技术能让热点视频的单视频带宽都相应减少的话,那对整个流量带宽的节省是非常有效的。
阿里的窄带高清技术精髓就在于使每一个码率分配到最需要它的地方,利用人眼习惯来强化聚焦区域的码率,在脱焦区域少配合一些码率,通过帧间、帧内的码率分配,让整个视频的质量更高。在节省码率的同时,也能提供更加清晰的观看体验,同等视频质量下最高节省 20-40%带宽。
基于视频内容分析搭建智能推荐与智能生产系统
内容分析和用户标签挖掘是搭建推荐系统的基石。它可以应用在两个场景之中,第一个场景是:当上传一个短视频,系统会将其先拆成最低的元素:声音、图片、文字等,对基本维度做一些识别与分析,进而对视频采取分类、打标签等动作,选取最佳的视频封面,对于后续的广告推荐、内容个性化推荐有了基础输出。以下整个过程可以在阿里云官网的视网膜系统中体验:https://retina.aliyun.com
第一个是通过内容分析帮助视频内容更好地消费,那么反过来思考,我们的视频如果都是人去产生,是不是效率太低了呢?我们能不能通过一篇文章、一句话、甚至一个标签,生成一段视频?
所以有了第二个应用场景,通过视频智能产生系统,输入视频、音频、文字等信息,一系列分析后,可以从库里拿一些图片、文字、声音,去生成一个视频。在今年世界杯的时候,阿里云视频AI技术通过下图的方案,在比赛结束后几分钟内快速生成了明星集锦视频,点击跳转查看集锦
以上视频都是机器自动生成的,极大地提高了视频生产效率。
视频云肖长杰:视频AI科技助力短视频生态的更多相关文章
- 视频剪辑什么鬼?Python 带你高效创作短视频
阅读文本大概需要 10 分钟. 近两年,抖音.快手将短视频推到风口浪尖上,要生产出高质量的视频,离不开视频剪辑这一环节:在全民剪片浪潮中,大众使用最多的剪辑软件如:Pr.FCPX.剪印.Vue 等. ...
- 如何快速打造一款高清又极速的短视频APP?
整个短视频的市场规模一直在增长,网络数据显示2018年已经突破100亿大关,在2019年预测将超过200亿.纵观行业,在生活资讯.美食.搞笑.游戏.美妆等领域,短视频流量巨大但竞争激烈,但是在教育.财 ...
- 阿里云视频云 Retina 多媒体 AI 体验馆开张啦!
带你体验视频更多可能 海量视频管理难度大?翻库检索特定人物费时费力?视频内容剪辑效率低?您的得力助手"Retina多媒体AI"体验馆已上线.带你感受视频AI黑科技,开启极致智能体验 ...
- 视频云峰会|“科技 X 艺术” 的颗粒度体验是什么?
科技日新月异,交互艺术新门类也随之蓬勃,当代艺术创作者不断凭借其想象力和跨学科能力,致力科技与艺术的融合创作. 7 月 10 日,在北京,2021 阿里云视频云全景创新峰会暨全球视频云创新挑战赛决赛颁 ...
- 阿里云启动视频云V5计划,全面赋能生态合作伙伴
9月25 - 27日,主题为数·智的2019云栖大会在杭州举行.在第三天的智能视频云专场中,阿里云研究员金戈首次对外发布视频云V5计划,释放视频IT基础设施红利,赋能生态合作伙伴,共促大视频产业发展. ...
- LiveVideoStackCon2021 北京站专访:从上云到创新,视频云的新技术、新场景
伴随着视频技术的进步和标准的迭代,视频产业从模拟进入到数字时代,完成了从电影电视到互联网的媒介转换,并且衍生出了超高清.3D.AR/VR 等多种创新形态.特别是在后疫情的当下,我们可以看到音视频技术领 ...
- 最快1天搭建短视频APP!阿里云短视频解决方案上线
短视频行业的发展前景乐观是毋庸置疑的,整个短视频的市场规模一直在增长,网络数据显示2018年已经突破100亿大关,在2019年预测将超过200亿.那么,对于短视频从业者来讲,要持续推动业务的发展,必须 ...
- 实时 + 高清 + 超压缩,阿里云视频云发布业内首款 VVC 编码器 Ali266
基于新一代国际视频编解码标准 H.266/VVC,阿里云视频云近日发布了实时高清编码器 Ali266,有力推动 H.266/VVC 标准应用的落地,真正开启 H.266/VVC 的商用之路,并强力赋能 ...
- 10 月 30 日 北京 LiveVideoStack 阿里云视频云专场限量赠票 100 张
10 月 30 日 | 北京 LiveVideoStack 将携手阿里云共邀 4 位技术大咖,一同探讨从上云到创新,视频云的新技术与新场景.阿里云视频云依托阿里云服务数百万开发者的卓越服务能力与实践, ...
随机推荐
- 磁盘设备在 Linux 下的表示方法
在 Linux 系统中磁盘设备文件的命名规则为: 主设备号 + 次设备号 + 磁盘分区号 对于目前常见的磁盘,一般表示为: sd[a-z]x 主设备号代表设备的类型,相同的主设备号表示同类型的设备. ...
- Tools: windbg 使用指南
windbg使用 符号表C:\Symbols; SRV*C:\Symbols*http://msdl.microsoft.com/download/symbols 系统变量_NT_SYMBOL_PAT ...
- jq-demo-购物车
首页 <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title& ...
- loj2000[SDOI2017]数字表格
题意:f为Fibnacci数列.求$\prod_{1<=i<=n,1<=j<=m} f[gcd(i,j)]$. n,m<=1e6. 标程: #include<bit ...
- Batch - FOR /F Delims 和 Tokens 用法
原文地址: for /f命令之—Delims和Tokens用法&总结 作者:别逗了好么 在For命令语踞饽参数F中,最难理解的就是Delims和Tokens两个选项,本文简单的做一个比较和总拮 ...
- Spring Boot学习笔记一
Spring Boot简介 前言:本章简单介绍Spring boot的使用. (第二天springboot的学习之路:https://www.cnblogs.com/LBJLAKERS/p/12003 ...
- 25 面向对象设计实例——基于PCL点云库的通用工具开发
0 引言 问题背景:pcl中提供了大量工具,用于对点云和三角面片文件进行处理和显示.在研究中,存在很多简易的需求,比如点云坐标转换,点云的打开显示以及同步显示,点云的最小包络求解,点云的格式转换等等. ...
- BZOJ 2159: Crash 的文明世界(组合数学+第二类斯特林数+树形dp)
传送门 解题思路 比较有意思的一道数学题.首先\(n*k^2\)的做法比较好想,就是维护一个\(x^i\)这种东西,然后转移的时候用二项式定理拆开转移.然后有一个比较有意思的结论就是把求\(x^i\) ...
- NX二次开发-创建图纸尺寸表达式抑制UF_DRF_add_controlling_exp
#include <uf.h> #include <uf_modl.h> #include <uf_drf.h> #include <uf_obj.h> ...
- iOS 多层级的immutable objects 转换成 mutable objects
第一种方法是:将多层级的递归转换 方法: +(id) recursiveMutable:(id)object { if([object isKindOfClass:[NSDictionary clas ...