Re-Architecting the Video Gatekeeper(一)
原文 https://medium.com/netflix-techblog/re-architecting-the-video-gatekeeper-f7b0ac2f6b00
本文介绍了了内容配置工程团队使用Hollow,一个Netflix OSS技术,重新架构与简化我们内容管道上的基础组件 - 在流程中交付巨大业务价值。
上下文
每个在Netflix服务上的电影和秀都被精心处理以提供最佳的观看体验。团队对处理主要负责标题运营(Title Operation)。标题运营会确认,除了:
- 我们确保合同符合规范 - 我们为每个标题配置的视频日期时间段与位置是正确的。
- 视频的标题,字幕,第二音轨都被翻译并被正确分发到世界各地。
- 标题名与概要都可用并被翻译。
- 每个国家都有合适的观影等级
当标题达到了以上需求的最低要求,它就可以发布到服务上上线。Gatekeeper是在Netflix负责评估网站上视频和资产的“活跃度”。在Gatekeeper批准前标题对于会员是不可见的 - 如果它验证不了设置,它会指出从客户体验基线上缺了什么来辅助标题运营(Title Operation)。
Gatekeeper通过聚合多个上游系统的数据来完成预处理任务,使用合适的业务逻辑,生产和输出每个国家每个视频的详细状态。
技术
Hollow, 是我们几年前发布的OSS技术。并被描述为一种靠近缓存的全高密度(total high-density near cache)技术:
全:在每个节点上都缓存着这个数据集 - 没有驱逐策略,没有缓存命中丢失。
高密度:编码,解码,反重复技术都被用来数据集上的内存指纹。
靠近:在每个需要存取数据集的实例上都有RAM上的缓存。
对于这个全(total)技术有一个令人兴奋的内容 - 因为我们不需要担心清除内存中的数据项,我们可以对内存中的数据集展示做一些假设与预计算,没有这个特性是不可能的。结果是,对许多数据集,提高了很大的内存使用效率。而在传统的部分缓存方案上你可能会想是否你只缓存了5%的数据集,或者你需要被10%保留足够的空间用来得到一个可接受的命中/丢失率 - 使用同样的内存Hollow可以缓存100%的数据集数据并得到100%的命中率。
很明显,如果你有100%的命中率,你可以消除所有访问你数据的IO需求 - 并可以更有效的提高数据访问效率,可以开启更多可能性。
现状
在不久以前,Gatekeeper是一个完全的事件驱动系统。当任何上游系统对视频有改动,系统会发送给Gatekeeper发送一个事件。Gatekeeper会对那条事件进行响应,进入每一个它的上游服务,收集必要的输入数据来评估视频与它的对应资产的活跃性。它会产生一条输出记录来输出这条视频的详细状态。
这个模型有一些相关的问题:
这个进程完全与IO绑定,并对上游系统产生了很大的负载。
因此,这些事件会将一天的吞吐队列化并产生处理的延迟,导致标题的处理不能及时的上线。
更坏的,事件可能偶尔丢失,这将导致标题不能上线,知道某一个标题运营人员发现可能有问题。
为了减轻这些问题可以“清扫”目录让视频可以匹配特定的查询条件(比如,计划下周上线)可以让事件自动注入到处理队列中。不幸的是,这种方式会往队列中增加更多的事件,会使问题更加恶化。
很明显,很有必要改变方向。
本文来自微信公众号「麦芽面包,id「darkjune_think」
转载请注明。微信扫一扫关注公众号。
交流Email: zhukunrong@yeah.net
Re-Architecting the Video Gatekeeper(一)的更多相关文章
- Re-Architecting the Video Gatekeeper(二)
原文: https://medium.com/netflix-techblog/re-architecting-the-video-gatekeeper-f7b0ac2f6b00 想法 我们决定部署一 ...
- MacOS X GateKeeper Bypass
MacOS X GateKeeper Bypass OVERVIEW On MacOS X version <= 10.14.5 (at time of writing) is it possi ...
- video.js
1.github地址 2.常用API: class : video-js: video-js应用视频所需的风格.js功能,比如全屏和字幕. vjs-default-skin: vjs-default- ...
- video.js--很赞的H5视频播放库
video.js是一款很流行的html5视频播放插件.很适合在移动端播放视频(比如微信网页),功能强大,且支持降级到flash,兼容ie8.官网:http://videojs.com/ git& ...
- Gatekeeper Pattern 把关(守门人)模式
Protect applications and services by using a dedicated host instance that acts as a broker between c ...
- 《HTML5》 Audio/Video全解
一.标签解读 <audio> 标签属性 <audio id="media" src="http://www.abc.com/test.mp3" ...
- video/audio在ios/android上播放兼容
1.audio自动播放 <audio src='xxx.mp3' autoplay></audio> 上面是audio标签autoplay属性是自动播放,但是在安卓部分浏览器和 ...
- video.js-H5视频播放库
video.js是一款很流行的html5视频播放插件.很适合在移动端播放视频(比如微信网页),功能强大,且支持降级到flash,兼容ie8.官网:http://videojs.com/ git& ...
- video.js播放mp4文件
HTML5的标签 video 支持的mp4编码为视频编码 H.264 音频AAC 参考网址 http://www.w3school.com.cn/html5/html_5_video.asp 视频格式 ...
随机推荐
- 蓝桥杯:矩阵乘法(区间DP)
http://lx.lanqiao.cn/problem.page?gpid=T417 题意:…… 思路:n=1000,一开始觉得区间DP会超时,后来想不到其他做法就这样做了,居然没超时. 状态转移: ...
- vue computed监听多个属性
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
- django基础知识之定义视图:
定义视图 本质就是一个函数 视图的参数 一个HttpRequest实例 通过正则表达式组获取的位置参数 通过正则表达式组获得的关键字参数 在应用目录下默认有views.py文件,一般视图都定义在这个文 ...
- Linux命令学习-tar命令
Linux中,tar命令的全称是tape archive,主要作用是压缩和解压文件. 参数说明: -c 创建新的压缩档案 -x 解压档案 -t 列出压缩档案的内容 -z 使用gzip来解压和压缩,文件 ...
- web文件下载(附方案及源码配置)
1. 场景描述 因项目需查询数据量比较大(需要查询Hbase等nosql数据库),采用用户点击查询后,后台查询并生成查询文件:然后消息通知用户后,用户点击下载的方式来满足用户需求. 2. 解决方案 W ...
- 预学第二天:计算机的基础知识+python安装+pycharm安装+思维导图
目录 计算机的基础知识 计算机是由什么组成的 什么是操作系统
- VS2012 BIDS之Reporting Service/SSRS 项目2--开发过程问题总结(全)
由刚开始的接触到现在做出来一个基本完整的SSRS的项目,学到了比较多的知识,和大家共享. 上一篇学习总结可能有些问题,一起修正和总结. ================================ ...
- BI之路学习笔记2--SSIS/ETL设计练习三:《DB->定期生成excel表》
上次笔记记到,用sql任务给参数赋值,映射到变量,然后把数据流任务放到序列容器中进行执行,可以定期生成excel, 现在的问题是: 在EXCEL目标编辑过程中,必须选定某一个特定的excel目标,这样 ...
- VS2010 winform开发笔记---combox的SelectedIndexChanged事件及级联问题
DisplayMember绑定需要显示的数据表字段, 而ValueMember绑定需要获取选择的项的值. 然后通过 combo.SelectedValue就可以取得选中项的值了. DisplayMem ...
- nuxt项目打包上线,以及nuxt项目基础代码分享
nuxt的项目部署到线上环境,有多种方法,这里分享我使用的方法,一步步照着配置,就可以配置成功~ (1)项目先执行npm run build 打包好 (2)服务器安装node 和pm2依赖 服务器 ...