Re-Architecting the Video Gatekeeper(一)
原文 https://medium.com/netflix-techblog/re-architecting-the-video-gatekeeper-f7b0ac2f6b00
本文介绍了了内容配置工程团队使用Hollow,一个Netflix OSS技术,重新架构与简化我们内容管道上的基础组件 - 在流程中交付巨大业务价值。
上下文
每个在Netflix服务上的电影和秀都被精心处理以提供最佳的观看体验。团队对处理主要负责标题运营(Title Operation)。标题运营会确认,除了:
- 我们确保合同符合规范 - 我们为每个标题配置的视频日期时间段与位置是正确的。
- 视频的标题,字幕,第二音轨都被翻译并被正确分发到世界各地。
- 标题名与概要都可用并被翻译。
- 每个国家都有合适的观影等级
当标题达到了以上需求的最低要求,它就可以发布到服务上上线。Gatekeeper是在Netflix负责评估网站上视频和资产的“活跃度”。在Gatekeeper批准前标题对于会员是不可见的 - 如果它验证不了设置,它会指出从客户体验基线上缺了什么来辅助标题运营(Title Operation)。
Gatekeeper通过聚合多个上游系统的数据来完成预处理任务,使用合适的业务逻辑,生产和输出每个国家每个视频的详细状态。
技术
Hollow, 是我们几年前发布的OSS技术。并被描述为一种靠近缓存的全高密度(total high-density near cache)技术:
全:在每个节点上都缓存着这个数据集 - 没有驱逐策略,没有缓存命中丢失。
高密度:编码,解码,反重复技术都被用来数据集上的内存指纹。
靠近:在每个需要存取数据集的实例上都有RAM上的缓存。
对于这个全(total)技术有一个令人兴奋的内容 - 因为我们不需要担心清除内存中的数据项,我们可以对内存中的数据集展示做一些假设与预计算,没有这个特性是不可能的。结果是,对许多数据集,提高了很大的内存使用效率。而在传统的部分缓存方案上你可能会想是否你只缓存了5%的数据集,或者你需要被10%保留足够的空间用来得到一个可接受的命中/丢失率 - 使用同样的内存Hollow可以缓存100%的数据集数据并得到100%的命中率。
很明显,如果你有100%的命中率,你可以消除所有访问你数据的IO需求 - 并可以更有效的提高数据访问效率,可以开启更多可能性。
现状
在不久以前,Gatekeeper是一个完全的事件驱动系统。当任何上游系统对视频有改动,系统会发送给Gatekeeper发送一个事件。Gatekeeper会对那条事件进行响应,进入每一个它的上游服务,收集必要的输入数据来评估视频与它的对应资产的活跃性。它会产生一条输出记录来输出这条视频的详细状态。
这个模型有一些相关的问题:
这个进程完全与IO绑定,并对上游系统产生了很大的负载。
因此,这些事件会将一天的吞吐队列化并产生处理的延迟,导致标题的处理不能及时的上线。
更坏的,事件可能偶尔丢失,这将导致标题不能上线,知道某一个标题运营人员发现可能有问题。
为了减轻这些问题可以“清扫”目录让视频可以匹配特定的查询条件(比如,计划下周上线)可以让事件自动注入到处理队列中。不幸的是,这种方式会往队列中增加更多的事件,会使问题更加恶化。
很明显,很有必要改变方向。
本文来自微信公众号「麦芽面包,id「darkjune_think」
转载请注明。微信扫一扫关注公众号。
交流Email: zhukunrong@yeah.net
Re-Architecting the Video Gatekeeper(一)的更多相关文章
- Re-Architecting the Video Gatekeeper(二)
原文: https://medium.com/netflix-techblog/re-architecting-the-video-gatekeeper-f7b0ac2f6b00 想法 我们决定部署一 ...
- MacOS X GateKeeper Bypass
MacOS X GateKeeper Bypass OVERVIEW On MacOS X version <= 10.14.5 (at time of writing) is it possi ...
- video.js
1.github地址 2.常用API: class : video-js: video-js应用视频所需的风格.js功能,比如全屏和字幕. vjs-default-skin: vjs-default- ...
- video.js--很赞的H5视频播放库
video.js是一款很流行的html5视频播放插件.很适合在移动端播放视频(比如微信网页),功能强大,且支持降级到flash,兼容ie8.官网:http://videojs.com/ git& ...
- Gatekeeper Pattern 把关(守门人)模式
Protect applications and services by using a dedicated host instance that acts as a broker between c ...
- 《HTML5》 Audio/Video全解
一.标签解读 <audio> 标签属性 <audio id="media" src="http://www.abc.com/test.mp3" ...
- video/audio在ios/android上播放兼容
1.audio自动播放 <audio src='xxx.mp3' autoplay></audio> 上面是audio标签autoplay属性是自动播放,但是在安卓部分浏览器和 ...
- video.js-H5视频播放库
video.js是一款很流行的html5视频播放插件.很适合在移动端播放视频(比如微信网页),功能强大,且支持降级到flash,兼容ie8.官网:http://videojs.com/ git& ...
- video.js播放mp4文件
HTML5的标签 video 支持的mp4编码为视频编码 H.264 音频AAC 参考网址 http://www.w3school.com.cn/html5/html_5_video.asp 视频格式 ...
随机推荐
- scrapy基础知识之 关于爬虫部分一些建议:
1.尽量减少请求次数,能抓列表页就不抓详情页,减轻服务器压力,程序员都是混口饭吃不容易. 2.不要只看 Web 网站,还有手机 App 和 H5,这样的反爬虫措施一般比较少. 3.实际应用时候,一般防 ...
- kindeditor在线文本编辑器过滤HTML的方法
在使用kindeditor文本编辑器时遇到的问题,客户直接从Excel里粘贴文本内容到文本编辑器中(能不能再懒一些),然后不调整粘贴内容直接就保存(你敢不敢再懒一些)!对于这种很无语的行径,我只能对他 ...
- C#如何加载程序运行目录外的程序集 (转)
---恢复内容开始--- 尼玛,为了这个问题,纠结到差点吐出干血,赶紧记下来! 源地址:http://blog.csdn.net/dyllove98/article/details/9391325 我 ...
- docker-compose exec时 出现"fork/exec /proc/self/exe: no such file or directory" 报错
问题:跟往常一样执行docker-compos exec redis sh时出现如下错误,而容器是运行状态中. # docker-compose exec redis sh rpc error: co ...
- Java编程思想:File类list()方法
import java.util.regex.Pattern; import java.io.File; import java.io.FilenameFilter; public class Tes ...
- 转载《Flex 布局》
网页布局(layout)是 CSS 的一个重点应用. 布局的传统解决方案,基于盒状模型,依赖 display 属性 + position属性 + float属性.它对于那些特殊布局非常不方便,比如,垂 ...
- 手写 Spring
手写 Spring 不多说,简历装 X 必备.不过练好还是需要求一定的思维能力. 一.整体思路 思路要熟练背下来 1)配置阶段 配置 web.xml: XDispatchServlet 设定 init ...
- 使用docker搭建gitlab服务器
简单记录Docker的使用和GitLab的搭建 Docker基础篇 没有sudo权限 安装docker 基础命令 docker安装mysql和配置 Dockerfile常用命令 制作镜像 发布镜像 容 ...
- canvas动画:气泡上升效果
HTML5中的canvas真是个很强大的东西呢! 这几天突发奇想想做一个气泡上升的动画,经过许久的思考和多次失败,终于做出了如下效果 由于是录制的gif图,看着会有点卡顿,实际演示是很自然的 想要做出 ...
- France beat Croatia 4-2 in World Cup final
France won the World Cup for the second time by beating Croatia 4-2 in a tremendous ...