Hulu是美国领先的互联网专业视频服务平台,目前在美国拥有超过2000万付费用户.Hulu总部位于美国洛杉矶,北京办公室是仅次于总部的第二大研发中心,也是从Hulu成立伊始就具有重要战略地位的分支办公室,独立负责播放器开发,搜索和推荐,广告精准投放,大规模用户数据处理,视频内容基因分析,人脸识别,视频编解码等核心项目. 在视频领域我们有大量的视频转码任务:在广告领域当我们需要验证一个投放算法的效果时,我们需要为每种新的算法运行一个模拟的广告系统来产出投放效果对比验证:在AI领域我们需要对视频提取…

阿里妹导读:为了保证系统的在线交易服务顺利运转,最初几年,阿里都是在双11大促来临之前大量采购机器储备计算资源,导致了双11之后资源大量闲置点现象.是否能把计算任务与在线服务进行混合部署,在现有弹性资源基础上提升集群资源利用率,降低双11资源新增成本? 今天,阿里测试开发专家何颖,将为你深入介绍阿里容器调度系统Sigma仿真平台Cerebro. Sigma 是阿⾥巴巴全集团范围的 Pouch 容器调度系统.2017年是 Sigma 正式上线以来第⼀次参与双11,在双11期间成功⽀撑了全集团所有容…

本文由云+社区发表 作者:turboxu Kubernetes作为容器编排生态圈中重要一员,是Google大规模容器管理系统borg的开源版本实现,吸收借鉴了google过去十年间在生产环境上所学到的经验与教训. Kubernetes提供应用部署.维护. 扩展机制等功能,利用Kubernetes能方便地管理跨机器运行容器化的应用.当前Kubernetes支持GCE.vShpere.CoreOS.OpenShift.Azure等平台,除此之外,也可以直接运行在物理机上.kubernetes是一个开…

目录 从容器说起 背景 docker实现原理 编排之争 基于容器的分布式系统设计之道 单节点协作模式 Sidecar pattern(边车模式) Ambassador pattern(外交官模式) Adapter pattern(适配器模式) 多节点协作模式 都2020年了,容器,或者说docker容器这个概念,从事互联网行业的开发者应该都不会感到陌生.无论大厂还是小厂的应用部署现在都首选docker容器. 但是docker虽好,却并非万能.docker本身,其实仅仅是提供了一种沙盒的机制,对不…

通过重新构建Kubernetes来实现更具弹性的容器编排系统 译自:rearchitecting-kubernetes-for-the-edge 摘要 近年来,kubernetes已经发展为容器编排的首要选择.kubernetes主要面向云环境,但新的边缘场景要求性能.可用性和可扩展编排.kubernetes在etcd(一个强一致的键值存储)中保存了所有集群信息.我们发现规模较大的etcd集群可以提供更高的可用性,但请求延迟也会显著增加,吞吐量显著下降.再加上大约30%的Kubernetes请求…

5月27日,OSC 源创会在上海成功举办.又拍云系统开发高级工程师黄励博在大会分享了<CDN 边缘节点容器调度的实践>.主要介绍又拍云自主开发的边缘节点容器调度方案,从 0 到 1 ,实现零停机.负载均衡,以及基于容器的子网组建.管理等底层功能. 因为分享内容较多,所以将分享整理为两篇文章: 第一篇文章,CDN边缘节点容器调度实践(上)介绍又拍云边缘节点容器调度平台版本1到版本2的发展过程,以及搭建平台时的基本思路:第二篇文章着重介绍又拍云边缘节点容器调度平台版本3到版本4的发展过程,对平台后…

又拍云容器云是基于 Docker 的分布式计算资源网,节点分散在全国各地及海外,提供电信.联通.移动和多线网络,融合微服务.DevOps 理念,满足精益开发.运维一体化,大幅降低分布式计算资源构建复杂度,大幅降低使用成本. 上文是对容器云的简介,又拍云容器云是一个基于 Docker 的边缘容器网络. 过去,又拍云数据中心用的是基于 Mesos 的容器调度平台.它把数据中心的 CPU.内存.磁盘等抽象成一个资源池,Mesos 官方称之为分布式系统内核. Mesos架构 下图是 Mesos 容器调度…

资源管理与调度系统-YARN的基本架构与原理 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 为了能够对集群中的资源进行统一管理和调度,Hadoop2.0引入了数据操作系统YARN.YARN的引入大大提高了集群的资源利用率,并降低了集群管理成本. 首先,YARN能够将资源按需分配给各个应用程序,这大大提高了资源利用率,其次,YARN允许各类短作业和长服务混合部署在一个集群中.并提供了容错,资源隔离及负载均衡等方面的支持,这大大简化了作业和服务的部署和管理成本. 一.YARN产生…

Airflow1.10.4介绍与安装 现在是9102年,8月中旬.airflow当前版本是1.10.4. 随着公司调度任务增大,原有的,基于crontab和mysql的任务调度方案已经不太合适了,需要寻找一个可以支持分布式扩容的调度系统解决方案. 最初瞄准azkaban来着,想着基于这个的二次开发.对比功能和社区热度之后,Airflow比较符合我们寻找的调度系统. 什么是Airflow Airflow是一个以编程方式创作,安排和监控工作流程的平台.对比crontab来看,它是一个可以定时调度任务…

本文根据美团基础架构部/弹性策略团队负责人涂扬在2019 QCon(全球软件开发大会)上的演讲内容整理而成.本文涉及Kubernetes集群管理技术,美团相关的技术实践可参考此前发布的<美团点评Kubernetes集群管理实践>. 一.背景 HULK是美团的容器集群管理平台.在HULK之前,美团的在线服务大部分部署都是在VM上,在此期间,我们遇到了很大的挑战,主要包括以下两点: 环境配置信息不一致:部分业务线下验证正常,但线上验证却不正常. 业务扩容流程长:从申请机器.资源审核到服务部署,需要…