本文作者王勇桥,80后的IT攻城狮,供职于IBM多年,Mesos和Swarm社区的贡献者.本文是他根据自己对Mesos的高可用(High-Availability)设计方案的了解以及在Mesos社区贡献的经验,深度剖析了Mesos集群高可用的解决方案,以及对未来的展望.详情http://click.aliyun.com/m/8630/…

前几天我在mesos平台上基于 cadvisor部署了 influxdb 和 grafana,用于监控 mesos 以及 docker app 运行信息,发现这套监控系统不太适合 mesos + docker 的架构,原因是: 1)mesos task id 和 docker container name 不一致 cadvisor 的设计基于 docker host,没有考虑到mesos 数据中心: cadvisor 用 docker name(docker ps能看到)来标记抓取的数据,而 m…

前段时间我在办公网搭建了一套mesos平台,用于docker 集群相关的调研和测试,mesos + marathon + docker 架构运行正常.但是在启用了chronos后,marathon无法再部署新的app. 查看 http://master1:5050/#/frameworks,发现 chronos 把所有资源都占用了.判断是此原因造成 marathon 无法部署新app. 通过查询参考文档,我按照如下设置把系统资源按比例分配给marathon和chronos,之后marathon又…

1. 软件定义数据中心 Mesos的二级调度机制: maseos协调每个节点的slave,获取每个节点的机器资源.获取资源后,在相应节点运行framework,在容器中执行任务.从而使得多种类型的服务运行在同一台机器上 mesosphere 2. Messos体系结构 slave:运行在节点上的守护进程 framework:调度器+执行器 (1)首先:slave向mater汇报该节点所有可用资源.master将该资源转发给framework. (2)然后:framework的调度器(schedu…

参考资料: 官方文档:http://mesos.apache.org/documentation 中文翻译:http://mesos.mydoc.io/ GitHub:https://github.com/apache/mesos/tree/master 董的博客:http://dongxicheng.org/category/apache-mesos/ 安装 下载mesos 参考:http://mesos.apache.org/documentation/latest/getting-star…

文章出自:听云博客 随着公司业务的不断增长,我们的应用数量也有了爆发式增长.伴随着应用爆发式的增长,管理的难度也随之加大.如何在业务爆发增长的同时快速完成扩容成了很大的挑战.Docker的横空出世恰巧解决了我们的问题.利用Docker我们可以快速完成扩容缩容,且配置统一,不易出错. 在Docker的集群管理选型上,我们比较纠结,目前比较流行的是Mesos和Kubernetes.从功能来说,我们更倾向于使用Kubernetes,他在容器编排方面的能力强于Meoso,且提供了持久化存储方案,更适合我…

资源:3台centos6.8虚拟机 4cpu 8G内存 ip 10.19.54.111-113 1台centos6.8虚拟机2cpu 8G ip 10.19.53.55 1.System Requirements及安装环境配置并关闭防火墙与SELinux For full support of process isolation under Linux a recent kernel >=3.10 is required. 由于我使用的centos6.8,所以要升级内核(http://www.c…

前言 因工作需要,我对基于Apache Mesos 的 Docker 集群作了一点研究,并搭建了一套环境,以下是资料分享. 1. Apache Mesos概述 Apache Mesos是一款开源群集管理软件,能将数据中心中的CPU.内存.存储.其它资源全部虚拟化并进行管理(引用自百度).它被一些人认为是继OpenStack之后的“下一代云计算平台”,“代表云计算的未来“. 根据网络资料,Apache Mesos具有高可靠性,经过严酷的生产环境考验.目前Twitter.Mac等公司在使用它. 现在…

mesos集群部署参见上篇. 运行在mesos上面和 spark standalone模式的区别是: 1)stand alone 需要自己启动spark master 需要自己启动spark slaver(即工作的worker) 2)运行在mesos 启动mesos master 启动mesos slaver 启动spark的 ./sbin/start-mesos-dispatcher.sh -m mesos://127.0.0.1:5050 配置spark的可执行程序的路径(也就是mesos里…

mesos是什么呢? 一个分布式调度框架,让你编写代码时面对整个集群像面对一台机器那么简单.所有的运行,资源调度都可以由它来帮你搞掂. 1.mesos安装有两种方式: 1)参考官网的getstart,下载源码然后进行编译 http://mesos.apache.org/gettingstarted/ 这个就不多说,下载源码,configue.make.make install就好了. 2)使用mesosphere编译好的包,直接安装 https://mesosphere.com/download…

Mesos源码分析(1): Mesos的启动过程总论 Mesos源码分析(2): Mesos Master的启动之一 Mesos源码分析(3): Mesos Master的启动之二 Mesos源码分析(4) Mesos Master的启动之三 Mesos源码分析(5): Mesos Master的启动之四 Mesos源码分析(6): Mesos Master的初始化 Mesos源码分析(7): Mesos-Slave的启动 Mesos源码分析(8): Mesos-Slave的初始化 Mesos源…

针对“互联网+”时代的业务增长.变化速度及大规模计算的需求,廉价的.高可扩展的分布式x86集群已成为标准解决方案,如Google已经在几千万台服务器上部署分布式系统.Docker及其相关技术的出现和发展,又给大规模集群管理带来了新的想象空间. 如何将二者进行有效地结合? 本人将以实验的角度来部署mesos + marathon的docker集群 一.谈谈mesos Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核.Mesos最初是由加州大学伯克利分校的AMPLab开…

以 Apache Mesos 计算的开源数据中心 数据中心 易云 · 2015-09-15 16:53 Apache Mesos 是一个管理器,它通过分布式的应用或框架提供了一种高效的资源隔离和共享.Mesos最初是由加州大学的伯克利分校开发的开源软件.它处于应用层和操作系 统之间,使其易于部署,并使得在大规模集群环境中部署应用变得更高效.它可以在一个节点动态共享的池中运行很多应用.Mesos的突出用户包括 Twitter.Airbnb.MediaCrossing.Xogito 以及 Categ…

http://www.csdn.net/article/2015-07-31/2825348 [编者按]时下,对于大部分IT玩家来说,Docker和Mesos都是熟悉和陌生的:熟悉在于这两个词无疑已成为大家讨论的焦点,而陌生在于这两个技术并未在生产环境得到广泛使用,因此很多人仍然不知道它们究竟有什么优势,或者能干什么.近日,John Walter在Dzone上撰文Creating a Distributed System in 300 Lines With Mesos, Docker, and …

Below is a set of endpoints available on a Mesos agent. These endpoints are reachable at the address http://ip:port/endpoint. For example, http://agent.com:5051/files/browse files: /files/browse:通过主机ip:5051+/files/browse?path即可以获取当前服务的所有文件信息. /file/d…

spark on mesos 有粗粒度(coarse-grained)和细粒度(fine-grained)两种运行模式,细粒度模式在spark2.0后开始弃用. 细粒度模式 优点 spark默认运行的就是细粒度模式,这种模式支持资源的抢占,spark和其他frameworks以非常细粒度的运行在同一个集群中,每个application可以根据任务运行的情况在运行过程中动态的获得更多或更少的资源(mesos动态资源分配),但是这会在每个task启动的时候增加一些额外的开销.这个模式不适合于一些低延…

测试集群配置 60CPU,320G RAM 测试内容:先运行一个需要60CPU的Application1,再运行一个需要50CPU的Application2. 结果分析 如果要等Application1全部执行完才执行Application2,说明资源是静态分配的(standalone模式就是静态分配). 如果Application1执行完部分task,释放出了空闲的cpu资源给Application2执行,说明资源是动态分配的. 运行截图 运行图1: 运行图2: 通过上面的结果我们可以很清楚的…

mesos解决的问题 不同的分布式运算框架(spark,hadoop,ES,MPI,Cassandra,etc.)中的不同任务往往需要的资源(内存,CPU,网络IO等)不同,它们运行在同一个集群中,会相互干扰,为此,应该提供一种资源隔离机制避免任务之间由资源争用导致效率下降,考虑到资源利用率,运维成本,数据共享等因素,公司一般希望将所有这些框架部署到一个公共的集群中,让它们共享集群的资源,并对资源进行统一使用,这样,便诞生了资源统一管理与调度平台,典型的代表就是mesos和yarn. Mesos…

一.Mesos的安装和部署 1.下载mesos源码和依赖包 部署环境 centOS 6.6 mesos-0.21.0 spark-1.4.1 因为mesos官方只提供源码,所以必须要自己进行编译安装使用 添加meven源 sudo wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo 下载mesos和…

深入浅出Mesos(一):为软件定义数据中心而生的操作系统http://www.infoq.com/cn/articles/analyse-mesos-part-01 深入浅出Mesos(二):Mesos的体系结构和工作流http://www.infoq.com/cn/articles/analyse-mesos-part-02?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_arti…

1. Mesos简介 1.1 Mesos Apache Mesos 是一个分布式系统的管理软件,对集群的资源进行分配和管理. Mesos主要由以下几部分组成: Master: 管理各Slave节点 Slave: 为集群提供资源 Framework: scheduler从Master请求资源,executor在Slave上执行任务 Slave节点上的每个executor是一个容器 官方文档: http://mesos.apache.org/documentation/latest/architec…

安装方式: Mesosphere   yum 操作系统:centos7 1. 安装 rpm -Uvh http://repos.mesosphere.io/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm Install yum -y install mesos 2. 操作 master: mesos-master --work_dir='log' slave : mesos-slave --master=masterip:port(5050)…

1)从mesos的官网下载mesos的最新稳定版本:http://mesos.apache.org/downloads/,本文为mesos-0.22.1版本. 2)移动至你喜欢的目录(你在该目录下具有777权限),本文放在~/Desktop下:解压: .tar.gz 生成目录名为~/Desktop/mesos-0.22.1. 3)安装命令行工具和Homebrew: xcode-select --installruby -e "$(curl -fsSL https://raw.githubuser…

[摘要]虽然 Docker 和 Mesos 已成为不折不扣的 Buzzwords ,但是对于大部分人来说它们仍然是陌生的,下面我们就一起领略 Mesos .Docker 和 Go 配合带来的强大破坏力,如何通过 300 行代码打造一个比特币开采系统. 时下,对于大部分 IT 玩家来说, Docker 和 Mesos 都是熟悉和陌生的:熟悉在于这两个词无疑已成为大家讨论的焦点,而陌生在于这两个技术并未在生产环境得到广泛使用,因此很多人仍然不知道它们究竟有什么优势,或者能干什么.近日, John W…

Mesos是一个资源管理框架,提供类似于YARN的功能. 用户可以在其中插件式地运行Spark. MapReduce. Tez等计算框架的任务. Mesos会对资源和任务进行隔离,并实现高效的资源任务调度.…

Mesos 的 配置项 能够通过启动时候传递參数或者配置文件夹下文件的方式给出(推荐方式,一目了然). 分为三种类型:通用项(master 和 slave 都支持).仅仅有 master 支持的,以及仅仅有 slave 支持的. 通用项 --ip=VALUE 监听的 IP 地址 --firewall_rules=VALUE endpoint 防火墙规则,VALUE 能够是 JSON 格式或者存有 JSON 格式的文件路径. --log_dir=VALUE 日志文件路径,默认不存储日志到本地 --…

http://developer.51cto.com/art/201401/426507.htm 1. 前言 同其他大部分分布式系统一样,Apache Mesos为了简化设计,也是采用了master/slave结构,为了解决master单点故障,将master做得尽可能地轻量级,其上面所有的元数 据可以通过各个slave重新注册而进行重构,故很容易通过zookeeper解决该单点故障问题. (什么是apache mesos?参考:<统一资源管理与调度平台(系统)介绍>,本文分析基于Mesos …

周末两天都是大雾霾天,作为运营也不能在家宅,告别了技术就得腿儿勤点儿. 非常感谢 Linker 的 Sam Chen 和 数人科技 的 CTO 共同组织的Mesos Meetup,OneAPM 最帅的 Docker 工程狮-陈亮与 Linker Networks.爱奇艺.PingCAP,浙江移动 的程序猿们一起分享了在 Mesos 技术栈的实践. 本想把会议过程详细总结下来,发现干货颇多很难穷举,还好 Linker 和 浙江移动 在微信公众号上迅速地把各自内容分享出来,这节省了我一大部分工作.具…

注意事项: 编译过程如果有错误提示少什么库,则相应的安装库即可在编译中出现 g++: internal compiler error: Killed (program cc1plus)的错误是因为内存不足,我在虚拟机中编译的,所以把内存提升到3G,然后在make的时候-j 1即可,或者不用-j参数 1. 下载源码 $ wget http://www.apache.org/dist/mesos/0.28.2/mesos-0.28.2.tar.gz $ tar -zxvf mesos-0.28.2.…

在使用spark-submit的过程中,需要注意 spark-defaults.conf Spark-defaults.conf的作用范围要搞清楚,编辑driver所在机器上的spark-defaults.conf,该文件会影响 到driver所提交运行的application,及专门为该application提供计算资源的executor的启动参数 只需要在driver所在的机器上编辑该文件,不需要在worker或master所运行的机器上编辑该文件 举个实际的例子 spark.executo…