何谓集群(cluster)
1、簇
1.1 何谓集群
简单的说。簇(cluster)是一组计算机。他们,作为一个一般的为客户提供了一套网络资源。该计算机系统是集群中的单个节点(node)。
个理想的集群是,用户从来不会意识到集群系统底层的节点,在他/她们看来。集群是一个系统,而非多个计算机系统。而且集群系统的管理员能够任意添加和删改集群系统的节点。
1.2 为什么须要集群
集群并非一个全新的概念,事实上早在七十年代计算机厂商和研究机构就開始了对集群系统的研究和开发。
因为主要用于科学project计算,所以这些系统并不为大家所熟知。直到Linux集群的出现,集群的概念才得以广为传播。
对集群的研究起源于集群系统的良好的性能可扩展性(scalability)。提高cpu主频和总线带宽是最初提供计算机性能的主要手段。可是这一手段对系统性能的提供是有限的。
接着人们通过添加CPU个数和内存容量来提高性能。于是出现了向量机,对称多处理机(SMP)等。可是当CPU的个数超过某一阈值。象SMP这些多处理机系统的可扩展性就变的极差。主要瓶颈在于CPU訪问内存的带宽并不能随着CPU个数的添加而有效增长。与SMP相反。集群系统的性能随着CPU个数的添加差点儿是线性变化的。图1显示了这中情况。
图1. 几种计算机系统的可扩展性
集群系统的长处并不仅在于此。
以下列举了集群系统的主要长处:
高可扩展性:如上所述。
高可用性:集群中的一个节点失效,它的任务能够传递给其它节点。能够有效防止单点失效。
高性能:负载平衡集群同意系统同一时候接入很多其它的用户。
高性价比:能够採用便宜的符合工业标准的硬件构造高性能的系统。
1.2.1 集群系统的分类
尽管 依据集群系统的不同特征能够有多种分类方法。可是一般我们把集群系统分为两类:
高可用(High Availability)集群,简称HA集群。这类集群致力于提供高度可靠的服务。
高性能计算(High Perfermance Computing)集群。简称hpC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。
第二页
2、高可用集群
2.1 什么是高可用性
计算机系统的可用性(availability)是通过系统的可靠性(reliability)和可维护性(maintainability)来度量的。project上通经常使用平均无故障时间(MTTF)来度量系统的可靠性。用平均维修时间(MTTR)来度量系统的可维护性。于是可用性被定义为:
MTTF/(MTTF+MTTR)*100%
业界依据可用性把计算机系统分为例如以下几类:
表1. 系统可用性分类
可用比例 年停机时间 可用性分类
99.5 3.7天 常规系统(Conventional)
99.9 8.8小时 可用系统(Available)
99.99 52.6分钟 高可用系统(Highly Available)
99.999 5.3分钟 Fault Resilient
99.9999 32秒 Fault Tolerant
对于关键业务,停机一般是灾难性的。由于停机带来的损失也是巨大的。以下的统计数字列举了不同类型企业应用系统停机所带来的损失。
表 2. 停机给企业带来的损失
应用系统 每分钟损失(美元)
呼叫中心(Call Center) 27000
企业资源计划(ERP)系统 13000
供应链管理(SCM)系统 11000
电子商务(eCoMMerce)系统 10000
客户服务(Customer Service Center)系统 27000
随着企业越来越依赖于信息技术,因为系统停机而带来的损失也越拉越大。
2.2 高可用集群
高可用集群就是採用集群技术来实现计算机系统的高可用性。高可用集群通常有两种工作方式:
容错系统:一般是主从server方式。从server检測主server的状态。当主服务工作正常时,从server并不提供服务。可是一旦主server失效。从server就開始取代主server向客户提供服务。
负载均衡系统:集群中全部的节点都处于活动状态。它们分摊系统的工作负载。一般Webserver集群、数据库集群和应用server集群都属于这样的类型。
关于高可用集群的讨论非常多。这里就不进行深入的阐述了。
第三页
3、高性能计算集群
3.1 什么是高性能计算集群
简单的说,高性能计算(High-Performance Computing)是计算机科学的一个分支,它致力于开发超级计算机。研究并行算法和开发相关软件。高性能计算主要研究例如以下两类问题:
大规模科学问题,象天气预报、地形分析和生物制药等;
存储和处理海量数据,象数据挖掘、图象处理和基因測序;
顾名思义,高性能集群就是採用集群技术来研究高性能计算。
3.2 高性能计算分类
高性能计算的分类方法非常多。这里从并行任务间的关系角度来对高性能计算分类。
3.2.1 高吞吐计算(High-throughput Computing)
有一类高性能计算,能够把它分成若干能够并行的子任务,并且各个子任务彼此间没有什么关联。象在家搜寻外星人( SETI@HOME -- Search for Extraterrestrial Intelligence at Home )就是这一类型应用。这一项目是利用Internet上的闲置的计算资源来搜寻外星人。SETI项目的server将一组数据和数据模式发给Internet上參加SETI的计算节点。计算节点在给定的数据上用给定的模式进行搜索,然后将搜索的结果发给server。server负责将从各个计算节点返回的数据汇集成完整的数据。由于这样的类型应用的一个共同特征是在海量数据上搜索某些模式,所以把这类计算称为高吞吐计算。所谓的Internet计算都属于这一类。依照Flynn的分类。高吞吐计算属于SIMD(Single Instruction/Multiple Data)的范畴。
3.2.2 分布计算(Distributed Computing)
还有一类计算刚好和高吞吐计算相反。它们尽管能够给分成若干并行的子任务,可是子任务间联系非常紧密,须要大量的数据交换。依照Flynn的分类。分布式的高性能计算属于MIMD(Multiple Instruction/Multiple Data)的范畴。
3.3 Linux高性能集群系统
当论及Linux高性能集群时,很多人的第一反映就是Beowulf。起初,Beowulf仅仅是一个著名的科学计算集群系统。以后的非常多集群都採用Beowulf相似的架构,所以,实际上,如今Beowulf已经成为一类广为接受的高性能集群的类型。虽然名称各异。非常多集群系统都是Beowulf集群的衍生物。当然也存在有别于Beowulf的集群系统,COW和Mosix就是另两类著名的集群系统。
3.3.1 Beowulf集群
简单的说。Beowulf是一种可以将多台计算机用于并行计算的体系结构。通常Beowulf系统由通过以太网或其它网络连接的多个计算节点和管理节点构成。管理节点控制整个集群系统,同一时候为计算节点提供文件服务和对外的网络连接。它使用的是常见的硬件设备,象普通pc、以太网卡和集线器。它非常少使用特别定制的硬件和特殊的设备。
Beowulf集群的软件也是随处可见的,象Linux、PVM和MPI。
本文的以后几部分将具体介绍Beowulf集群系统的硬件、网络、软件和应用体系结构。
3.3.2 Beowulf集群和COW集群
象Beowulf一样,COW(Cluster Of Workstation)也是由最常见的硬件设备和软件系统搭建而成。通常也是由一个控制节点和多个计算节点构成。COW和Beowulf的主要差别在于:
COW中的计算节点主要都是闲置的计算资源。如办公室中的桌面工作站,它们就是普通的PC。採用普通的局域网进行连接。由于这些计算节点白天会作为工作站使用。所以基本的集群计算发生在晚上和周末等空暇时间。而Beowulf中的计算节点都是专职于并行计算,而且进行了性能优化。它们採用快速网(Myrinet或Giganet)上的消息传递(PVM或MPI)进行进程间通信(IPC)。
由于COW中的计算节点基本的目的是桌面应用,所以它们都具有显示器、键盘和鼠标等外设。而Beowulf的计算节点通常没有这些外设。对这些计算节点的訪问一般是在管理节点上通过网络或串口线实现的。
由于连接COW中计算节点的一般是普通的局域网,所以COW上的高性能应用一般是象SETI@HOME 这种SIMD的高吞吐计算。而Beowulf不管从硬件、网络和软件上都对须要频繁交换数据的MIMD应用做了特别的优化。
3.3.3 Mosix集群
实际上把Mosix集群放在高性能集群这一节是相当牵强的,可是和Beowulf等其它集群相比, Mosix集群确实是种非常特别的集群, 它致力于在Linux系统上实现集群系统的单一系统映象SSI(Single System Image)。
Mosix集群将网络上执行Linux的计算机连接成一个集群系统。系统自己主动均衡节点间的负载。由于Mosix是在Linux系统内核中实现的集群,所以用户态的应用程序不须要不论什么改动就能够在Mosix集群上执行。通经常使用户非常少会注意到Linux和Mosix的区别。对于他来说。Mosix集群就是执行Linux的一台PC。
虽然如今存在着不少的问题。Mosix始终是引人注目的集群系统。
在总结:http://hi.baidu.com/movieyouth/blog/item/bbe6d658bad56385800a18b6.html
何谓集群(cluster)的更多相关文章
- 集群CLUSTER种类介绍
一.集群CLUSTER 介绍 计算机集群Cluster,可以把多台计算机 连接在一起使用,平分资源或互为保障.其好处不言而喻,群集中的每个计算机被称为一个节点,节点可添加可减少,在这些节点之上虚拟出一 ...
- 什么是集群(cluster)
1.集群 1.1 什么是集群 简单的说,集群(cluster)就是一组计算机,它们作为一个总体向用户提供一组网络资源.这些单个的计算机系统就是集群的节点(node).一个理想的集群是,用户从来不会意识 ...
- Akka(10): 分布式运算:集群-Cluster
Akka-Cluster可以在一部物理机或一组网络连接的服务器上搭建部署.用Akka开发同一版本的分布式程序可以在任何硬件环境中运行,这样我们就可以确定以Akka分布式程序作为标准的编程方式了. 在上 ...
- redis单点、redis主从、redis哨兵sentinel,redis集群cluster配置搭建与使用
目录 redis单点.redis主从.redis哨兵 sentinel,redis集群cluster配置搭建与使用 1 .redis 安装及配置 1.1 redis 单点 1.1.2 在命令窗口操作r ...
- 什么是集群(Cluster)技术
什么是集群(Cluster)技术Cluster集群技术可如下定义:一组相互独立的服务器在网络中表现为单一的系统,并以单一系统的模式加以管理.此单一系统为客户工作站提供高可*性的服务.大多数模式下,集群 ...
- Docker快速构建Redis集群(cluster)
Docker快速构建Redis集群(cluster) 以所有redis实例运行在同一台宿主机上为例子 搭建步骤 redis集群目录清单 . ├── Dockerfile ├── make_master ...
- redis集群cluster简单设置
环境: 这里参考官方使用一台服务器:Centos 7 redis-5.0.4 192.168.10.10 redis集群cluster最少要3个主节点,所以本次需要创建6个实例:3个主节点,3 ...
- 集群(cluster)和高可用性(HA)的概念
1.1 什么是集群 简单的说,集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源.这些单个的计算机系统就是集群的节点(node).一个理想的集群是,用户从来不会意识到集群系统 ...
- jboss eap 6.3 集群(cluster)-Session 复制(Replication)
本文算是前一篇的后续,java web application中,难免会用到session,集群环境中apache会将http请求智能转发到其中某台jboss server.假设有二个jboss se ...
随机推荐
- Jetty:配置安全
用${jetty.home}和${jetty.base}配置安全 Jetty 9.1中: 1)${jetty.home}是jetty公布(二进制)的文件夹路径: 2)${jetty.base}是用 ...
- Jedi项目,还真得好好看看,有许多控件和新封装的API(Delphi里面没有)
以前没有重视 http://www.delphi-jedi.org/ https://github.com/project-jedi https://sourceforge.net/projects/ ...
- UVALive 6869(后缀数组)
传送门:Repeated Substrings 题意:给定一个字符串,求至少重复一次的不同子串个数. 分析:模拟写出子符串后缀并排好序可以发现,每次出现新的重复子串个数都是由现在的height值减去前 ...
- hdu 3290 (简单dfs)
题意:没有儿子的节点所结苹果数是节点的编号,有儿子的所结苹果是儿子数量(k+1)/2个,求跟节点的苹果数 直接递归一下,先求出所有儿子的苹果树,在排序,,刚开始以为1就是根节点,根节点不确定,, #i ...
- Pods was rejected as an implicit dependency for 'libPods.a' because its architectures 'x86_64' didn
引入cocoaPods后.第一次编译,或者运行update后 可能报这个错误: Pods was rejected as an implicit dependency for 'libPods.a' ...
- 基于libevent, libuv和android Looper不断演进socket编程 - 走向架构师之路 - 博客频道 - CSDN.NET
基于libevent, libuv和android Looper不断演进socket编程 - 走向架构师之路 - 博客频道 - CSDN.NET 基于libevent, libuv和android L ...
- LVS的调度算法分析
LVS调度算法 一.静态调度算法 1. rr(round robin)轮询调度,即调度器将客户端的请求依次的传递给内部的服务器,从1到N,算法简洁,无须记录状态,但是不考虑每台服务器的性能. 配置如 ...
- spring MVC 下载文件(转)
springle MVC中如何下载文件呢? 比struts2 下载文件简单得多 先看例子: @ResponseBody @RequestMapping(value = "/download& ...
- LeetCode_Merge Two Sorted Lists
一.题目 Merge Two Sorted Lists My Submissions Merge two sorted linked lists and return it as a new list ...
- Verifying Checksum ... Bad Data CRC 错误解决
1.问题描述:使用SAM9X25 内核版本是2.6.39 在启动内核时会出现Verifying Checksum ... Bad Data CRC 错误 2.解决办法: 查看原先uboot参数: ...