Distributed processing
Distributed processing
Tool |
好处 |
坏处 |
类型 |
支持序列化 |
支持根据负载动态调度任务 |
支持c |
支持dependency的调度 |
有成熟的library |
|||||
Actor model |
天生支持分布式,本身已经包含基本的serialization功能 |
比较底层 需要自己编写调度代码 没有广泛支持c的library |
传统基于msg的系统 |
v |
x |
v |
x |
x |
|||||
Apache Storm |
本身支持分布式,dependency的调度 |
基于java,不支持c |
Streaming 系统 |
v |
v |
x |
v |
v |
|||||
Grpc |
支持c |
需要自己编写调度代码 效率不高(基于http) |
RPC |
v |
x |
v |
x |
v |
|||||
Stapl (Standard Adaptive Parallel Library) https://parasol.tamu.edu/stapl/ |
STAPL(标准模板自适应并行库)是用于在C ++中开发并行程序的框架。它设计用于共享和分布式内存并行计算机 TaskGraph |
V? |
|||||||||||
Stolos, https://github.com/sailthru/stolos/blob/master/README.md Chronos, luigi, Azkaban |
a task dependency scheduler that helps build distributed pipelines |
像是接近批处理框架,实时性可能会慢? |
V? |
||||||||||
Zeromq |
支持c |
只是消息队列,需要自己编写序列化,和调度 |
V? |
||||||||||
Celery http://www.celeryproject.org/ |
芹菜:分布式任务队列 Celery是基于分布式消息传递的异步任务队列/作业队列。它专注于实时操作,但也支持调度。 |
基于python |
V? |
x |
? |
v |
|||||||
Thrift |
|||||||||||||
hadoop |
批处理系统,慢 Map reduce不是非常适用 Java |
MapReduce-like 系统 |
v |
v |
v |
x |
V |
||||||
MPI (mpich2 和 openmpi) |
传统基于msg的系统 |
||||||||||||
GraphLab (dato) https://turi.com/ |
好像用于机器学习方面的 |
图计算系统 |
|||||||||||
Giraph / Hama |
图计算系统 |
||||||||||||
Spark Streaming |
不是纯粹的流处理,实时性可能会有影响 |
Streaming 系统 |
|||||||||||
Flink |
Streaming 系统 |
||||||||||||
|
|||||||||||||
Bonic https://boinc.berkeley.edu/trac/wiki/ProjectMain |
|||||||||||||
Tpl dataflow |
|||||||||||||
Julia language https://julialang.org/ |
语言层面支持分布式 |
没有图调度 |
v |
v |
vx |
x |
V |
||||||
是一个标准 |
|||||||||||||
是一个标准 |
|||||||||||||
|
|||||||||||||
|
Keywords
Distributed processing
Distributed computing
Distributed task scheduler
并行计算
高性能计算
Task Dependence Graph
技术
Paxos
Consistent Hash
分布式存储系统还有一系列的理论、算法、技术作为支撑:例如 Paxos, CAP, ConsistentHash, Timing (时钟), 2PC, 3PC
分布式计算系统也做了一个分类,如下:
1. 传统基于msg的系统
2. MapReduce-like 系统
3. 图计算系统
4. 基于状态(state)的系统
5. Streaming 系统
https://en.wikipedia.org/wiki/List_of_concurrent_and_parallel_programming_languages
http://www.infoq.com/cn/articles/comparison-of-main-stream-processing-framework
http://www.infoq.com/cn/articles/comparison-of-main-stream-processing-framework
Distributed processing的更多相关文章
- 分布式系统(Distributed System)资料
这个资料关于分布式系统资料,作者写的太好了.拿过来以备用 网址:https://github.com/ty4z2008/Qix/blob/master/ds.md 希望转载的朋友,你可以不用联系我.但 ...
- Stream processing with Apache Flink and Minio
转自:https://blog.minio.io/stream-processing-with-apache-flink-and-minio-10da85590787 Modern technolog ...
- Identifying a distributed denial of service (DDOS) attack within a network and defending against such an attack
The invention provides methods, apparatus and systems for detecting distributed denial of service (D ...
- Hadoop
Hadoop应用场景 Hadoop是专为离线处理和大规模数据分析而设计的,它并不适合那种对几个记录随机读写的在线事务处理模式. 大数据存储:Hadoop最适合一次写入.多次读取的数据存储需求,如数据仓 ...
- 【机器学习Machine Learning】资料大全
昨天总结了深度学习的资料,今天把机器学习的资料也总结一下(友情提示:有些网站需要"科学上网"^_^) 推荐几本好书: 1.Pattern Recognition and Machi ...
- 中国计算机学会CCF推荐国际学术会议
中国计算机学会推荐国际学术会议 (计算机系统与高性能计算) 一.A类 序号 会议简称 会议全称 出版社 网址 1 ASPLOS Architectural Support for Programmin ...
- Hadoop基础——第一弹:Hadoop介绍
一.基础 1.了解Java.Linux操作系统相关知识 2.如需精进,应为水平要达到一定标准,能够阅读国外相关技术网站,eg:http://hadoop.apache.org/ 二.什么是Hadoop ...
- Hadoop HDFS 用户指南
This document is a starting point for users working with Hadoop Distributed File System (HDFS) eithe ...
- Azure HDInsight 和 Spark 大数据实战(一)
What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群,包括Stor ...
随机推荐
- Linux 虚拟内存机制
每个进程都有自己独立的4G内存空间,各个进程的内存空间具有类似的结构. Linux内存管理采用的是页式管理,使用的是多级页表,动态地址转换机构与主存.辅存共同实现虚拟内存 一个新进程建立的时候,将会建 ...
- NioEventLoop中的thread什么时候启动
在构造函数中被赋值,并传入传入runnable接口,方法里面循环select,然后处理找到的key 但是这个thread是什么时候被start的呢? 在bootstrap bind的逻辑里,后半部分是 ...
- golang---map类型
map 类似其它语言中的哈希表或字典,以key-value形式存储数据 key必须是支持==或!=比较运算的类型,不可以是函数.map或slice Map查找比线性搜索快很多,但比使用索引访问数据的类 ...
- 惊不惊喜, 用深度学习 把设计图 自动生成HTML代码 !
如何用前端页面原型生成对应的代码一直是我们关注的问题,本文作者根据 pix2code 等论文构建了一个强大的前端代码生成模型,并详细解释了如何利用 LSTM 与 CNN 将设计原型编写为 HTML 和 ...
- centos6.6安装hadoop-2.5.0(二、伪分布式部署)
操作系统:centos6.6(一台服务器) 环境:selinux disabled:iptables off:java 1.8.0_131 安装包:hadoop-2.5.0.tar.gz 伪分布式环境 ...
- mysql创建用户并给用户分配权限
1.登录Mysql [root@xufeng Desktop]# mysql -u root -pEnter password: Welcome to the MySQL monitor. Comma ...
- 下载从网页里面提取出来的图片(将url指向的图片下载并保存、从命名)
import os #创建文件夹 from urllib import request #下载图片 if not os.path.exists('文件夹名字'): #创建文件夹名字 os.mkdir( ...
- ES6 class的基本语法-学习笔记
1.基本上,ES6 的class可以看作只是一个语法糖,它的绝大部分功能,ES5 都可以做到,新的class写法只是让对象原型的写法更加清晰.更像面向对象编程的语法而已. 类的内部所有定义的方法,都是 ...
- 打开视图 :1449 - the user specified as a definer ('root'@'%')does not exist
从一个数据库数据迁移到本地localhost 程序在调用到数据库的视图时报错,直接在数据库中打开视图时也报错,类似: mysql 1449 : The user specified as a ...
- 20155208徐子涵Vim编辑器学习经验
20155208徐子涵 2016-2017-2 Vim编辑器学习经验 当我们运用虚拟机进行书写代码时,我们就会用到Vim编辑器,用Vim编辑器进行编辑特别方便,而Vim编辑器中也有一些操作需要去学习. ...