Distributed processing
Distributed processing
Tool |
好处 |
坏处 |
类型 |
支持序列化 |
支持根据负载动态调度任务 |
支持c |
支持dependency的调度 |
有成熟的library |
|||||
Actor model |
天生支持分布式,本身已经包含基本的serialization功能 |
比较底层 需要自己编写调度代码 没有广泛支持c的library |
传统基于msg的系统 |
v |
x |
v |
x |
x |
|||||
Apache Storm |
本身支持分布式,dependency的调度 |
基于java,不支持c |
Streaming 系统 |
v |
v |
x |
v |
v |
|||||
Grpc |
支持c |
需要自己编写调度代码 效率不高(基于http) |
RPC |
v |
x |
v |
x |
v |
|||||
Stapl (Standard Adaptive Parallel Library) https://parasol.tamu.edu/stapl/ |
STAPL(标准模板自适应并行库)是用于在C ++中开发并行程序的框架。它设计用于共享和分布式内存并行计算机 TaskGraph |
V? |
|||||||||||
Stolos, https://github.com/sailthru/stolos/blob/master/README.md Chronos, luigi, Azkaban |
a task dependency scheduler that helps build distributed pipelines |
像是接近批处理框架,实时性可能会慢? |
V? |
||||||||||
Zeromq |
支持c |
只是消息队列,需要自己编写序列化,和调度 |
V? |
||||||||||
Celery http://www.celeryproject.org/ |
芹菜:分布式任务队列 Celery是基于分布式消息传递的异步任务队列/作业队列。它专注于实时操作,但也支持调度。 |
基于python |
V? |
x |
? |
v |
|||||||
Thrift |
|||||||||||||
hadoop |
批处理系统,慢 Map reduce不是非常适用 Java |
MapReduce-like 系统 |
v |
v |
v |
x |
V |
||||||
MPI (mpich2 和 openmpi) |
传统基于msg的系统 |
||||||||||||
GraphLab (dato) https://turi.com/ |
好像用于机器学习方面的 |
图计算系统 |
|||||||||||
Giraph / Hama |
图计算系统 |
||||||||||||
Spark Streaming |
不是纯粹的流处理,实时性可能会有影响 |
Streaming 系统 |
|||||||||||
Flink |
Streaming 系统 |
||||||||||||
|
|||||||||||||
Bonic https://boinc.berkeley.edu/trac/wiki/ProjectMain |
|||||||||||||
Tpl dataflow |
|||||||||||||
Julia language https://julialang.org/ |
语言层面支持分布式 |
没有图调度 |
v |
v |
vx |
x |
V |
||||||
是一个标准 |
|||||||||||||
是一个标准 |
|||||||||||||
|
|||||||||||||
|
Keywords
Distributed processing
Distributed computing
Distributed task scheduler
并行计算
高性能计算
Task Dependence Graph
技术
Paxos
Consistent Hash
分布式存储系统还有一系列的理论、算法、技术作为支撑:例如 Paxos, CAP, ConsistentHash, Timing (时钟), 2PC, 3PC
分布式计算系统也做了一个分类,如下:
1. 传统基于msg的系统
2. MapReduce-like 系统
3. 图计算系统
4. 基于状态(state)的系统
5. Streaming 系统
https://en.wikipedia.org/wiki/List_of_concurrent_and_parallel_programming_languages
http://www.infoq.com/cn/articles/comparison-of-main-stream-processing-framework
http://www.infoq.com/cn/articles/comparison-of-main-stream-processing-framework
Distributed processing的更多相关文章
- 分布式系统(Distributed System)资料
这个资料关于分布式系统资料,作者写的太好了.拿过来以备用 网址:https://github.com/ty4z2008/Qix/blob/master/ds.md 希望转载的朋友,你可以不用联系我.但 ...
- Stream processing with Apache Flink and Minio
转自:https://blog.minio.io/stream-processing-with-apache-flink-and-minio-10da85590787 Modern technolog ...
- Identifying a distributed denial of service (DDOS) attack within a network and defending against such an attack
The invention provides methods, apparatus and systems for detecting distributed denial of service (D ...
- Hadoop
Hadoop应用场景 Hadoop是专为离线处理和大规模数据分析而设计的,它并不适合那种对几个记录随机读写的在线事务处理模式. 大数据存储:Hadoop最适合一次写入.多次读取的数据存储需求,如数据仓 ...
- 【机器学习Machine Learning】资料大全
昨天总结了深度学习的资料,今天把机器学习的资料也总结一下(友情提示:有些网站需要"科学上网"^_^) 推荐几本好书: 1.Pattern Recognition and Machi ...
- 中国计算机学会CCF推荐国际学术会议
中国计算机学会推荐国际学术会议 (计算机系统与高性能计算) 一.A类 序号 会议简称 会议全称 出版社 网址 1 ASPLOS Architectural Support for Programmin ...
- Hadoop基础——第一弹:Hadoop介绍
一.基础 1.了解Java.Linux操作系统相关知识 2.如需精进,应为水平要达到一定标准,能够阅读国外相关技术网站,eg:http://hadoop.apache.org/ 二.什么是Hadoop ...
- Hadoop HDFS 用户指南
This document is a starting point for users working with Hadoop Distributed File System (HDFS) eithe ...
- Azure HDInsight 和 Spark 大数据实战(一)
What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群,包括Stor ...
随机推荐
- Bootstrap datepicker 在弹出窗体modal中不工作
解决办法 在 show 方法后面 添加 下面一段代码 $('#modalCard').modal('show');—例子 打开 弹出窗体 //$('#modalCard').modal('hide') ...
- HDU 6047 17多校 Maximum Sequence(优先队列)
Problem Description Steph is extremely obsessed with “sequence problems” that are usually seen on ma ...
- HTTP Methods 和 RESTful Service API 设计
含义: HTTP Methods:也叫 HTTP Verbs,HTTP Methods 可以翻译成 HTTP 方法.它们是 HTTP 协议的一部分,主要规定了 HTTP 如何请求和操作服务器上的资源, ...
- C/C++内存泄漏检测 —— memleax
memleax是个开源项目,原理是通过注入hook目标进程的malloc(new也是用的malloc)内存分配函数,在指定时间未释放则认为内存泄漏.优点是不需要重启,attach到目标进程. gith ...
- dubbo AdaptiveExtension
AdaptiveExtension 自适应Extension,作者其实在使用Extension方和Extension之间插入AdaptiveExtension用来自适应,也可以说是适配. 所以,我们发 ...
- upstream timed out (110: Connection timed out) while reading response header from upstream
Nginx报错日志有如下内容: upstream timed out (110: Connection timed out) while reading response header from up ...
- C#动态创建Xml-LinQ方式
C#创建Xml-LinQ方式 本文提供全流程,中文翻译. Chinar 坚持将简单的生活方式,带给世人!(拥有更好的阅读体验 -- 高分辨率用户请根据需求调整网页缩放比例) Chinar -- 心分享 ...
- 基础练习 2n皇后问题
时间限制:1.0s 内存限制:512.0MB 提交此题 锦囊1 锦囊2 问题描述 给定一个n*n的棋盘,棋盘中有一些位置不能放皇后.现在要向棋盘中放入n个黑皇后和n个白皇后,使任意的两个黑皇后都不在同 ...
- PTA——龟兔赛跑
PTA 7-39 龟兔赛跑 #include <stdio.h> int main () { ,turtle=,minute,rest=-,run=; //rest为0或负时,兔子休息,r ...
- Blender界面及模式统计
Blender2.79b安装后默认界面分布: 所有窗口: 窗口: 3D View的9种模式: