Distributed processing

Tool

好处

坏处

类型

支持序列化

支持根据负载动态调度任务

支持c

支持dependency的调度

有成熟的library

Actor model

天生支持分布式,本身已经包含基本的serialization功能

比较底层

需要自己编写调度代码

没有广泛支持c的library

传统基于msg的系统

v

x

v

x

x

Apache Storm

http://storm.apache.org/

本身支持分布式,dependency的调度

基于java,不支持c

Streaming 系统

v

v

x

v

v

Grpc

支持c

需要自己编写调度代码

效率不高(基于http)

RPC

v

x

v

x

v

Stapl (Standard Adaptive Parallel Library)

https://parasol.tamu.edu/stapl/

https://parasol-lab.gitlab.io/stapl-home/docs/sgl/

https://gitlab.com/parasol-lab

STAPL(标准模板自适应并行库)是用于在C ++中开发并行程序的框架。它设计用于共享和分布式内存并行计算机

TaskGraph

V?

Stolos,

https://github.com/sailthru/stolos/blob/master/README.md

Chronos, luigi, Azkaban

a task dependency scheduler that helps build distributed pipelines

像是接近批处理框架,实时性可能会慢?

V?

Zeromq

支持c

只是消息队列,需要自己编写序列化,和调度

V?

Celery http://www.celeryproject.org/

芹菜:分布式任务队列

Celery是基于分布式消息传递的异步任务队列/作业队列。它专注于实时操作,但也支持调度。

基于python

V?

x

v

Thrift

hadoop

批处理系统,慢

Map reduce不是非常适用

Java

MapReduce-like 系统

v

v

v

x

V

MPI (mpich2 和 openmpi)

传统基于msg的系统

GraphLab (dato) https://turi.com/

好像用于机器学习方面的

图计算系统

Giraph / Hama

图计算系统

Spark Streaming

不是纯粹的流处理,实时性可能会有影响

Streaming 系统

Flink

Streaming 系统

TBB

Charm++

Titanium

UPC

PSTL

Bonic

https://boinc.berkeley.edu/trac/wiki/ProjectMain

Tpl dataflow

Julia language

https://julialang.org/

语言层面支持分布式

没有图调度

v

v

vx

x

V

是一个标准

是一个标准

  • Apache graphx
  • Apache Storm,Trident,Spark Streaming,Samza和Apache Flink

Keywords

Distributed processing

Distributed computing

Distributed task scheduler

并行计算

高性能计算

Task Dependence Graph

技术

Paxos

Consistent Hash

分布式存储系统还有一系列的理论、算法、技术作为支撑:例如 Paxos, CAP, ConsistentHash, Timing (时钟), 2PC, 3PC

分布式计算系统也做了一个分类,如下:

1. 传统基于msg的系统

2. MapReduce-like 系统

3. 图计算系统

4. 基于状态(state)的系统

5. Streaming 系统

https://en.wikipedia.org/wiki/List_of_concurrent_and_parallel_programming_languages

http://www.infoq.com/cn/articles/comparison-of-main-stream-processing-framework

http://www.infoq.com/cn/articles/comparison-of-main-stream-processing-framework

Distributed processing的更多相关文章

  1. 分布式系统(Distributed System)资料

    这个资料关于分布式系统资料,作者写的太好了.拿过来以备用 网址:https://github.com/ty4z2008/Qix/blob/master/ds.md 希望转载的朋友,你可以不用联系我.但 ...

  2. Stream processing with Apache Flink and Minio

    转自:https://blog.minio.io/stream-processing-with-apache-flink-and-minio-10da85590787 Modern technolog ...

  3. Identifying a distributed denial of service (DDOS) attack within a network and defending against such an attack

    The invention provides methods, apparatus and systems for detecting distributed denial of service (D ...

  4. Hadoop

    Hadoop应用场景 Hadoop是专为离线处理和大规模数据分析而设计的,它并不适合那种对几个记录随机读写的在线事务处理模式. 大数据存储:Hadoop最适合一次写入.多次读取的数据存储需求,如数据仓 ...

  5. 【机器学习Machine Learning】资料大全

    昨天总结了深度学习的资料,今天把机器学习的资料也总结一下(友情提示:有些网站需要"科学上网"^_^) 推荐几本好书: 1.Pattern Recognition and Machi ...

  6. 中国计算机学会CCF推荐国际学术会议

    中国计算机学会推荐国际学术会议 (计算机系统与高性能计算) 一.A类 序号 会议简称 会议全称 出版社 网址 1 ASPLOS Architectural Support for Programmin ...

  7. Hadoop基础——第一弹:Hadoop介绍

    一.基础 1.了解Java.Linux操作系统相关知识 2.如需精进,应为水平要达到一定标准,能够阅读国外相关技术网站,eg:http://hadoop.apache.org/ 二.什么是Hadoop ...

  8. Hadoop HDFS 用户指南

    This document is a starting point for users working with Hadoop Distributed File System (HDFS) eithe ...

  9. Azure HDInsight 和 Spark 大数据实战(一)

    What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群,包括Stor ...

随机推荐

  1. Bootstrap datepicker 在弹出窗体modal中不工作

    解决办法 在 show 方法后面 添加 下面一段代码 $('#modalCard').modal('show');—例子 打开 弹出窗体 //$('#modalCard').modal('hide') ...

  2. HDU 6047 17多校 Maximum Sequence(优先队列)

    Problem Description Steph is extremely obsessed with “sequence problems” that are usually seen on ma ...

  3. HTTP Methods 和 RESTful Service API 设计

    含义: HTTP Methods:也叫 HTTP Verbs,HTTP Methods 可以翻译成 HTTP 方法.它们是 HTTP 协议的一部分,主要规定了 HTTP 如何请求和操作服务器上的资源, ...

  4. C/C++内存泄漏检测 —— memleax

    memleax是个开源项目,原理是通过注入hook目标进程的malloc(new也是用的malloc)内存分配函数,在指定时间未释放则认为内存泄漏.优点是不需要重启,attach到目标进程. gith ...

  5. dubbo AdaptiveExtension

    AdaptiveExtension 自适应Extension,作者其实在使用Extension方和Extension之间插入AdaptiveExtension用来自适应,也可以说是适配. 所以,我们发 ...

  6. upstream timed out (110: Connection timed out) while reading response header from upstream

    Nginx报错日志有如下内容: upstream timed out (110: Connection timed out) while reading response header from up ...

  7. C#动态创建Xml-LinQ方式

    C#创建Xml-LinQ方式 本文提供全流程,中文翻译. Chinar 坚持将简单的生活方式,带给世人!(拥有更好的阅读体验 -- 高分辨率用户请根据需求调整网页缩放比例) Chinar -- 心分享 ...

  8. 基础练习 2n皇后问题

    时间限制:1.0s 内存限制:512.0MB 提交此题 锦囊1 锦囊2 问题描述 给定一个n*n的棋盘,棋盘中有一些位置不能放皇后.现在要向棋盘中放入n个黑皇后和n个白皇后,使任意的两个黑皇后都不在同 ...

  9. PTA——龟兔赛跑

    PTA 7-39 龟兔赛跑 #include <stdio.h> int main () { ,turtle=,minute,rest=-,run=; //rest为0或负时,兔子休息,r ...

  10. Blender界面及模式统计

    Blender2.79b安装后默认界面分布: 所有窗口: 窗口: 3D View的9种模式: