基于netty轻量的高性能分布式RPC服务框架forest<上篇> 文章已经简单介绍了forest的快速入门,本文旨在介绍forest用户指南. 基本介绍 Forest是一套基于java开发的RPC框架,除了常规的点对点调用外,Motan还提供服务治理功能,包括服务节点的自动发现.摘除.高可用和负载均衡等. 架构概述 Forest中分为服务提供方(RPC Server),服务调用方(RPC Client)和服务注册中心(Registry)三个角色. Server提供服务,向Registry注册…

工作几年,用过不不少RPC框架,也算是读过一些RPC源码.之前也撸过几次RPC框架,但是不断的被自己否定,最近终于又撸了一个,希望能够不断迭代出自己喜欢的样子. 顺便也记录一下撸RPC的过程,一来作为总结和回顾,二来算是一种推广. 首先,当然是推广:forest  基于netty轻量的高性能分布式RPC服务框架. 既然是RPC框架,那么首先都弄清楚RPC是什么? 1.如何用通俗的语言解释一下RPC呢? RPC(Remote Procedure Call Protocol)--远程过程调用协议,它…

Ray是UC Berkeley AMP实验室新推出的高性能分布式执行框架,它使用了和传统分布式计算系统不一样的架构和对分布式计算的抽象方式,具有比Spark更优异的计算性能. Ray目前还处于实验室阶段,最新版本为0.2.2版本.虽然Ray自称是面向AI应用的分布式计算框架,但是它的架构具有通用的分布式计算抽象.本文对Ray进行简单的介绍,帮助大家更快地了解Ray是什么,如有描述不当的地方,欢迎不吝指正. 一.简单开始 首先来看一下最简单的Ray程序是如何编写的. # 导入ray,并初始化执行环…

在前篇 高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高可用热备 中已介绍搭建高可用的分布式文件系统架构. 那怎么在程序中调用,其实网上有很多栗子,这里在他们的基础上作个简单的介绍. 下载源码并加入本地仓库 官网Java客户端源代码:https://github.com/happyfish100/fastdfs-client-java 打开源码后 执行maven install 将代码打成jar到本地maven仓库(这步可自行 google)…

高性能分布式哈希表FastDHT介绍及安装配置 FastDHT-高效分布式Hash系统 FastDHT(分布式hash系统)安装和与FastDFS整合实现自定义文件ID Centos6.3 停安装 FastDHT + FastDFS…

RedLock算法-使用redis实现分布式锁服务 译自Redis官方文档 在多线程共享临界资源的场景下,分布式锁是一种非常重要的组件. 许多库使用不同的方式使用redis实现一个分布式锁管理. 其中有一部分简单的实现方式可靠性不足,可以通过一些简单的修改提高其可靠性. 这篇文章介绍了一种指导性的redis分布式锁算法RedLock,RedLock比起单实例的实现方式更加安全. 在介绍RedLock算法之前,我们列出了一些已经实现了分布式锁的类库供大家参考. Redlock-rb (Ruby 实…

FastDFS是什么 FastDFS是使用c语言编写的开源高性能分布式文件系统 是由淘宝开发平台部资深架构师余庆开发,FastDFS孵化平台板块 他对文件进行管理,功能包括文件存储,文件同步,文件访问等,解决了大容量存储和负载均衡的问题 特别适合文件载体的在线服务,如相册网站,视频网站,电商网站,特别适合中小文件(4km<fileseize<500M)为载体的在线服务. FastDFS为互联网量身定制,充分考虑了冗余备份,负载均衡,在线扩容等级制,并注重高可用,高性能等指标,FastDFS很容…

MeayunDB(www.meayun.com)是一款分布式的NoSQL列式内存数据库,由C#编写,主要为高性能,高并发,高可伸缩及大数据系统提供技术解决方案.基于MeayunDB,可以简单,快速的构建应用,并可根据访问量和数据存储需要的增长轻松扩展.     MeayunDB的主要特性   列式存储 分布式,弹性扩展 Map/Reduce并行计算 嵌入式开发(C#,Python) 移动计算 JSON数据交互 无缝集成RDBMS   MeayunDB的使用场景   网站数据―社交网站,电子商务,…

高性能离不开异步,异步离不开队列,内部是Producer-Consumer模型的原理. 设计中的核心概念: job:一个需要异步处理的任务,是beanstalkd中得基本单元,需要放在一个tube中: tube:一个有名的任务队列,用来存储统一类型的job,是producer和consumer操作的对象: producer:job的生产者,通过put命令将一个job放入一个tube中: consumer:job的消费者,通过reserve/release/bury/delete命令来获取job或…

beanstalkd一个高性能.轻量级的分布式内存队列系统,最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟,支持过有9.5 million用户的Facebook Causes应用.后来开源,之后有PostRank大规模部署和使用,每天处理百万级任务. 安装略了PHP客户端可使用pheanstalk. 可以去github上在看 require_once('pheanstalk/pheanstalk_init.php'); $pheanstalk = new P…