Tair是一个高性能，分布式，可扩展，高可靠的key/value结构存储系统（转）

Tair是一个高性能,分布式,可扩展,高可靠的key/value结构存储系统! Tair专为小文件优化,并提供简单易用的接口(类似Map)Tair支持Java和C版本的客户端 Tair is a distributed key-value storage system originally developed at Taobao.com. features: simple client configuration thanks to lightweight config server items…

PHP7 学习笔记（十六）Yaconf 一个高性能的配置管理扩展

鸟哥博客原文:Yaconf – 一个高性能的配置管理扩展什么是yaconf ? 它使用单独的一个配置目录(在yaconf.directory指定), 不和代码在一起.它在PHP启动的时候, 处理所有的要处理的配置, 然后这些配置就会常驻内存, 随着PHP的生命周期存亡. 避免了每次请求的时候解析配置文件.配置目录和代码分离以后, 可以借助一个配置管理后台, 来实现配置的统一化管理.配置如果有变化, 它会reload, 不需要重启(检测的频率由yaconf.check_delay控制).它支持丰…

Beanstalkd 一个高性能分布式内存队列系统

需要一个分布式内存队列,能支持这些特性:任务不重不漏的分发给消费者(最基础的).分布式多点部署.任务持久化.批量处理.错误重试..... 转载:http://rdc.taobao.com/blog/cs/?tag=%E5%86%85%E5%AD%98%E9%98%9F%E5%88%97 之前在微博上调查过大家正在使用的分布式内存队列系统,反馈有Memcacheq,Fqueue, RabbitMQ, Beanstalkd以及linkedin的kafka.RabbitMQ使用比较广泛,Beansta…

Beanstalkd一个高性能分布式内存队列系统

高性能离不开异步,异步离不开队列,内部是Producer-Consumer模型的原理. 设计中的核心概念: job:一个需要异步处理的任务,是beanstalkd中得基本单元,需要放在一个tube中: tube:一个有名的任务队列,用来存储统一类型的job,是producer和consumer操作的对象: producer:job的生产者,通过put命令将一个job放入一个tube中: consumer:job的消费者,通过reserve/release/bury/delete命令来获取job或…

Yaconf – 一个高性能的配置管理扩展

鸟哥出品:http://www.laruence.com/2015/06/12/3051.html 首先说说, 这个是干啥的. 我见过很多的项目中, 用PHP文件做配置的, 一个config目录下可能有十几个甚至数十个.php配置文件, 里面都是各种各样的array, 还有甚者会把一些词典文件(比如中文/英文对照)也放到配置中去. 这就导致配置文件的解析耗费了很大的性能(诚然, 用了opcache能好点, 但是实际上还是有执行的过程). 除了PHP的, 还有用json的, yaml的, 一个共同…

高可用高性能分布式文件系统FastDFS实践Java程序

在前篇高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高可用热备中已介绍搭建高可用的分布式文件系统架构. 那怎么在程序中调用,其实网上有很多栗子,这里在他们的基础上作个简单的介绍. 下载源码并加入本地仓库官网Java客户端源代码:https://github.com/happyfish100/fastdfs-client-java 打开源码后执行maven install 将代码打成jar到本地maven仓库(这步可自行 google)…

一个高性能、轻量级的分布式内存队列系统--beanstalk

Beanstalk是一个高性能.轻量级的.分布式的.内存型的消息队列系统.最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟.其实Beanstalkd是典型的类Memcached设计,协议和使用方式都是同样的风格.其基本设计思想很简单:高性能离不开异步,异步离不开队列,而内部都是生产者-消费者模式的. 背景介绍: 现在市面上有很多消息队列系统了.常用的有ActiveMQ, RabbitMQ,ZeroMA,Kafka,RocketMQ.Redis之父最近又开源了一…

Java高并发高性能分布式框架从无到有微服务架构设计

微服务架构模式(Microservice Architect Pattern).近两年在服务的疯狂增长与云计算技术的进步,让微服务架构受到重点关注微服务架构是一种架构模式,它提倡将单一应用程序划分成一组小的服务,服务之间互相协调.互相配合,为用户提供最终价值.每个服务运行在其独立的进程中,服务与服务间采用轻量级的通信机制互相沟通(通常是基于HTTP的RESTful API).每个服务都围绕着具体业务进行构建,并且能够被独立地部署到生产环境.类生产环境等.另外,应尽量避免统一的.集中式的服务管理…

这次我设计了一款TPS百万级别的分布式、高性能、可扩展的RPC框架

作者:冰河博客地址:https://binghe001.github.io 大家好,我是冰河~~ 没错,这次冰河又要搞事情了,这次准备下手的是RPC框架项目.为什么要对RPC框架项目下手呢,因为在如今分布式.微服务乃至云原生不断发展的过程中,RPC作为底层必不可少的通信组件,被广泛应用在分布式.微服务和云原生项目中. 为啥要开发RPC框架事情是这样的,在开发这个RPC框架之前,我花费了不少时间算是对Dubbo框架彻底研究透彻了. 冰河在撸透了Dubbo2.x和Dubbo3.x的源码之后,本来…

Elasticsearch是一个分布式可扩展的实时搜索和分析引擎,elasticsearch安装配置及中文分词

http://fuxiaopang.gitbooks.io/learnelasticsearch/content/ (中文) 在Elasticsearch中,文档术语一种类型(type),各种各样的类型存在于一个索引中.你也可以通过类比传统的关系数据库得到一些大致的相似之处: 关系数据库 ⇒ 数据库 ⇒ 表 ⇒ 行 ⇒ 列(Columns) Elasticsearch ⇒ 索引 ⇒ 类型 ⇒ 文档 ⇒ 字段(Fields)一个Elasticsearch集群可以包含多个索引(数据库),也就是说其…

腾讯云分布式高可靠消息队列服务CMQ架构

在分布式大行其道的今天,我们在系统内部.平台之间广泛运用消息中间件进行数据交换及解耦.CMQ是腾讯云内部自研基于的高可靠.强一致.可扩展分布式消息队列,在腾讯内部包括微信手机QQ业务红包.腾讯话费充值.广告订单等都有广泛使用.目前已上线腾讯云对外开放,本文对腾讯云CMQ核心技术原理进行分享介绍. CMQ消息队列主要适用于金融.交易.订单等对可靠性.可用性有较高要求的业务场景. 以腾讯充值系统为例,该充值系统通过CMQ 对交易模块.发货部分.结算系统进行异步解耦.削峰填谷,一方面大大降低了模块间耦…

用PHP打造一个高性能好用的网站

用PHP打造一个高性能好用的网站 1. 说到高可用的话要提一下redis,用过的都知道redis是一个具备数据库特征的nosql,正好弥补了PHP的瓶颈,个人认为PHP的瓶颈在于数据库,像Apache和Nginx的高级web服务器在承受并发量上面都各有千秋,apache的最大承受并发数可以到三四千个,nginx要是它的10倍,但apache的三四千个是实打实的三四千个,nginx的并发数是要依靠缓存的.高可用高性能系统这些就要求对mysql的掌握程度相当高,包括memcached,这会大大提高…

腾讯云分布式高可靠消息队列CMQ架构

版权声明:本文由张浩原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/126 来源:腾云阁 https://www.qcloud.com/community 在分布式大行其道的今天,我们在系统内部.平台之间广泛运用消息中间件进行数据交换及解耦.CMQ是腾讯云内部自研基于的高可靠.强一致.可扩展分布式消息队列,在腾讯内部包括微信手机QQ业务红包.腾讯话费充值.广告订单等都有广泛使用.目前已上线腾讯云对外开放,本文对腾讯云CM…

Amazon DynamoDB, 面向互联网应用的高性能、可扩展的NoSQL数据库

DynamoDB是一款全面托管的NoSQL数据库服务.客户能够很easy地使用DynamoDB的服务.同一时候享受到高性能,海量扩展性和数据的持久性保护. DynamoDB数据库是Amazon在2012年1月18日公布的. 它融入了亚马逊在大规模非关系型数据库和云计算领域积累的多年丰富经验.事实上早在2007年.亚马逊就以前公布了一篇论文.深入讨论了AmazonDynamo所使用的设计理念和实现技术,而且讨论了怎样在大规模扩展的同一时候提供高可靠的数据保护的问题. 最初的Dynamo设计基于一系…

基于netty轻量的高性能分布式RPC服务框架forest<下篇>

基于netty轻量的高性能分布式RPC服务框架forest<上篇> 文章已经简单介绍了forest的快速入门,本文旨在介绍forest用户指南. 基本介绍 Forest是一套基于java开发的RPC框架,除了常规的点对点调用外,Motan还提供服务治理功能,包括服务节点的自动发现.摘除.高可用和负载均衡等. 架构概述 Forest中分为服务提供方(RPC Server),服务调用方(RPC Client)和服务注册中心(Registry)三个角色. Server提供服务,向Registry注册…

一个轻量级分布式RPC框架--NettyRpc

1.背景最近在搜索Netty和Zookeeper方面的文章时,看到了这篇文章<轻量级分布式 RPC 框架>,作者用Zookeeper.Netty和Spring写了一个轻量级的分布式RPC框架.花了一些时间看了下他的代码,写的干净简单,写的RPC框架可以算是一个简易版的dubbo.这个RPC框架虽小,但是麻雀虽小,五脏俱全,有兴趣的可以学习一下. 本人在这个简易版的RPC上添加了如下特性: * 服务异步调用的支持,回调函数callback的支持 * 客户端使用长连接(在多次调用共享连接) *…

高性能分布式内存队列系统beanstalkd(转)

beanstalkd一个高性能.轻量级的分布式内存队列系统,最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟,支持过有9.5 million用户的Facebook Causes应用.后来开源,之后有PostRank大规模部署和使用,每天处理百万级任务. 安装略了PHP客户端可使用pheanstalk. 可以去github上在看 require_once('pheanstalk/pheanstalk_init.php'); $pheanstalk = new P…

一个轻量级分布式 RPC 框架 — NettyRpc

原文出处: 阿凡卢 1.背景最近在搜索Netty和Zookeeper方面的文章时,看到了这篇文章<轻量级分布式 RPC 框架>,作者用Zookeeper.Netty和Spring写了一个轻量级的分布式RPC框架.花了一些时间看了下他的代码,写的干净简单,写的RPC框架可以算是一个简易版的dubbo.这个RPC框架虽小,但是麻雀虽小,五脏俱全,有兴趣的可以学习一下. 本人在这个简易版的RPC上添加了如下特性: 服务异步调用的支持,回调函数callback的支持客户端使用长连接(在多次调用共享…

【Tair】淘宝分布式NOSQL框架：Tair

Tair是淘宝的一个开源项目,它是一个分布式的key/value结构数据的解决方案. 一.基本组成作为一个分布式系统,Tair由一个中心控制节点(config server)和一系列的服务节点(data server)组成, 1.config server config server 负责管理所有的data server,并维护data server的状态信息:为了保证高可用(High Available),config server可通过hearbeat 以一主一备形式提供服务 client…

分布式可扩展存储系统 BaikalDB

BaikalDB是一个分布式可扩展的存储系统,支持PB级结构化数据的随机实时读写. 提供MySQL接口,支持常用的SELECT,UPDATE,INSERT,DELETE语法.提供各种WHERE过滤.GROUP BY聚合,HAVING过滤,ORDER BY排序等功能,用户可以组合实现各种在线OLAP需求,具备秒级别的亿级数据扫描聚合能力.另外,为了满足各种业务的检索需求,该系统内置全文检索需求,满足大部分快速检索的业务场景. 在虚拟化部署方面,该系统采用share-nothing的架构,可部署在容…

Redis教程（REmote DIctionary Server)——一个高性能的key-value数据库

redis(REmote DIctionary Server)是什么? Redis是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value数据库,并提供多种语言的API.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set --有序集合)和hash(哈希类型).这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这…

18家大厂Java面试题整理了350道（分布式+微服务+高并发）

一.性能调优系列 1.Tomcat性能调优 JVM参数调优: -Xms 表示JVM初始化堆的大小, -Xmx表示JVM堆的最大值.这两个值的大小一般根据需要进行设置. 当应用程序需要的内存超出堆的最大值时虚拟机就会提示内存溢出,并且导致应用服务崩溃. 因此- -般建议堆的最大值设置为可用内存的最大值的80%. 在catalina.bat中,设置JAVA _0PTS='-Xms256m-Xmx512m',表示初始化内存为256MB,可以使用的最大内存512MB. 2.JVM性能调优 Java类加载…

FastDFS是使用c语言编写的开源高性能分布式文件系统

FastDFS是什么 FastDFS是使用c语言编写的开源高性能分布式文件系统是由淘宝开发平台部资深架构师余庆开发,FastDFS孵化平台板块他对文件进行管理,功能包括文件存储,文件同步,文件访问等,解决了大容量存储和负载均衡的问题特别适合文件载体的在线服务,如相册网站,视频网站,电商网站,特别适合中小文件(4km<fileseize<500M)为载体的在线服务. FastDFS为互联网量身定制,充分考虑了冗余备份,负载均衡,在线扩容等级制,并注重高可用,高性能等指标,FastDFS很容…

聊一聊如何用C#轻松完成一个SAGA分布式事务

背景银行跨行转账业务是一个典型分布式事务场景,假设 A 需要跨行转账给 B,那么就涉及两个银行的数据,无法通过一个数据库的本地事务保证转账的 ACID ,只能够通过分布式事务来解决. 市面上使用比较多的分布式事务框架,支持 SAGA 的,大部分都是 JAVA 为主的,没有提供 C# 的对接方式,或者是对接难度大,一定程度上让人望而却步. 这里推荐一下叶东富大佬的分布式事务框架 dtm,一款跨语言的开源分布式事务管理器,优雅的解决了幂等.空补偿.悬挂等分布式事务难题.提供了简单易用.高性能.易水…

基于netty轻量的高性能分布式RPC服务框架forest<上篇>

工作几年,用过不不少RPC框架,也算是读过一些RPC源码.之前也撸过几次RPC框架,但是不断的被自己否定,最近终于又撸了一个,希望能够不断迭代出自己喜欢的样子. 顺便也记录一下撸RPC的过程,一来作为总结和回顾,二来算是一种推广. 首先,当然是推广:forest 基于netty轻量的高性能分布式RPC服务框架. 既然是RPC框架,那么首先都弄清楚RPC是什么? 1.如何用通俗的语言解释一下RPC呢? RPC(Remote Procedure Call Protocol)--远程过程调用协议,它…

workerman是一个高性能的PHP socket服务器框架

workerman-chatorkerman是一款纯PHP开发的开源高性能的PHP socket服务器框架.被广泛的用于手机app.手游服务端.网络游戏服务器.聊天室服务器.硬件通讯服务器.智能家居.车联网.物联网等领域的开发.支持TCP长连接,支持Websocket.HTTP等协议,支持自定义协议.基于workerman开发者可以更专注于业务逻辑开发,不必再为PHP Socket底层开发而烦恼. workerman workerman是一个高性能的PHP socket服务器框架,workerm…