akka-typed(9) - 业务分片、整合,谈谈lagom, 需要吗?
在讨论lagom之前,先从遇到的需求开始介绍:现代企业的it系统变得越来越多元化、复杂化了。线上、线下各种系统必须用某种方式集成在一起。从各种it系统的基本共性分析:最明显的特征应该是后台数据库的角色了,起码,大家都需要使用数据。另外,每个系统都可能具备大量实时在线用户、海量数据特性,代表着对数据处理能力有极大的要求,预示系统只有通过分布式处理方式才能有效运行。
一个月前开始设计一个企业的it系统,在讨论数据中台时就遇到这样的需求。这个所谓的数据中台的主要作用是为整体系统提供一套统一的数据使用api,前后连接包括web,mobile,desktop的前端系统以及由多种传统及分布式数据库系统,形成一个统一的数据使用接口。实际上,数据库连接不只是简单的读写操作,还需要包括所有实时的数据处理:根据业务要求对数据进行相应的处理然后使用。那么这是一个怎样的系统呢?首先,它必须是分布式的:为了对付大量的前端用户同时调用同一个api,把这个api的功能同时分派到多个服务器上运行是个有效的解决方法。这是个akka-cluster-sharding模式。数据中台api是向所有内部系统以及一些特定的外部第三方系统开放的,用http标准协议支持各系统与数据后台的连接也是合理的。这个akka-http, akka-grpc可以胜任。然后各系统之间的集成可以通过一个流运算工具如kafka实现各聚合根之间的交互连接。
似乎所有需要的工具都齐备了,其中akka占了大部分功能。但有些问题是:基于akka技术栈来编程或多或少有些门槛要求。最起码需要一定程度的akka开发经验。更不用提组织一个开发团队了。如果市面上有个什么能提供相应能力的开发工具,可以轻松快速上手的,那么项目开发就可以立即启动了。
现在来谈谈lagom:lagom是一套scala栈的微服务软件开发工具。从官方文档介绍了解到lagom主要提供了一套服务接口定义及服务功能开发框架。值得一提的是服务功能可以是集群分片模式的。走了一遍lagom的启动示范代码,感觉这是一套集开发、测试、部署为一体的框架(framework)。在这个框架里按照规定开发几个简单的服务api非常顺利,很方便。这让我对使用lagom产生了兴趣,想继续调研一下利用lagoom来开发上面所提及数据中台的可行性。lagom服务接入部分是通过play实现的。play我不太熟悉,想深入了解一下用akka-http替代的可行性,不过看来不太容易。最让我感到失望的是lagom的服务分片(service-sharding)直接就是akka-cluster那一套:cluster、event-sourcing、CQRS什么的都需要自己从头到尾重新编写。用嵌入的kafka进行服务整合与单独用kafka也不会增加太多麻烦。倒是lagom提供的这个集开发、测试、部署为一体的框架在团队开发管理中应该能发挥良好的作用。
在我看来:服务接入方面由于涉及身份验证、使用权限、二进制文件类型数据交换等使用akka-http,akka-grpc会更有控制力。服务功能实现直接就用akka-cluster-sharding,把计算任务分布到各节点上,这个我们前面已经介绍过了。
所以,最后还是决定直接用akka-typed来实现这个数据中台。用了一个多月时间做研发,到现在看来效果不错,能够符合项目要求。下面是一些用akka-typed实现业务集成的过程介绍。首先,系统特点是功能分片:系统按业务条块分成多个片shardregion,每个片里的entity负责处理一项业务的多个功能。多个用户调用一项业务功能代表多个entity分布在不同的集群节点上并行运算。下面是一个业务群的代码示范:
object Shards extends LogSupport {
def apply(mgoHosts: List[String],trace: Boolean, keepAlive: FiniteDuration, pocurl: String)(
implicit authBase: AuthBase): Behavior[Nothing] = {
Behaviors.setup[Nothing] { ctx =>
val sharding = ClusterSharding(ctx.system)
log.stepOn = true log.step(s"starting cluster-monitor ...")(MachineId("",""))
ctx.spawn(MonitorActor(),"abs-cluster-monitor") log.step(s"initializing sharding for ${Authenticator.EntityKey} ...")(MachineId("",""))
val authEntityType = Entity(Authenticator.EntityKey) { entityContext =>
Authenticator(entityContext.shard,mgoHosts,trace,keepAlive)
}.withStopMessage(Authenticator.StopAuthenticator)
sharding.init(authEntityType) log.step(s"initializing sharding for ${CrmWorker.EntityKey} ...")(MachineId("",""))
val crmEntityType = Entity(CrmWorker.EntityKey) { entityContext =>
CrmWorker(entityContext.shard,mgoHosts,entityContext.entityId,trace,keepAlive)
}.withStopMessage(CrmWorker.StopWorker)
sharding.init(crmEntityType) log.step(s"initializing sharding for ${GateKeeper.EntityKey} ...")(MachineId("",""))
val gateEntityType = Entity(GateKeeper.EntityKey) { entityContext =>
GateKeeper(entityContext.shard,mgoHosts,entityContext.entityId,trace,keepAlive)
}.withStopMessage(GateKeeper.StopGateKeeper)
sharding.init(gateEntityType) log.step(s"initializing sharding for ${PluWorker.EntityKey} ...")(MachineId("",""))
val pluEntityType = Entity(PluWorker.EntityKey) { entityContext =>
PluWorker(entityContext.shard,mgoHosts,entityContext.entityId,trace,keepAlive)
}.withStopMessage(PluWorker.StopWorker)
sharding.init(pluEntityType) log.step(s"initializing sharding for ${PocWorker.EntityKey} ...")(MachineId("",""))
val pocEntityType = Entity(PocWorker.EntityKey) { entityContext =>
PocWorker(entityContext.shard,mgoHosts,entityContext.entityId,trace,keepAlive,pocurl)
}.withStopMessage(PocWorker.StopWorker)
sharding.init(pocEntityType) Behaviors.empty
}
}
}
可以看到,不同类型的片以不同的EntityKey来代表。前端接入是基于akka-http的,如下:
object CrmRoute extends LogSupport {
def route(entityRef: EntityRef[CrmWorker.Command])(
implicit ec: ExecutionContext, jsStreaming: EntityStreamingSupport, timeout: Timeout): akka.http.scaladsl.server.Route = {
concat(
pathPrefix("ismember") {
parameter(Symbol("faceid")) { fid =>
val futResp = entityRef.ask[CrmWorker.Response](CrmWorker.IsMemberFace(fid, _))
.map {
case CrmWorker.ValidMember(memberId) => memberId
case CrmWorker.InvalidMember(msg) => throw new Exception(msg)
}
onSuccess(futResp)(complete(_))
}
},
pathPrefix("getmember") {
parameter(Symbol("memberid")) { mid =>
val futResp = entityRef.ask[CrmWorker.Response](CrmWorker.GetMemberInfo(mid, _))
.map {
case CrmWorker.MemberInfo(json) => HttpEntity(MediaTypes.`application/json`,json)
case CrmWorker.InvalidMemberInfo(msg) => throw new Exception(msg)
}
onSuccess(futResp)(complete(_))
}
}
)
}
}
各项业务功能调用通过entityRef.ask发送给了某个用户指定节点上的entity。akka的actor是线程的再细分,即一个actor可能与其它成千上万个actor共享一条线程。所以绝对不容许任何blocking。我是用下面示范的模式来实现non-blocking的:
def apply(shard: ActorRef[ClusterSharding.ShardCommand],mgoHosts: List[String], entityId: String, trace: Boolean, keepAlive: FiniteDuration): Behavior[Command] = {
val (shopId,posId) = entityId.split(':').toList match {
case sid::pid::Nil => (sid,pid) }
implicit val loc = Messages.MachineId(shopId,posId)
log.stepOn = trace // Behaviors.supervise(
Behaviors.setup[Command] { ctx =>
implicit val ec = ctx.executionContext
ctx.setReceiveTimeout(keepAlive, Idle)
Behaviors.withTimers[Command] { timer =>
Behaviors.receiveMessage[Command] {
case IsMemberFace(fid, replyTo) =>
log.step(s"CrmWorker: IsMemberFace($fid)")
implicit val client = mongoClient(mgoHosts)
maybeMgoClient = Some(client)
ctx.pipeToSelf(isMemberFace(fid)) {
case Success(mid) => {
if (mid._1.isEmpty) {
replyTo ! InvalidMember(mid._2)
Done(loc.shopid, loc.posid, s"IsMemberFace with Error ${mid._2}")
} else {
replyTo ! ValidMember(mid._1)
Done(loc.shopid, loc.posid, s"IsMemberFace.")
}
}
case Failure(err) =>
log.error(s"CrmWorker: IsMemberFace Error: ${err.getMessage}")
replyTo ! InvalidMember(err.getMessage)
Done(loc.shopid, loc.posid, s"IsMemberFace with error: ${err.getMessage}")
}
Behaviors.same
case GetMemberInfo(mid, replyTo) =>
log.step(s"CrmWorker: GetMemberInfo($mid)")
implicit val client = mongoClient(mgoHosts)
maybeMgoClient = Some(client)
ctx.pipeToSelf(getMemberInfo(mid)) {
case Success(json) => {
replyTo ! MemberInfo(json)
Done(loc.shopid, loc.posid, s"GetMemberInfo with json ${json}")
}
case Failure(err) =>
log.error(s"CrmWorker: GetMemberInfo Error: ${err.getMessage}")
replyTo ! InvalidMemberInfo(err.getMessage)
Done(loc.shopid, loc.posid, s"GetMemberInfo with error: ${err.getMessage}")
}
Behaviors.same
case Idle =>
// after receive timeout
shard ! ClusterSharding.Passivate(ctx.self)
Behaviors.same
case StopWorker =>
Behaviors.stopped(
() => log.step(s"CrmWorker: {$shopId,$posId} passivated to stop.")(MachineId(shopId, posId))
)
case Done(shopid, termid, work) =>
if (maybeMgoClient.isDefined)
maybeMgoClient.get.close()
log.step(s"CrmWorker: {$shopid,$termid} finished $work")(MachineId(shopid,termid))
Behaviors.same
case _ => Behaviors.same
}.receiveSignal {
case (_,PostStop) =>
log.step(s"CrmWorker: {$shopId,$posId} stopped.")(MachineId(shopId, posId))
Behaviors.same
}
}
}
// ).onFailure(SupervisorStrategy.restart) }
主要是使用ctx.pipeToSelf(work)把一个Future转换成内部消息。这里的work的实现最终必须返回Future类型,如下面的示范:
object CrmServices extends JsonConverter with LogSupport {
import MgoHelpers._
def validMember(docs: Seq[Document], faceid: String): Future[(String,String)] = {
val memberId: (String, String) = docs match {
case Nil => ("", s"faceid[$faceid]不存在!")
case docs =>
val member = MemberInfo.fromDocument(docs.head)
if (member.expireDt.compareTo(mgoDateTimeNow) < )
("", s"会员:${member.memberId}-${member.memberName}会籍已过期!")
else
(member.memberId, "")
}
FastFuture.successful(memberId)
}
def isMemberFace(faceid: String)(
implicit mgoClient: MongoClient, ec: ExecutionContext): Future[(String,String)] = { implicit val db = mgoClient.getDatabase(CrmModels.SCHEMA.DBNAME)
val col = db.getCollection(CrmModels.SCHEMA.MEMBERINFO)
val memberInfo: Future[Seq[Document]] = col.find(equal(SCHEMA.FACEID,faceid)).toFuture()
for {
mi <- memberInfo
(id,msg) <- validMember(mi,faceid)
} yield (id,msg)
} def getMemberInfo(memberid: String)(
implicit mgoClient: MongoClient, ec: ExecutionContext): Future[String] = {
implicit val db = mgoClient.getDatabase(CrmModels.SCHEMA.DBNAME)
val col = db.getCollection(CrmModels.SCHEMA.MEMBERINFO)
val memberInfo: Future[Seq[Document]] = col.find(equal(SCHEMA.MEMBERID,memberid)).toFuture()
for {
docs <- memberInfo
jstr <- FastFuture.successful(if(docs.isEmpty) "" else toJson(MemberInfo.fromDocument(docs.head)))
} yield jstr
} }
另外,由于每个用户第一次调用一项业务功能时akka-cluster-shardregion都会自动在某个节点上构建一个新的entity,如果上万个用户使用过某个功能,那么就会有万个entity及其所占用的资源如mongodb客户端等停留在内存里。所以在完成一项功能运算后应关闭entity,释放占用的资源。这个是通过shard ! ClusterSharding.passivate(ctx.self)实现的。
akka-typed(9) - 业务分片、整合,谈谈lagom, 需要吗?的更多相关文章
- Akka Typed 官方文档之随手记
️ 引言 近两年,一直在折腾用FP与OO共存的编程语言Scala,采取以函数式编程为主的方式,结合TDD和BDD的手段,采用Domain Driven Design的方法学,去构造DDDD应用(Dom ...
- Akka Typed系列:协议&行为
引言 2019年11月6号LightBend公司发布了AKKA 2.6版本,带来了类型安全的actor,新的Akka Cluster底层通信设施——Artery,带来了更好的稳定性,使用Jackson ...
- Akka源码分析-Akka Typed
对不起,akka typed 我是不准备进行源码分析的,首先这个库的API还没有release,所以会may change,也就意味着其概念和设计包括API都会修改,基本就没有再深入分析源码的意义了. ...
- RPA应用场景-公积金贷款业务数据整合和报送
场景概述 公积金贷款业务数据整合和报送 所涉系统名称 个贷系统.公积金管理系统 人工操作(时间/次) 0.5小时 所涉人工数量1000操作频率 每日 场景流程 1.机器人整理个人贷款信息.个人贷款账户 ...
- Lagom学习 六 Akka Stream
lagom中的stream 流数据处理是基于akka stream的,异步的处理流数据的.如下看代码: 流式service好处是: A: 并行: hellos.mapAsync(8, name -& ...
- 【整合篇】Activiti业务与流程的整合
对于不管是Activtit还是jbpm来说,业务与流程的整合均类似.启动流程是绑定业务.流程与业务的整合放到动态代理中 [java] view plain copy print" style ...
- akka 集群分片
akka 集群 Sharding分片 分片上下级结构 集群(多台节点机) —> 每台节点机(1个片区) —> 每个片区(多个分片) —> 每个分片(多个实体) 实体: 分片管理的 A ...
- Lagom 官方文档之随手记
引言 Lagom是出品Akka的Lightbend公司推出的一个微服务框架,目前最新版本为1.6.2.Lagom一词出自瑞典语,意为"适量". https://www.lagomf ...
- 简述在akka中发送消息的过程
在flink的数据传输过程中,有两类数据,一类数据是控制流数据,比如提交作业,比如连接jm,另一类数据是业务数据.flink对此采用了不同的传输机制,控制流数据的传输采用akka进行,业务类数据传输在 ...
随机推荐
- PHP 反序列化漏洞入门学习笔记
参考文章: PHP反序列化漏洞入门 easy_serialize_php wp 实战经验丨PHP反序列化漏洞总结 PHP Session 序列化及反序列化处理器设置使用不当带来的安全隐患 利用 pha ...
- ffmpeg播放器实现详解 - 视频显示
ffplay是ffmpeg源码中一个自带的开源播放器实例,同时支持本地视频文件的播放以及在线流媒体播放,功能非常强大. FFplay: FFplay is a very simple and port ...
- Ethical Hacking - Web Penetration Testing(7)
VULNS MITIGATION 1. File Upload Vulns - Only allow safe files to be updated. 2. Code Execution Vulns ...
- 【Python学习笔记五】re.findall()方法中,正则的"()"效果
在笔记四中,使用正则去筛选数据时,使用了findall()这个方法,在使用时正则表达式中使用了到了"()",最初以为只是强调执行优先级,后来发现正则表达式中的每一个(),在find ...
- 【Python学习笔记一】基础环境安装:idea+python
IDEA 安装 1.下载IDEA 官网下载地址: https://www.jetbrains.com/idea/ 2.安装的时候配置基本选择默认配置就行 参考链接:https://blog.csd ...
- [spring] -- 事务篇
关于Transactional注解 五个表示隔离级别的常量 TransactionDefinition.ISOLATION_DEFAULT:使用后端数据库默认的隔离级别,Mysql 默认采用的 REP ...
- Java中使用断言
由于断言在Java程序中用于开发和测试阶段,考虑到以后很有可能会用到,在此先记类一下. 在Java语言中,给出了3种处理系统错误的机制: 1.抛出一个异常 2.日志 3.使用断言 什么时候使用断言呢? ...
- 小白入门python新手教程python
python教程很多,但是需要自学教程更好一些,看自学python教程3遍,然后一步步操作,7天后就会有很大的收货. 要向数据处理方向走,数据处理需要网络爬虫的知识,且更加精进.下面是我从网上查找这方 ...
- python从放弃到放弃
本文目录 第一篇:python基础 第二篇:数据类型 第三篇:文件处理 第四篇:函数 第五篇:模块与包 第六篇:常用模块
- 萌新学渗透之Hack The Box_Beep
我将我的walkthrough过程用视频解说的形式记载 视频地址https://www.bilibili.com/video/BV1VT4y1j7dg 一是因为看我视频的后来者应该都是刚入门的新手,视 ...