我们知道,在集群环境节点之间进行交换的数据必须经过序列化/反序列化处理过程,而在这方面protobuf是一个比较高效.易用的模式.用户首先在.proto文件中用IDL来定义系统中各种需要进行交换的数据类型.然后用protoc编译器自动产生相关的源代码,里面包括了完整的序列化处理函数.在一个集成的系统环境内,protobuf数据必须保持与所有系统的松散耦合,不能对这些用户系统有任何依赖.这样把protobuf数据类型和相关的序列化/反序列化函数打成一个独立的包,由用户系统各自引用就是一种最佳解决方…

配置中央仓库 vim ~/.sbt/repositories [repositories] local osc: http://maven.oschina.net/content/groups/public/ typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[…

修改 sbtopts for shell # zkk -sbt-dir D:/DATA/.sbt -sbt-boot D:/DATA/.sbt/boot -ivy D:/DATA/.ivy2 修改 sbtconfig.txt for windows ## zkk -Dsbt.boot.directory=D:/DATA/.sbt/boot -Dsbt.ivy.home=D:/DATA/.ivy2 -Dsbt.directory=D:/DATA/.sbt 创建镜像代理 #D:\DATA\.sbt\…

参考资料:1.英文官方文档2.中文官方文档,内容翻译的不全 SBT是类似maven和gradle的自动构建和包依赖管理工具,SBT是Scala技术体系下的包管理工具,都是Lightbend公司开发的,官方文档并没有介绍SBT的特点,文档中自称相对于maven和gradle有更少的概念但是如果不看文档将会遇到一些细节问题.个人的感受是,SBT类似scala技术体系的特点,就是设计思路上有一种发烧友的那种设计者自己觉得很酷但是我却感觉华而不实的那种烦躁.本文的目的是编写一个SBT的实操项目,你不必需…

Scala Macros对scala函数库编程人员来说是一项不可或缺的编程工具,可以通过它来解决一些用普通编程或者类层次编程(type level programming)都无法解决的问题,这是因为Scala Macros可以直接对程序进行修改.Scala Macros的工作原理是在程序编译时按照编程人员的意旨对一段程序进行修改产生出一段新的程序.具体过程是:当编译器在对程序进行类型验证(typecheck)时如果发现Macro标记就会将这个Macro的功能实现程序(implementation…

在MacOs上配置hadoop和spark环境 Setting up Hadoop with Spark on MacOs Instructions 准备环境 如果没有brew,先google怎样安装brew 先uninstall老版本的Hadoop brew cleanup hadoop 然后更新homebrew formulae brew update brew upgrade brew cleanup 检查版本信息 brew info hadoop brew info apache-spa…

貌似非常多小伙伴都不能成功打包,共享下之前打包的文件: http://pan.baidu.com/s/1sjkE37J ======== kafka自己竟然没有还一个Web管理界面.. 这里有个第三方的: https://github.com/claudemamo/kafka-web-console 坑爹的是竟然没有具体的安装步骤.仅仅有一些简单的说明,对于不熟悉scala play开发的人来说.非常蛋疼.以下记录具体的安装过程. 先下载安装scala的构建工具sbt,最新版本号能够到官网查看:…

FunDA设计的主要目的是解决FRM(Functional Relation Mapping)如Slick这样的批次型操作工具库数据源行间游动操作的缺失问题.FRM产生的结果集就是一种静态集合,缺乏动态更新操作方式.FunDA提出的解决方案是把FRM产生的静态集合转变成动态流(stream),流内元素代表数据行(data row),一个完整的数据流代表一连串的数据行.用户可以利用数据流和FunDA提供的函数组件在数据流中游动进行数据更新操作.FunDA的数据流只支持单向游动(fda_next),…

sbt设置jboss-interceptor-api-1.1作为依赖,但是找不到 [info] Resolving org.jboss.interceptor#jboss-interceptor-api;1.1 ... [info] Resolving org.jboss.interceptor#jboss-interceptor-api;1.1 ... [warn] problem while downloading module descriptor: https://repo1.maven…

本文翻译自官网:SQL Client Beta  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/sqlClient.html Flink Table Api & SQL 翻译目录 Flink的Table&SQL API使使用SQL语言编写的查询成为可能,但是这些查询需要嵌入用Java或Scala编写的表程序中. 此外,在将这些程序提交给集群之前,需要将它们与构建工具打包在一起. 这或多或少地将Fl…