微软开源的Trill是什么?
微软开源的Trill是什么?
https://www.cnblogs.com/CattaC/p/10143445.html
微软开源的Trill是什么?
以下是一篇15年的文章的译文:https://dwainegilmer.wordpress.com/2015/01/28/microsoft-trill-for-streaming-analytics-from-microsoft-research/
当今许多大数据应用程序套件的重点是数据存储。它们是围绕狭窄范围的数据集设想和设计的,通常是为了组织内的特定业务功能使用。
对新数据源的不断增加的需求使得许多BI应用程序在短短几年内就过时了。令人遗憾的是,对于许多公司而言,他们的大数据战略是存储数据,直到其实际业务价值可以在未来某个时间解锁。
在这些快节奏的时代,大多数企业迫切需要是实时的处理数据,而不是仅仅存储数据并应用一组工具进行滞后的离线分析。Trill则可以从数据中实时提取可用的知识和分析结果。基于实时的当前信息对决策提供可靠的支持和制定。这最终将改善整个决策过程。
流分析应用程序在数据到达时就可以开始搜索分析数据。而不是通过查询数据库以拉取数据信息流来进行分析,将常设查询应用于在捕获数据时产生事件(推送)的数据流。
与传统关系型数据库比较。SQL Server旨在存储和管理静态数据,Trill则旨在分析动态数据。基于Trill构建的应用程序将流传递给一组查询,这些查询分析数据并在找到匹配项时触发事件完成实时结果推送。
在大数据的新时代,公司正在竞相推出大数据系统。这些系统本质上是用于检查,转换,存储和建模业务数据的第一代紧耦合平台。Microsoft Trill(每天万亿事件)是Data Analytics层的一部分。
可以在Microsoft.com上可以找到介绍Trill的Microsoft Research(MSR)研究论文 。 Microsoft Trill是用于分析的流分析引擎或查询处理器。Trill被设计为大数据的查询处理器,有三个要求:
1) 查询模型:使用早期结果实时处理流式和关系查询,并提供离线查询;
2) 结构和语言集成:提供从高级语言库轻松访问,以便与现有分发结构和应用程序集成;
3) 性能:低延迟和高吞吐量。
与Apache Storm,Microsoft SQL StreamInsight,Vertica Shark和Naiad Spark流相比,Trill具有许多优势。Trill也将取代微软的StreamInsight。下面是Microsoft的图表,说明了差异并比较了功能集。
Trill具有时间语义化查询的能力,允许用户“通过实时或离线数据集的方式进行复杂查询”,并且由于分析引擎“在预期的使用场景中具有高性能”,因此可以比以前更快地获得结果。
Trill使用批量处理事件的新技术和算法。并且,这些批次中的数据以一种促使查询更有效地方式执行与组织。
结论
事实上,我们目前的总存储容量能提供的能力远远落后于存储新的和变化的数据流不断增长的需求。此种情况下很快就会引发以处理数据和流分析为处理方式的转变。
额外的阅读资料:
您可以从以下出版物中了解有关Trill的更多信息,或者从我们的幻灯片中了解更多信息pdf | pptx。
Trill现在是开源的,可以在GitHub上找到!
您可以在此处通过NuGet安装Trill二进制文件。
此处提供了 Trill源
可以在此处下载用于演示Trill使用的示例。
可以在此处浏览Trill API文档。
可以在此处找到阐述Trill的论文。
微软开源的Trill是什么?的更多相关文章
- 社区活动分享PPT:使用微软开源技术开发微服务
上周六在成都中生代技术社区线下活动进行了一个名为"微软爱开源-使用微软开源技术开发微服务"的技术分享. 也算是给很多不熟悉微软开源技术的朋友普及一下微软最近几年在开源方面所做的努力 ...
- 资深人士剖析微软开源.NET事件:战略重心已经从PC转移到云端
本文是雷锋网对我的访谈整理的文章,源地址是 http://www.leiphone.com/news/201411/6KaGhD7PDABnvrRf.html 2014年11月13日,微软表示开源.N ...
- K & DN 的前世今生(微软开源命名变革)
一个非常有意思的 Issue:Can we rename K? 在这个 Issue 中,有大量的社区开发者讨论了微软开源命名问题,主要是 K 如何进行替换掉?看来大伙都对微软项目命名有歧义,首先,再次 ...
- Winjs – 微软开源技术发布的 JavaScript 组件集
Winjs 是由微软开源技术的开发者推出的一组 JavaScript 组件,包括 ListView.ListView.Tooltip.DatePicker.Ratings 等等,帮助 Web 开发人员 ...
- 微软开源自动机器学习工具NNI安装与使用
微软开源自动机器学习工具 – NNI安装与使用 在机器学习建模时,除了准备数据,最耗时耗力的就是尝试各种超参组合,找到最佳模型的过程了.对于初学者来说,常常是无从下手.即使是对于有经验的算法工程师 ...
- 【重磅】微软开源自动机器学习工具 - NNI
[重磅]微软开源自动机器学习工具 - NNI 在机器学习建模时,除了准备数据,最耗时耗力的就是尝试各种超参组合,找到模型最佳效果的过程了.即使是对于有经验的算法工程师和数据科学家,有时候也很难把握其中 ...
- 【干货】快速部署微软开源GPU管理利器: OpenPAI
[干货]快速部署微软开源GPU管理利器: OpenPAI 介绍 不管是机器学习的老手,还是入门的新人,都应该装备上尽可能强大的算力.除此之外,还要压榨出硬件的所有潜力来加快模型训练.OpenPAI作为 ...
- 微软开源大规模数据处理项目 Data Accelerator
微软开源了一个原为内部使用的大规模数据处理项目 Data Accelerator.自 2017 年开发以来,该项目已经大规模应用在各种微软产品工作管道上. 据微软官方开源博客介绍,Data Accel ...
- ethr 微软开源的tcp udp http 网络性能测试工具
ethr 是微软开源的tcp udp http 网络性能测试工具包包含的server 以及 client 我们可以远程测试 同时对于https icmp 的支持也在开发中,tcp 协议支持连接.带宽. ...
随机推荐
- dp 动态规划 之C - Apple Catching 简单基础
终于开始写dp了,还很不熟练 It is a little known fact that cows love apples. Farmer John has two apple trees (whi ...
- Spring Cloud构建微服务架构 - 服务网关
通过之前几篇Spring Cloud中几个核心组件的介绍,我们已经可以构建一个简略的(不够完善)微服务架构了.比如下图所示: alt 我们使用Spring Cloud Netflix中的Eureka实 ...
- WebService之nginx+(php-fpm)结构模型剖析及优化
随着php脚本语言使用的普及,目前webserice服务大部分都在用nginx+(php-fpm)的结构,了解了其工作过程后才可以在各个方面想办法做调整优化和故障排查,从以下几点总结一下这种模型. 一 ...
- 在Windows中安装PostgreSQL
在Windows中安装PostgreSQL 虽然PostgreSQL是为类UNIX平台开发的,但它却是可以移植的.从7.1版本开始,PostgreSQL可以编译安装和作为一个PostgreSQL服务器 ...
- elasticsearch6.1 安装问题
问题:Caused by: java.lang.RuntimeException: can not run elasticsearch as root [root@localhost logs]# a ...
- 更换apt-get官方源为163源
更换apt-get官方源为163源 1.# mv /etc/apt/sources.list /etc/apt/sources.list.bak 2.覆盖原来源文件 tee /etc/apt/sour ...
- LeetCode112:Path Sum
正常写法 bool HasPathSum(TreeNode root, int sum) { bool ret=false; if(root==null)return false; if(root.l ...
- EF Core中DbContext可以被Dispose多次
我们知道,在EF Core中DbContext用完后要记得调用Dispose方法释放资源.但是其实DbContext可以多次调用Dispose方法,虽然只有第一次Dispose会起作用,但是DbCon ...
- 重装系统之无法在驱动器0的分区1上安装windows
在通过U盘或光盘安装win8/win8.1/win10 时,遇到无法安装的问题,提示“无法在驱动器0的分区1上安装windows”,格式化分区也不能解决,进而提示Windows无法安装到这个磁盘,选中 ...
- 【转】ORA-00257:archiver error. 错误的处理方法
出现这个问题的原因一般是日志满了.这里以用户tt为例: 一.用sys用户登录 sqlplus sys/pass@tt as sysdba 二.看看archiv log所在位置 SQL> show ...