https://www.quora.com/What-is-the-difference-between-Spark-and-Presto…

大数据查询引擎的选型,画了几张架构图,和一些对比分析: 一.Presto 二.Impala 三.HAWQ 四.总体比较: 1)都是MPP架构,且没有明显性能差距2)HAWQ的功能.特性较Presto和Impala更全面,同时带来系统配置复杂,学习维护成本高的风险3)Presto与Impala都有各自明显的优势: 1,Presto可以通过Connector接入多种数据源,灵活性高,而Impala只支持有限的数据源类型2,Impala天然支持Coordinator高可用,Presto的Coordin…

Round One: 平局:共同点就是吃内存; Round Two: Impala胜 Impala查询性能稍领先于presto Round Three: presto胜 presto在数据源支持上非常丰富,包括hive.图数据库.传统关系型数据库.Redis等 Round Four: 平局: 这两种对hbase支持的都不好,presto 不支持,但是对hdfs.hive兼容性很好 彩蛋: 针对hbase的二级索引查询可以用phoenix,效果不错…

转行做数据相关的工作有近两年时间,除了具体技术,还有许多其它思考. 数据的价值 在涉及具体的技术前,先想一想为什么需要OLAP这样的系统,它有什么价值或者说在公司或部门这是不可取代的么? 可以带来哪些价值,是直接变现还是间接变现. 如果不能回答或回答不了,那么就是一个很大的问题,这其实意味着数据的质量存在问题.没有质量的数据,体量再大也毫无价值. 数据存储 假设已经有很好的oltp系统,那么oltp系统在数据量不大的情况下,继续扮演olap角色也还可以.一旦业务红火,那么oltp中的analyz…

Apache Hudi是一个开源数据湖管理平台,用于简化增量数据处理和数据管道开发,该平台可以有效地管理业务需求,例如数据生命周期,并提高数据质量.Hudi的一些常见用例是记录级的插入.更新和删除.简化文件管理和近乎实时的数据访问以及简化的CDC数据管道开发. 本期SOFTWARE DAILY我们有幸采访到了Apache Hudi项目VP Vinoth Chandar.Vinoth是Uber Hudi项目的创建者,他继续在Apache Software Foundation领导Hudi的发展.在…

  目标是为测试impala presto SparkSql谁的性能更佳,以下结果底层查询的都是普通textfile snappy压缩后数据,规模为15台机器,若以orcfile.parquet速度能快数倍 impala与presto性能相当,SparkSql逊色不少. 目前看presto相比impala 1.与hive实时共享元数据,impala需要用另外定时任务广播元数据,新生成的数据,用impala不能立即查询. 2.没有出现操作大数据集有时挂掉的情况 3.presto与hive都由fac…

一.presto动态化概述 近年来,基于hadoop的sql框架层出不穷,presto也是其中的一员.从2012年发展至今,依然保持年轻的活力(版本迭代依然很快),presto的相关介绍,我们就不赘述了,相信看官多对presto有或多或少的了解,详细的一些说明可以看官网(https://prestodb.io)的说明. presto自身功能和思想富有先进性,虽然由于是内存计算,稳定性方面还有很大提升空间,但整体依然在adhoc方面有很好的竞争力,我们本次介绍针对我们团队对于presto部分应用个…

本文来自网易云社区 原创: 蒋鸿翔 DataFunTalk 本文根据网易大数据蒋鸿翔老师DataFun Talk--"大数据从底层处理到数据驱动业务"中分享的<基于Impala平台打造交互查询系统>编辑整理而成,在未改变原意的基础上稍做整理. 以上是今天的内容大纲,第一个讲一下交互式查询的特点,在大数据平台有很多查询平台可以选择,第二个讲一下依据项目如何选择平台,选型因素是什么.第三个讲一下Impala基本介绍,以及在Impala上的改进.接下来是impala的应用场景,最…

spark笔记 spark简介 saprk 有六个核心组件: SparkCore.SparkSQL.SparkStreaming.StructedStreaming.MLlib,Graphx SparkCore 相当于Hadoop中的MapReduce,用于大规模离线批处理计算 SparkSQL 相当于Hive(稍微类似),用于交互式计算 注意: 1.交互式计算:用户界面中的查询条件进行过滤查询,然后交给SparkSQL进行处理,产生输出数据.速度比较快 2.交互式计算框架:Presto.Imp…

Spark--初识spark 一.Spark背景 1)MapReduce局限性 <1>仅支持Map和Reduce两种操作,提供给用户的只有这两种操作 <2>处理效率低效 Map中间结果写磁盘,Reduce写HDFS,多个MR之间通过HDFS交换数据 任务调度和启动开销大: mr的启动开销一,客户端需要把应用程序提交给resourcesManager,resourcesManager去选择节点去运行,快的话几秒钟,慢的话1分钟左右. 开销二,maptask和reducetask的启动…