impala presto SparkSql性能测试对比

 

目标是为测试impala presto SparkSql谁的性能更佳，以下结果底层查询的都是普通textfile snappy压缩后数据，规模为15台机器，若以orcfile、parquet速度能快数倍

impala与presto性能相当，SparkSql逊色不少。

目前看presto相比impala

1、与hive实时共享元数据，impala需要用另外定时任务广播元数据，新生成的数据，用impala不能立即查询。

2、没有出现操作大数据集有时挂掉的情况

3、presto与hive都由fackbook开源，兼容性应该会更好点

测试过程比较简单，分为四个场景sql查询：

 

查询id	查询语句	数据量(压缩前)
query1	select sum(pv) from d_op_behavior_host_text_snappy	35G
query2	select siteid,sum(pv) as pv1 from d_op_behavior_host_text_snappy  where pv>0  group by siteid order by pv1 desc limit 11;	35G
query3	select count(*) from dwd.d_ad_3rd_party_fancy_all_data where  thisdate='2015-11-10' and hour='17';	200G
query4	select count(*) from dwd.d_ad_impression where thisdate>='2015-09-01' and thisdate<='2015-10-31'

测试结果对比如下：

查询	工具	第一次执行时间	第二次执行时间
query1	impala	4.82s	5.56s
	presto	6s	5s
	sparkSql	13s	9s
query2	impala	12.79s	12s
	presto	15s	13s
	sparkSql	20s	23s
query3	impala	挂掉	挂掉
	presto	63s	58s
	sparkSql	88s	77s
query4	impala	131s	148s
	presto	136s	128s
	sparkSql	187s	188s