重点特性

1. Clustering

0.7.0版本中支持了对Hudi表数据进行Clustering(对数据按照数据特征进行聚簇,以便优化文件大小和数据布局),Clustering提供了更灵活地方式增加文件大小,有了Clustering特性,便可更快速地摄取数据,然后聚簇为更大的文件,实验数据表明查询性能可以提升34倍,文件数可以减少1020倍;另外Clustering对于查询侧优化也很明显,在查询时通常会基于字段进行Clustering,通过完全跳过一些文件来极大提升查询性能,这与云数仓Snowflake提供的Clustering功能非常类似,我们非常高兴地宣称这个特性在0.7.0版本中完全开源免费。

想要了解更多Clustering细节,可以参考RFC-19,可以查阅这些配置来在你的数据管道中启用Clustering,现在Hudi支持同步和异步的Clustering模式。

2. Metadata表

Hudi项目始于Uber,开始是基于HDFS实现的数据湖,对于云上对象存储的数据湖性能不如HDFS。在0.7.0版本,我们解决了该问题,即支持了内部Metadata表,此表可存储索引数据,其他元数据信息等。

Metadata表的实现使用了Hudi MOR表,这意味着像其他任何Hudi表一样,可以被压缩(Compaction)、清理(Clean)、增量更新(incrementally updated)。 而且与其他项目中的类似实现不同,我们选择将文件列表等信息索引为HFile格式(格式可插拔),HFile提供了很好的点查性能,可以高效获取分区文件列表等信息。

在0.7.0版本中,在写入端配置hoodie.metadata.enable=true即可构建Metadata表,这样后续操作将不再调用fs.listStatus()接口,我们引入了一种同步机制来保证对数据timeline中进行的文件新增/删除操作都会同步到Metadata表。

测试有25W个文件的表,Metadata表相比使用Spark并发Listing要快2~3倍,更多设计细节可查阅RFC-15,其他Metadata表相关配置可参考这里,提供了参数以便在生产环境中安全使用该特性。

3. Flink/Java客户端

Hudi最开始设计时依赖Spark,但随着项目成为Apache顶级项目,我们意识到需要抽象内部表格式、表服务、写入层的代码以支持更多的引擎。在0.7.0版本,我们完成了写入层的解耦,添加了Flink和Java客户端,现在你可以使用HoodieFlinkStreamer来消费Kafka中的数据,以写入Hudi的COW表中。

4. 写入端优化

  • Spark3支持;0.7.0版本支持使用Spark3进行写入和查询,请注意使用scala 2.12版本的hudi-spark-bundle包
  • 并行Listing;我们已将所有List操作移至HoodieTableMetadata接口下,该接口可以多线程/Spark并行执行,该优化可以在未开启Metadata表时提升清理、压缩性能。
  • Kafka Commit Callbacks;0.7.0添加了HoodieWriteCommitKafkaCallback接口,当每次进行commit后可以向Kafka中发送事件,以此来触发派生/ETL数据管道,类似Apache Airflow中的Sensors
  • Insert Overwrite/Insert Overwrite Table;0.7.0版本中新增了这两种操作类型,主要用于批处理ETL作业,该作业通常会在每次运行时覆盖整个表/分区。考虑到这些操作可以批量替换目标表,因此这些操作比upsert更合适,请查看[示例](/docs/ quick-start-guide.html#insert-overwrite-table)。
  • 删除分区支持:对于使用WriteClient/RDD级别API的用户,Hudi提供了一个新的API来删除整个分区,而不是采用记录级别删除方式。
  • 新增DefaultHoodieRecordPayload解决乱序问题;当前默认的OverwriteWithLatestAvroPayload将覆盖存储中已有的值,即使使用较旧值进行upsert。0.7.0版本添加了一个新的DefaultHoodieRecordPayload和一个有效负载配置hoodie.payload.ordering.field来指定一个字段,可以将传入的upsert记录与已存储的记录进行比较,以决定是否覆盖。推荐用户使用这种更新、更灵活的Payload模型。
  • Hive同步;支持使用SlashEncodedHourPartitionValueExtractor同步小时分区至Hive中。
  • 支持IBM云对象存储、Open Java 9版本。

5. 查询端优化

  • MOR增量查询(Spark Datasource),0.7.0版本支持使用Spark datasource增量查询MOR表,在后续版本中会继续加强和重构该特性。
  • Metadata表支持File Listings,用户还可以将元数据表用于以下查询端,对于Hive,设置hoodie.metadata.enable = true会话

    属性,对于使用SparkSQL查询注册的Hive表,请使用参数--conf spark.hadoop.hoodie.metadata.enable = true来允许从元数据中获取分区的文件列表,而非使用File Listing。

贡献者

prashantwasonTrevor-zhangsatishkothanbalajeewangxianghuhddongnsivabalanxushiyancdmikechengaryli1019kwondwsreeram26chuangehhzhedoubushishimodi95linshan-maKarl-WangSKbvaradarliujinhui1994shenh062326xushiyanpratyakshsharmaafilipchikKaiuxlw309637554vinothchandardugenkui03leesfyanghuarmpiferhj2016guykhazmabhasudhahotienvun3nashv3nkateshpengzhiwei2018yui2010jshmchenxidanny0405yui2010lichang-bdnbalajeeumehrot2

Apache Hudi 0.7.0版本重磅发布的更多相关文章

  1. Apache Hudi 0.5.1版本重磅发布

    历经大约3个月时间,Apache Hudi 社区终于发布了0.5.1版本,这是Apache Hudi发布的第二个Apache版本,该版本中一些关键点如下 版本升级 将Spark版本从2.1.0升级到2 ...

  2. Apache Hudi 0.8.0版本重磅发布

    1. 重点特性 1.1 Flink集成 自从Hudi 0.7.0版本支持Flink写入后,Hudi社区又进一步完善了Flink和Hudi的集成.包括重新设计性能更好.扩展性更好.基于Flink状态索引 ...

  3. Apache Hudi 0.6.0版本重磅发布

    1. 下载信息 源码:Apache Hudi 0.6.0 Source Release (asc, sha512) 二进制Jar包:nexus 2. 迁移指南 如果您从0.5.3以前的版本迁移至0.6 ...

  4. Flutter 1.17版本重磅发布

    Flutter 1.17 是2020年的第一个稳定版本,此版本包括iOS平台Metal支持(性能更快),新的Material组件,新的Network跟踪工具等等! 对所有人来说,今年是充满挑战的一年. ...

  5. 重磅!Vertica集成Apache Hudi指南

    1. 摘要 本文演示了使用外部表集成 Vertica 和 Apache Hudi. 在演示中我们使用 Spark 上的 Apache Hudi 将数据摄取到 S3 中,并使用 Vertica 外部表访 ...

  6. 官宣!ASF官方正式宣布Apache Hudi成为顶级项目

    马萨诸塞州韦克菲尔德(Wakefield,MA)- 2020年6月 - Apache软件基金会(ASF).350多个开源项目和全职开发人员.管理人员和孵化器宣布:Apache Hudi正式成为Apac ...

  7. Apache Hudi C位!云计算一哥AWS EMR 2020年度回顾

    1. 概述 成千上万的客户在Amazon EMR上使用Apache Spark,Apache Hive,Apache HBase,Apache Flink,Apache Hudi和Presto运行大规 ...

  8. 真香!PySpark整合Apache Hudi实战

    1. 准备 Hudi支持Spark-2.x版本,你可以点击如下链接安装Spark,并使用pyspark启动 # pyspark export PYSPARK_PYTHON=$(which python ...

  9. Apache Hudi异步Compaction方式汇总

    本篇文章对执行异步Compaction的不同部署模型一探究竟. 1. Compaction 对于Merge-On-Read表,数据使用列式Parquet文件和行式Avro文件存储,更新被记录到增量文件 ...

随机推荐

  1. [LeetCode]652. Find Duplicate Subtrees找到重复树

    核心思想是:序列化树 序列化后,用String可以唯一的代表一棵树,其实就是前序遍历改造一下(空节点用符号表示): 一边序列化,一边用哈希表记录有没有重复的,如果有就添加,注意不能重复添加. 重点就是 ...

  2. C语言基础二维数组

    (1)二位数组的定义int array[n][m],行下标的取值范围是0~n-1,列下标的取值范围是0~m-1,二维数组最大下标元素是array[n-1][m-1]:如定义一个3行4列的数组 int ...

  3. PHP设计模式之代理模式

    代理模式定义 为其他对象提供一种代理,以控制对这个对象的访问.在某些情况下,一个对象不适合或者不能直接引用另一个对象,而代理对象可以在客户端和目标对象之间起到中介作用. 代理模式使用场景 当需要隐藏一 ...

  4. 实战Git命令(界面操作+命令行)

    先说明下公司的发版步骤,当需要开发一个新的功能,先从master分支中拉出一个自己的分支a(假设分支为a),在a分支开发功能完后,需要切换到dev分支,然后把自己的分支a合到dev分支,部署测试环境让 ...

  5. java的重载与重写

    原文链接http://zhhll.icu/2020/11/11/java%E5%9F%BA%E7%A1%80/%E9%9D%A2%E5%90%91%E5%AF%B9%E8%B1%A1/%E9%87%8 ...

  6. 利用GPU实现大规模动画角色的渲染(转)

    原文: https://www.cnblogs.com/murongxiaopifu/p/7250772.html 利用GPU实现大规模动画角色的渲染 0x00 前言 我想很多开发游戏的小伙伴都希望自 ...

  7. 操作系统-1w字关于内存的总结

    内存的基本概念 什么是内存,有何作用 内存是用于存放数据的硬件.程序执行前需要先放入内存中才能被CPU处理 存储单元 内存中也有一个一个的小房间,每个小房间就是一个存储单元. 如果计算机按照 字节编址 ...

  8. Tomcat-8.5.23 基于域名和端口的虚拟主机

    下载tomcat yum install java -y cd /opt/ wget http://mirror.bit.edu.cn/apache/tomcat/tomcat-8/v8.5.23/b ...

  9. 八:架构,搭建,WAF

    WAF防护分析 什么是WAF应用 如何快速识别WAF 识别WAF对于安全测试的意义 CMS识别技术 源码获取技术 架构信息获取 站点搭建分析 搭建习惯-目录型站点 sti.blcu-bbs 目录型站点 ...

  10. 浅谈Go中的time.After

    go的一条哲学是 不要通过共享来实现通信,而是通信来实现共享 多协程之间通过 channel 来实现通信,而普遍会遇到的问题是,如何进行超时控制,资料一查询,需要配置select和time.After ...