数据是当今分析世界的宝贵资产。在向最终用户提供数据时，跟踪数据在一段时间内的变化非常重要。渐变维度 (SCD) 是随时间推移存储和管理当前和历史数据的维度。在 SCD 的类型中，我们将特别关注类型 2（SCD 2），它保留了值的完整历史。每条记录都包含有效时间和到期时间，以标识记录处于活动状态的时间段。这可以通过少数审计列来实现。例如：生效开始日期、生效结束日期和活动记录指示器。

让我们了解如何使用 Apache Hudi 来实现这种 SCD-2 表设计。

Apache Hudi 是下一代流数据湖平台。 Apache Hudi 将核心仓库和数据库功能直接引入数据湖。 Hudi 提供表、事务、高效的 upserts/deletes、高级索引、流式摄取服务、数据Clustering/压缩优化和并发性，同时将数据保持为开源文件格式。

Apache Hudi 默认显示表中的快照数据，即最近提交的最新数据。如果我们想跟踪历史变化，我们需要利用 Hudi 的时间点查询（https://hudi.apache.org/docs/quick-start-guide#point-in-time-query）

Hudi 允许通过时间点查询旧版本数据或最新数据和时间旅行，通过时间点查询遍历历史数据变化是不高效的，需要对给定数据进行多次时间间隔分析。

让我们看看如何通过使用经典方法的解决方法来克服这个问题。

让我们考虑一个包含产品详细信息和卖家折扣的表。

+---------+--------------+---------------+---------------+-------------------+-------------------+-------------------+--------+

|seller_id|prod_category |product_name   |product_package|discount_percentage|eff_start_ts       |eff_end_ts         |actv_ind|

+---------+--------------+---------------+---------------+-------------------+-------------------+-------------------+--------+

|3412     |Healthcare    |Dolo 650       |10             |10                 |2022-04-01 16:30:45|9999-12-31 23:59:59|1       |

|1234     |Detergent     |Tide 2L        |6              |15                 |2021-12-15 15:20:30|9999-12-31 23:59:59|1       |

|1234     |Home Essential|Hand Towel     |12             |20                 |2021-10-20 06:55:22|9999-12-31 23:59:59|1       |

|4565     |Gourmet       |Dairy Milk Silk|6              |30                 |2021-06-12 20:30:40|9999-12-31 23:59:59|1       |

+---------+--------------+---------------+---------------+-------------------+-------------------+-------------------+--------+

步骤

让我们使用 Spark 将这些数据写入 Hudi 表中

spark-shell \

--packages org.apache.hudi:hudi-spark-bundle_2.12:0.11.1,org.apache.spark:spark-avro_2.12:2.4.7,org.apache.avro:avro:1.8.2 \

--conf "spark.serializer=org.apache.spark.serializer.KryoSerializer" \

--conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension' \

--conf "spark.sql.hive.convertMetastoreParquet=false"

启动 spark shell 后，我们可以导入库，并创建 Hudi 表，如下所示。

Welcome to

      ____              __

     / __/__  ___ _____/ /__

    _\ \/ _ \/ _ `/ __/  '_/

   /___/ .__/\_,_/_/ /_/\_\   version 2.4.8

      /_/

Using Scala version 2.12.10 (OpenJDK 64-Bit Server VM, Java 1.8.0_312)

Type in expressions to have them evaluated.

Type :help for more information.

scala> spark.sql("""create table hudi_product_catalog (

     | seller_id int,

     | prod_category string,

     | product_name string,

     | product_package string,

     | discount_percentage string,

     | eff_start_ts timestamp,

     | eff_end_ts timestamp,

     | actv_ind int

     |  ) using hudi

     | tblproperties (

     |   type = 'cow',

     |   primaryKey = 'seller_id,prod_category,eff_end_ts',

     |   preCombineField = 'eff_start_ts'

     |  )

     | partitioned by (actv_ind)

     |  location 'gs://target_bucket/hudi_product_catalog/'""")

将数据写入到存储桶后，如下是 Hudi 目标表的数据格式。

+-------------------+---------------------+-------------------------------------------------------------------------+----------------------+--------------------------------------------------------------------------+---------+--------------+---------------+---------------+-------------------+-------------------+-------------------+--------+

|_hoodie_commit_time|_hoodie_commit_seqno |_hoodie_record_key                                                       |_hoodie_partition_path|_hoodie_file_name                                                         |seller_id|prod_category |product_name   |product_package|discount_percentage|eff_start_ts       |eff_end_ts         |actv_ind|

+-------------------+---------------------+-------------------------------------------------------------------------+----------------------+--------------------------------------------------------------------------+---------+--------------+---------------+---------------+-------------------+-------------------+-------------------+--------+

|20220722113258101  |20220722113258101_0_0|seller_id:3412,prod_category:Healthcare,eff_end_ts:253402300799000000    |actv_ind=1            |a94c9c58-ac6b-4841-a734-8ef1580e2547-0_0-29-1219_20220722113258101.parquet|3412     |Healthcare    |Dolo 650       |10             |10                 |2022-04-01 16:30:45|9999-12-31 23:59:59|1       |

|20220722113258101  |20220722113258101_0_1|seller_id:1234,prod_category:Home Essential,eff_end_ts:253402300799000000|actv_ind=1            |a94c9c58-ac6b-4841-a734-8ef1580e2547-0_0-29-1219_20220722113258101.parquet|1234     |Home Essential|Hand Towel     |12             |20                 |2021-10-20 06:55:22|9999-12-31 23:59:59|1       |

|20220722113258101  |20220722113258101_0_2|seller_id:4565,prod_category:Gourmet,eff_end_ts:253402300799000000       |actv_ind=1            |a94c9c58-ac6b-4841-a734-8ef1580e2547-0_0-29-1219_20220722113258101.parquet|4565     |Gourmet       |Dairy Milk Silk|6              |30                 |2021-06-12 20:30:40|9999-12-31 23:59:59|1       |

|20220722113258101  |20220722113258101_0_3|seller_id:1234,prod_category:Detergent,eff_end_ts:253402300799000000     |actv_ind=1            |a94c9c58-ac6b-4841-a734-8ef1580e2547-0_0-29-1219_20220722113258101.parquet|1234     |Detergent     |Tide 2L        |6              |15                 |2021-12-15 15:20:30|9999-12-31 23:59:59|1       |

+-------------------+---------------------+-------------------------------------------------------------------------+----------------------+--------------------------------------------------------------------------+---------+--------------+---------------+---------------+-------------------+-------------------+-------------------+--------+

2.假设我们的增量数据存储在下表中（非Hudi格式，可以是Hive）。

+---------+-------------+-----------------+---------------+-------------------+-------------------+

|seller_id|prod_category|product_name     |product_package|discount_percentage|eff_start_ts       |

+---------+-------------+-----------------+---------------+-------------------+-------------------+

|1234     |Detergent    |Tide 5L          |6              |25                 |2022-01-31 10:00:30|

|4565     |Gourmet      |Dairy Milk Almond|12             |45                 |2022-06-12 20:30:40|

|3345     |Stationary   |Sticky Notes     |4              |12                 |2022-07-09 21:30:45|

+---------+-------------+-----------------+---------------+-------------------+-------------------+

现在让我们通过对目标表进行Left Anti Join过滤掉增量表中的所有 Insert only 记录。

val updFileDf = spark.read.option("header",true).csv("gs://target_bucket/hudi_product_catalog/hudi_product_update.csv")

val tgtHudiDf = spark.sql("select * from hudi_product_catalog")

hudiTableData.createOrReplaceTempView("hudiTable")

//Cast as needed

val stgDf = updFileDf.withColumn("eff_start_ts",to_timestamp(col("eff_start_ts")))

.withColumn("seller_id",col("seller_id").cast("int"))

//Prepare an insert DF from incremental temp DF

val instmpDf = stgDf.as("stg")

      .join(tgtHudiDf.as("tgt"),

        col("stg.seller_id") === col("tgt.seller_id") &&

          col("stg.prod_category") === col("tgt.prod_category"),"left_anti")

.select("stg.*")

val insDf = instmpDf.withColumn("eff_end_ts",to_timestamp(lit("9999-12-31 23:59:59")))

.withColumn("actv_ind",lit(1))

insDf.show(false)

+---------+-------------+------------+---------------+-------------------+-------------------+-------------------+--------+

|seller_id|prod_category|product_name|product_package|discount_percentage|       eff_start_ts|         eff_end_ts|actv_ind|

+---------+-------------+------------+---------------+-------------------+-------------------+-------------------+--------+

|     3345|   Stationary|Sticky Notes|              4|                 12|2022-07-09 21:30:45|9999-12-31 23:59:59|       1|

+---------+-------------+------------+---------------+-------------------+-------------------+-------------------+--------+

我们有一个只插入记录的DataFrame。接下来让我们创建一个DataFrame，其中将包含来自 delta 表和目标表的属性，并在目标上使用内连接，它将获取需要更新的记录。

//Prepare an update DF from incremental temp DF, select columns from both the tables

val updDf = stgDf.as("stg")

      .join(tgtHudiDf.as("tgt"),

        col("stg.seller_id") === col("tgt.seller_id") &&

          col("stg.prod_category") === col("tgt.prod_category"),"inner")

          .where(col("stg.eff_start_ts") > col("tgt.eff_start_ts"))

.select((stgDf.columns.map(c => stgDf(c).as(s"stg_$c"))++ tgtHudiDf.columns.map(c => tgtHudiDf(c).as(s"tgt_$c"))):_*)

updDf.show(false)

+-------------+-----------------+-----------------+-------------------+-----------------------+-------------------+-----------------------+------------------------+----------------------+--------------------------+---------------------+-------------+-----------------+----------------+-------------------+-----------------------+-------------------+-------------------+------------+

|stg_seller_id|stg_prod_category| stg_product_name|stg_product_package|stg_discount_percentage|   stg_eff_start_ts|tgt__hoodie_commit_time|tgt__hoodie_commit_seqno|tgt__hoodie_record_key|tgt__hoodie_partition_path|tgt__hoodie_file_name|tgt_seller_id|tgt_prod_category|tgt_product_name|tgt_product_package|tgt_discount_percentage|   tgt_eff_start_ts|     tgt_eff_end_ts|tgt_actv_ind|

+-------------+-----------------+-----------------+-------------------+-----------------------+-------------------+-----------------------+------------------------+----------------------+--------------------------+---------------------+-------------+-----------------+----------------+-------------------+-----------------------+-------------------+-------------------+------------+

|         1234|        Detergent|          Tide 5L|                  6|                     25|2022-01-31 10:00:30|      20220710113622931|    20220710113622931...|  seller_id:1234,pr...|                actv_ind=1| 2dd6109f-2173-429...|         1234|        Detergent|         Tide 2L|                  6|                     15|2021-12-15 15:20:30|9999-12-31 23:59:59|           1|

|         4565|          Gourmet|Dairy Milk Almond|                 12|                     45|2022-06-12 20:30:40|      20220710113622931|    20220710113622931...|  seller_id:4565,pr...|                actv_ind=1| 2dd6109f-2173-429...|         4565|          Gourmet| Dairy Milk Silk|                  6|                     30|2021-06-12 20:30:40|9999-12-31 23:59:59|           1|

+-------------+-----------------+-----------------+-------------------+-----------------------+-------------------+-----------------------+------------------------+----------------------+--------------------------+---------------------+-------------+-----------------+----------------+-------------------+-----------------------+-------------------+-------------------+------------+

现在我们有一个DataFrame，它在一条记录中包含新旧数据，让我们在各自单独的DataFrame中拉取更新记录的活动和非活动实例。

在进行上述练习时，我们将通过更改活动（新）记录的 eff_end_tsto eff_start_ts -1 并更新 actv_ind = 0 来废弃非活动记录

//Prepare Active updates

val updActiveDf = updDf.select(col("stg_seller_id").as("seller_id"),

col("stg_prod_category").as("prod_category"),

col("stg_product_name").as("product_name"),

col("stg_product_package").as("product_package"),

col("stg_discount_percentage").as("discount_percentage"),

col("stg_eff_start_ts").as("eff_start_ts"),

to_timestamp(lit("9999-12-31 23:59:59")) as ("eff_end_ts"),

lit(1) as ("actv_ind"))

updActiveDf.show(false)

+---------+-------------+-----------------+---------------+-------------------+-------------------+-------------------+--------+

|seller_id|prod_category|product_name     |product_package|discount_percentage|eff_start_ts       |eff_end_ts         |actv_ind|

+---------+-------------+-----------------+---------------+-------------------+-------------------+-------------------+--------+

|1234     |Detergent    |Tide 5L          |6              |25                 |2022-01-31 10:00:30|9999-12-31 23:59:59|1       |

|4565     |Gourmet      |Dairy Milk Almond|12             |45                 |2022-06-12 20:30:40|9999-12-31 23:59:59|1       |

+---------+-------------+-----------------+---------------+-------------------+-------------------+-------------------+--------+

//Prepare inactive updates, which will become obsolete records

val updInactiveDf = updDf.select(col("tgt_seller_id").as("seller_id"),

col("tgt_prod_category").as("prod_category"),

col("tgt_product_name").as("product_name"),

col("tgt_product_package").as("product_package"),

col("tgt_discount_percentage").as("discount_percentage"),

col("tgt_eff_start_ts").as("eff_start_ts"),

(col("stg_eff_start_ts") - expr("interval 1 seconds")).as("eff_end_ts"),

lit(0) as ("actv_ind"))

scala> updInactiveDf.show

+---------+-------------+---------------+---------------+-------------------+-------------------+-------------------+--------+

|seller_id|prod_category|   product_name|product_package|discount_percentage|       eff_start_ts|         eff_end_ts|actv_ind|

+---------+-------------+---------------+---------------+-------------------+-------------------+-------------------+--------+

|     1234|    Detergent|        Tide 2L|              6|                 15|2021-12-15 15:20:30|2022-01-31 10:00:29|       0|

|     4565|      Gourmet|Dairy Milk Silk|              6|                 30|2021-06-12 20:30:40|2022-06-12 20:30:39|       0|

+---------+-------------+---------------+---------------+-------------------+-------------------+-------------------+--------+

现在我们将使用union运算符将插入、活动更新和非活动更新拉入单个DataFrame。将此DataFrame作为最终 Hudi 写入逻辑的增量源。

scala> val upsertDf = insDf.union(updActiveDf).union(updInactiveDf)

scala> upsertDf.show

+---------+-------------+-----------------+---------------+-------------------+-------------------+-------------------+--------+

|seller_id|prod_category|     product_name|product_package|discount_percentage|       eff_start_ts|         eff_end_ts|actv_ind|

+---------+-------------+-----------------+---------------+-------------------+-------------------+-------------------+--------+

|     3345|   Stationary|     Sticky Notes|              4|                 12|2022-07-09 21:30:45|9999-12-31 23:59:59|       1|

|     4565|      Gourmet|Dairy Milk Almond|             12|                 45|2022-06-12 20:30:40|9999-12-31 23:59:59|       1|

|     1234|    Detergent|          Tide 5L|              6|                 25|2022-01-31 10:00:30|9999-12-31 23:59:59|       1|

|     4565|      Gourmet|  Dairy Milk Silk|              6|                 30|2021-06-12 20:30:40|2022-06-12 20:30:39|       0|

|     1234|    Detergent|          Tide 2L|              6|                 15|2021-12-15 15:20:30|2022-01-31 10:00:29|       0|

+---------+-------------+-----------------+---------------+-------------------+-------------------+-------------------+--------+

val path = "gs://target_bucket/hudi_product_catalog"

upsertDf.write.format("org.apache.hudi")

.option(TABLE_TYPE_OPT_KEY, "COPY_ON_WRITE")

.option("hoodie.datasource.write.keygenerator.class","org.apache.hudi.keygen.ComplexKeyGenerator")

.option(RECORDKEY_FIELD_OPT_KEY, "seller_id,prod_category,eff_end_ts")

.option(PRECOMBINE_FIELD_OPT_KEY, "eff_start_ts")

.option("hoodie.table.name","hudi_product_catalog")

.option(DataSourceWriteOptions.HIVE_DATABASE_OPT_KEY, "target_schema")

.option(DataSourceWriteOptions.HIVE_TABLE_OPT_KEY, "hudi_product_catalog")

.option(OPERATION_OPT_KEY, UPSERT_OPERATION_OPT_VAL)

.option(DataSourceWriteOptions.HIVE_STYLE_PARTITIONING_OPT_KEY, "true")

.option(PARTITIONPATH_FIELD_OPT_KEY, "actv_ind")

.mode(Append)

.save(s"$path")

scala> spark.sql("refresh table stg_wmt_ww_fin_rtn_mb_dl_secure.hudi_product_catalog")

scala> spark.sql("select * from stg_wmt_ww_fin_rtn_mb_dl_secure.hudi_product_catalog").show(false)

+-------------------+---------------------+-------------------------------------------------------------------------+----------------------+--------------------------------------------------------------------------+---------+--------------+-----------------+---------------+-------------------+-------------------+-------------------+--------+

|_hoodie_commit_time|_hoodie_commit_seqno |_hoodie_record_key                                                       |_hoodie_partition_path|_hoodie_file_name                                                         |seller_id|prod_category |product_name     |product_package|discount_percentage|eff_start_ts       |eff_end_ts         |actv_ind|

+-------------------+---------------------+-------------------------------------------------------------------------+----------------------+--------------------------------------------------------------------------+---------+--------------+-----------------+---------------+-------------------+-------------------+-------------------+--------+

|20220722113258101  |20220722113258101_0_0|seller_id:3412,prod_category:Healthcare,eff_end_ts:253402300799000000    |actv_ind=1            |a94c9c58-ac6b-4841-a734-8ef1580e2547-0_0-72-2451_20220722114049500.parquet|3412     |Healthcare    |Dolo 650         |10             |10                 |2022-04-01 16:30:45|9999-12-31 23:59:59|1       |

|20220722113258101  |20220722113258101_0_1|seller_id:1234,prod_category:Home Essential,eff_end_ts:253402300799000000|actv_ind=1            |a94c9c58-ac6b-4841-a734-8ef1580e2547-0_0-72-2451_20220722114049500.parquet|1234     |Home Essential|Hand Towel       |12             |20                 |2021-10-20 06:55:22|9999-12-31 23:59:59|1       |

|20220722114049500  |20220722114049500_0_2|seller_id:4565,prod_category:Gourmet,eff_end_ts:253402300799000000       |actv_ind=1            |a94c9c58-ac6b-4841-a734-8ef1580e2547-0_0-72-2451_20220722114049500.parquet|4565     |Gourmet       |Dairy Milk Almond|12             |45                 |2022-06-12 20:30:40|9999-12-31 23:59:59|1       |

|20220722114049500  |20220722114049500_0_3|seller_id:1234,prod_category:Detergent,eff_end_ts:253402300799000000     |actv_ind=1            |a94c9c58-ac6b-4841-a734-8ef1580e2547-0_0-72-2451_20220722114049500.parquet|1234     |Detergent     |Tide 5L          |6              |25                 |2022-01-31 10:00:30|9999-12-31 23:59:59|1       |

|20220722114049500  |20220722114049500_0_4|seller_id:3345,prod_category:Stationary,eff_end_ts:253402300799000000    |actv_ind=1            |a94c9c58-ac6b-4841-a734-8ef1580e2547-0_0-72-2451_20220722114049500.parquet|3345     |Stationary    |Sticky Notes     |4              |12                 |2022-07-09 21:30:45|9999-12-31 23:59:59|1       |

|20220722114049500  |20220722114049500_1_0|seller_id:4565,prod_category:Gourmet,eff_end_ts:1655065839000000         |actv_ind=0            |789e0317-d499-4d74-a5d9-ad6e6517d6b8-0_1-72-2452_20220722114049500.parquet|4565     |Gourmet       |Dairy Milk Silk  |6              |30                 |2021-06-12 20:30:40|2022-06-12 20:30:39|0       |

|20220722114049500  |20220722114049500_1_1|seller_id:1234,prod_category:Detergent,eff_end_ts:1643623229000000       |actv_ind=0            |789e0317-d499-4d74-a5d9-ad6e6517d6b8-0_1-72-2452_20220722114049500.parquet|1234     |Detergent     |Tide 2L          |6              |15                 |2021-12-15 15:20:30|2022-01-31 10:00:29|0       |

+-------------------+---------------------+-------------------------------------------------------------------------+----------------------+--------------------------------------------------------------------------+---------+--------------+-----------------+---------------+-------------------+-------------------+-------------------+--------+

实施过程中需要考虑的几点

对于现有记录的每次更新，parquet 文件将在存储中重新写入/移动，这可能会影响写入时的性能
在查询数据期间，根据代表主要过滤器的属性对目标表进行分区总是一个更好的主意。例如：销售表中的销售日期，注册产品目录的卖家。上述示例中选择了 actv_ind ，因为我们希望使其易于解释并将所有活动记录保存在一个分区中。

结论

随着我们持续使用 Apache Hudi 编写 Spark 应用程序，我们将继续改进加载数据的策略，上述尝试只是用 Hudi 实现 SCD-2 功能的一个开始。

使用 Apache Hudi 实现 SCD-2（渐变维度）的更多相关文章

数据仓库系列 - 缓慢渐变维度 (Slowly Changing Dimension) 常见的三种类型及原型设计
在从 OLTP 业务数据库向 DW 数据仓库抽取数据的过程中,特别是第一次导入之后的每一次增量抽取往往会遇到这样的问题:业务数据库中的一些数据发生了更改,到底要不要将这些变化也反映到数据仓库中?在数据 ...
微软BI 之SSIS 系列 - 数据仓库中实现 Slowly Changing Dimension 缓慢渐变维度的三种方式
开篇介绍关于 Slowly Changing Dimension 缓慢渐变维度的理论概念请参看数据仓库系列 - 缓慢渐变维度 (Slowly Changing Dimension) 常见的三种类型 ...
数据湖框架选型很纠结？一文了解Apache Hudi核心优势
英文原文:https://hudi.apache.org/blog/hudi-indexing-mechanisms/ Apache Hudi使用索引来定位更删操作所在的文件组.对于Copy-On-W ...
触宝科技基于Apache Hudi的流批一体架构实践
1. 前言当前公司的大数据实时链路如下图,数据源是MySQL数据库,然后通过Binlog Query的方式消费或者直接客户端采集到Kafka,最终通过基于Spark/Flink实现的批流一体计算引擎 ...
基于Apache Hudi构建数据湖的典型应用场景介绍
1. 传统数据湖存在的问题与挑战传统数据湖解决方案中,常用Hive来构建T+1级别的数据仓库,通过HDFS存储实现海量数据的存储与水平扩容,通过Hive实现元数据的管理以及数据操作的SQL化.虽然能 ...
Apache Hudi在华米科技的应用-湖仓一体化改造
徐昱 Apache Hudi Contributor:华米高级大数据开发工程师巨东东华米大数据开发工程师 1. 应用背景及痛点介绍华米科技是一家基于云的健康服务提供商,拥有全球领先的智能可穿戴技 ...
Apache Hudi 如何加速传统的批处理模式？
1. 现状说明 1.1 数据湖摄取和计算过程 - 处理更新在我们的用例中1-10% 是对历史记录的更新.当记录更新时,我们需要从之前的 updated_date 分区中删除之前的条目,并将条目添加到 ...
Apache Hudi 介绍与应用
Apache Hudi Apache Hudi 在基于 HDFS/S3 数据存储之上,提供了两种流原语: 插入更新增量拉取一般来说,我们会将大量数据存储到HDFS/S3,新数据增量写入,而旧数据鲜 ...
使用Amazon EMR和Apache Hudi在S3上插入，更新，删除数据
将数据存储在Amazon S3中可带来很多好处,包括规模.可靠性.成本效率等方面.最重要的是,你可以利用Amazon EMR中的Apache Spark,Hive和Presto之类的开源工具来处理和分 ...

随机推荐

5.27 NOI 模拟
\(T1\)约定比较水的\(dp\)题上午想到了用区间\(dp\)求解,复杂度\(O(n^5),\)貌似没开\(long\ long\)就爆掉了正解还是比较好想的,直接枚举从何时互不影响然后转移 ...
万答#15，都有哪些情况可能导致MGR服务无法启动
欢迎来到 GreatSQL社区分享的MySQL技术文章,如有疑问或想学习的内容,可以在下方评论区留言,看到后会进行解答本文转载自微信公众号 "老叶茶馆" 欢迎大家关注! 1.都有 ...
万答#14，xtrabackup8.0怎么恢复单表
欢迎来到 GreatSQL社区分享的MySQL技术文章,如有疑问或想学习的内容,可以在下方评论区留言,看到后会进行解答 GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源. 实 ...
【AGC】引导用户购买提升用户留存率
借助AGC的云数据库.云托管.应用内消息.App Linking等服务,您可以给不同价值用户设置不同的优惠套餐活动,引导用户持续购买,增强用户黏性.判断用户价值,发送营销短信,引导用户参与营销活动,提 ...
java学习第七天lo流.day17
lo输入
Jmeter工具使用总结
Jmeter工具使用总结目录 Jmeter函数总结第一章前言第二章常用函数的介绍 2.1. timeShift函数 2.2. time函数 2.3. groovy函数第三章常用用法 3. ...
888. 公平的糖果交换--LeetCode
来源:力扣(LeetCode) 链接:https://leetcode.cn/problems/fair-candy-swap 著作权归领扣网络所有.商业转载请联系官方授权,非商业转载请注明出处. 假 ...
CSP-S 2020 T4 贪吃蛇（双队列模拟）
题面题解先看数据,T<=10,用平衡树或优先队列是可以拿70分的,大体思路和正解思路是一样的,每次直接修改,然后模拟. 我们模拟的时候,主要是在过程中算出最终被吃的有选择权的蛇的最后选择时刻 ...
LOJ2312 LUOGU-P3733「HAOI2017」八纵八横（异或线性基、生成树、线段树分治）
八纵八横题目描述 Anihc国有n个城市,这n个城市从1~n编号,1号城市为首都.城市间初始时有m条高速公路,每条高速公路都有一个非负整数的经济影响因子,每条高速公路的两端都是城市(可能两端是同一个 ...
如何充分利用KingbaseES日志
作为现代关系数据库中,KingbaseES带有许多用于微调的参数.需要考虑的领域之一是KingbaseES应该如何记录其活动.日志记录在Kingbases数据库管理中经常被忽略,如果不被忽略,通常会被 ...

使用 Apache Hudi 实现 SCD-2（渐变维度）

步骤

实施过程中需要考虑的几点

结论

使用 Apache Hudi 实现 SCD-2（渐变维度）的更多相关文章

随机推荐

热门专题