Tapdata Cloud 是一款很有「前途」的产品。——Tapdata Cloud 用户 | 一线DBA@某PCB全球百强企业

 
从首次提出这一概念起,已经 10 年过去了,“工业互联网”仍然是制造业高质量发展的主题。
 
踩着这阵东风,数字化升级、智能制造、工业信息化等关键词接连冒头,有效利用“数据的力量”,成为推进产业升级创新、提升产品质量的重要一环,“制数权”的身价水涨船高。
 
建立“数据仓库”,便是这样的背景下,相关企业整合数据资源常见的选择之一。
 
面对企业内部经年累积的来自各业务系统的大量数据,如何在不给原系统太大压力的前提下,将这些不同结构的数据持续平滑地集成到数据仓库,也就成了足够叫项目技术负责人头疼的硬工程
 
我们今天请到的 Tapdata Cloud 案例分享者,正是这样一位来自 PCB 制造行业一线的资深 DBA。
 
想知道在本期案例刚刚启动的数仓项目测试里,Tapdata Cloud 是如何从一众工具中脱颖而出,在数据
同步技术选型过程中成为首选的?想知道 Tapdata Cloud 是如何实现异构数据实时入仓的?一起继续看下去吧——
 

1 论坛初遇 就是「你」了

Tapdata Cloud——因为简洁所以惊艳
 
第一次接触到 Tapdata Cloud,是在某个论坛的技术板块。那是一篇对比数据同步工具的实用帖,恰巧那个时候我们公司内部有意向发展数仓项目,Tapdata Cloud 异构数据实时同步的功能吸引了我。需求与功能“对口”,于是选择试用——故事的开头就是这么简单。
 
坦白讲,市面上拥有类似数据同步功能的工具不在少数,我们也的确做过横向评估。在这个过程中Tapdata Cloud 展示出的一大优势是“管理简单”——支持低代码拖拽操作,任务运行监控可视——轻量易上手,这不正是我们想要的吗?
 

2 异构数据实时入仓 稳定可靠高效

真的有这么丝滑吗?
 
我们建数仓的直接目的,是整合业务数据用于报表分析,接入生产线看板,即时显示作业信息。因此对“实时性”、“稳定性”的要求特别高。
 
再加之物料管理等诸多不同系统的数据庞杂,来自 Oracle、SQL Server 等不同数据源的数据结构、字段类型各有差异,工程压力实在不小。
 
但如果用 Tapdata Cloud 完成这些,仅仅需要 4 步:选择源与目标→设置任务属性→选择表→完成表字段映射。我们最近一次同步测试,数据量达到数千万,运行起来也很流畅。
 
戳视频 查看具体操作演示
 

3 还在测试磨合阶段 但相信未来可期

后续还有更多场景可以用 Tapdata Cloud 先跑起来
 
如果要用一句话来评价 Tapdata Cloud 的话,我会说“这是一款有前途的产品”。
 
虽然还在测试磨合阶段,但我们还是能看到未来与 Tapdata Cloud 持续牵手的更多可能。举个小小的例子,我们计划用它来取代 DBLink 在部分跨业务系统远程查询场景下的工作,像是 OA系统访问财务系统。
 
以往我们在需要跨系统访问和查询时的传统操作,是创建 DBLink,但这样的速度其实非常慢。如果我们可以用 Tapdata Cloud 先将那些待查询的特定表同步到另外一个系统中,就可以直接减少 DBLink,从而让查询更高效。
 
最后,希望 Tapdata Cloud 可以越来越好用,我们也会一直关注。

坐标PCB公司,想做实时数仓、推生产线看板,和Tapdata Cloud的偶遇来得就是这么凑巧的更多相关文章

  1. HBase实战 | 知乎实时数仓架构演进

    https://mp.weixin.qq.com/s/hx-q13QteNvtXRpNsE5Y0A 作者 | 知乎数据工程团队编辑 | VincentAI 前线导读:“数据智能” (Data Inte ...

  2. (转)用Flink取代Spark Streaming!知乎实时数仓架构演进

    转:https://mp.weixin.qq.com/s/e8lsGyl8oVtfg6HhXyIe4A AI 前线导读:“数据智能” (Data Intelligence) 有一个必须且基础的环节,就 ...

  3. flink实时数仓从入门到实战

    第一章.flink实时数仓入门 一.依赖 <!--Licensed to the Apache Software Foundation (ASF) under oneor more contri ...

  4. 基于Flink构建全场景实时数仓

    目录: 一. 实时计算初期 二. 实时数仓建设 三. Lambda架构的实时数仓 四. Kappa架构的实时数仓 五. 流批结合的实时数仓 实时计算初期 虽然实时计算在最近几年才火起来,但是在早期也有 ...

  5. Clickhouse实时数仓建设

    1.概述 Clickhouse是一个开源的列式存储数据库,其主要场景用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告.今天,笔者就为大家介绍如何使用Clickhouse来构建实 ...

  6. 美团点评基于 Flink 的实时数仓建设实践

    https://mp.weixin.qq.com/s?__biz=MjM5NjQ5MTI5OA==&mid=2651749037&idx=1&sn=4a448647b3dae5 ...

  7. 基于 Flink 的实时数仓生产实践

    数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战.在智能商业中,数据的结果代表了用户反馈.获取数据的及时性尤为重要.快速获取数据反馈能够帮助公司更快地做出决策,更好地进行 ...

  8. 更强大的实时数仓构建能力!分析型数据库PostgreSQL 6.0新特性解读

    阿里云 AnalyticDB for PostgreSQL 为采用MPP架构的分布式集群数据库,完备支持SQL 2003,部分兼容Oracle语法,支持PL/SQL存储过程,触发器,支持标准数据库事务 ...

  9. 大数据之Hudi + Kylin的准实时数仓实现

    问题导读:1.数据库.数据仓库如何理解?2.数据湖有什么用途?解决什么问题?3.数据仓库的加载链路如何实现?4.Hudi新一代数据湖项目有什么优势? 在近期的 Apache Kylin × Apach ...

随机推荐

  1. 封装axios在项目中使用

    import store from '@/store/index' import { Loading,Message,MessageBox } from 'element-ui' import rou ...

  2. nginx从入门到入坟

    目录 1.nginx下载安装 2.启动命令 3.服务脚本 4.nginx目录说明 5.nginx配置文件 6.虚拟主机与域名配置和站点配置 6.1server_name配置规则 7.反向代理负载均衡配 ...

  3. 分享一个JDK批量异步任务工具CompletionService,超好用

    摘要:当需要批量提交异步任务,推荐CompletionService.CompletionService将线程池Executor和阻塞队列融合,让批量异步任务管理更简单. 本文分享自华为云社区< ...

  4. 半导体行业如何保持高效远程办公?因果集群(Causal Clustering)了解一下!

    什么是因果集群?因果集群是下一代多站点复制技术.它支持数据中心的分布式系统集群模型.借助于因果集群技术,可以让远程工作团队成员体验到更卓越的性能和更健壮的复制功能,确保您的团队始终以高效状态工作. 因 ...

  5. 4.26JMetre分离数据、响应断言、动态参数、响应管理

    修改 查询 默认查询 断言: 1.JSON断言 2.响应断言 :实际返回的值是否包含期望的值 参数化 相同的测试步骤,不同的测试数据.比如针对测试平台,使用不同的用户登陆进去来验证产品管理的业务. 在 ...

  6. 【问题解决】'Access-Control-Allow-Origin' header contains multiple values '*, *', but only one is allowed.

    问题复述 今天项目组有人找我说之前部署的程序在测试环境没问题,到生产环境出现了奇怪的问题,点按钮没反应. 我通过腾讯会议发现他们的浏览器控制台上打出了如下错误: Access to XMLHttpRe ...

  7. Python版本共存、语法、变量和数据类型

    python多版本共存 主要是把两个版本的python解释器的所在路径都加入环境变量当中,之后重新命名python解释器文件名称就好 先拷贝一个启动程序,在进行改名就好 python.exe pyth ...

  8. C\C++白嫖学习

    一.C语言的学习     推荐B站的郝斌老师的C语言教程,播放量可观.注意在学习前可在评论区"找宝藏". 大家可能也知道B站的小甲鱼,个人感觉内容不够优质,讲得有点粗糙,讲的故事有 ...

  9. 【WPF】WPF开发用户控件、用户控件属性依赖DependencyProperty实现双向绑定、以及自定义实现Command双向绑定功能演示

    前言: Wpf开发过程中,最经常使用的功能之一,就是用户控件(UserControl)了.用户控件可以用于开发用户自己的控件进行使用,甚至可以用于打造一套属于自己的UI框架.依赖属性(Dependen ...

  10. SpringBoot从Eclipse添加的Tomcat容器中启动

    SpringBoot的Web项目,想要在Eclipse中的Tomcat容器中启动运行需要做下面这两处改动 pom.xml <packaging>war</packaging> ...