文 | 陈肃 DataPipeline  CTO 随着企业应用复杂性的上升和微服务架构的流行,数据正变得越来越以应用为中心. 服务之间仅在必要时以接口或者消息队列方式进行数据交互,从而避免了构建单一数据库集群来支撑不断增长的业务需要.以应用为中心的数据持久化架构,在带来可伸缩性好处的同时,也给数据的融合计算带来了障碍. 由于数据散落在不同的数据库.消息队列.文件系统中,计算平台如果直接访问这些数据,会遇到可访问性和数据传输延迟等问题.在一些场景下,计算平台直接访问应用系统数据库会对系统吞吐造成显

DataPipeline已经完成了很多优化和提升工作,可以很好地解决当前企业数据集成面临的很多核心难题. 1. 任务的独立性与全局性. 从Kafka设计之初,就遵从从源端到目的的解耦性.下游可以有很多个Consumer,如果不是具有这种解耦性,消费端很难扩展.企业做数据集成任务的时候,需要源端到目的端的协同性,因为企业最终希望把握的是从源端到目的端的数据同步拥有一个可控的周期,并能够持续保持增量同步.在这个过程中,源端和目的端相互独立的话,会带来一个问题,源端和目的端速度不匹配,一快一慢,造成数

在不断满足当前企业客户数据集成需求的同时,DataPipeline也基于Kafka Connect 框架做了很多非常重要的提升. 1. 系统架构层面. DataPipeline引入DataPipeline Manager的概念,主要用于优化Source和Sink的全局化生命周期管理.当任务出现异常时,可以实现对目的端和全局生命周期的管理.例如,处理源端到目的端读取速率不匹配以及暂停等状态的协同. 为了加强系统的健壮性,我们把Connector任务的参数保存在ZooKeeper中,方便任务重启后读

目前,依靠"手工人力"的电子表格数据治理模式逐渐被"自动智能"的专业工具取代.数据管理员.业务分析师开始采用"平台工具"来梳理主数据.元数据,构建模型和管控质量等. 以A公司为例,在此之前,其主要通过编写程序的方式定制化开发每个交易所的API.随着需要接入的交易所和用户量逐渐增多,且交易所的API会不断迭代,使得A公司面临许多问题: 需要针对每个API编写程序,且每个API会不断地迭代,导致维护成本巨大. 需要具备动态调整各个交易所API请求逻辑

文 |刘瀚林 DataPipeline后端研发负责人 交流微信 | datapipeline2018 一.关于数据融合和企业数据融合平台 数据融合是把不同来源.格式.特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享. 企业数据融合平台,通常的表现形态为运行着大量数据同步和转换任务的分布式系统.其源端一般为各类偏实时的业务数据存储系统,目的端为各类数据仓库/对象存储. 二.企业数据融合平台的典型架构 下图为数据融合平台的典型架构,源端是不同的数据存储系统,另一端是各种类型的数

近日,微软加速器•北京公布最终入选的第13期创新企业名单.作为国内领先的“iPaaS+AI”一站式数据融合服务提供商DataPipeline,历经多轮角逐,在上千家企业激烈竞争中,成功入选. 高手过招,创新者胜.录取率不到2%,被誉为“比哈佛还难进”的微软加速器第13期,历时3个月的严格甄选,最终14家创新企业从近千份申请中层层筛选中脱颖而出.微软加速器入选企业的标准包括技术颠覆性.产品成熟度.商业模式创新.出色的创始团队资历背景等. 作为国内领先的大数据技术服务商之一,DataPipeline

文 | 吕鹏 DataPipeline架构师 进入大数据时代,实时作业有着越来越重要的地位.本文将从以下几个部分进行讲解DataPipeline在大数据平台的实时数据流实践. 一.企业级数据面临的主要问题和挑战 1.数据量不断攀升 随着互联网+的蓬勃发展和用户规模的急剧扩张,企业数据量也在飞速增长,数据的量以GB为单位,逐渐的开始以TB/GB/PB/EB,甚至ZB/YB等.同时大数据也在不断深入到金融.零售.制造等行业,发挥着越来越大的作用. 2. 数据质量的要求不断地提升 当前比较流行的AI.

Confluent作为国际数据“流”处理技术领先者,提供实时数据处理解决方案,在市场上拥有大量企业客户,帮助企业轻松访问各类数据.DataPipeline作为国内首家原生支持Kafka解决方案的“iPaaS+AI”一站式大数据融合服务提供商,在零售.金融.互联网和制造等行业拥有着丰富实践经验和解决方案能力. 此次上海DataPipeline & Confluent Kafka Meetup,我们邀请到了Confluent流数据处理系统架构师和技术负责人王国璋.DataPipeline架构师吕鹏.

近日,国内领先的“iPaaS+AI”一站式大数据融合服务提供商DataPipeline宣布加入Linux基金会旗下OpenMessaging开源社区,将与OpenMessaging开源社区其他成员阿里.Yahoo.滴滴.Streamlio等,共同推动大数据技术在国际市场的应用与创新,降低企业的投入成本. 据悉,OpenMessaging开源社区由阿里巴巴发起,与雅虎.滴滴出行.Streamlio公司共同参与创立的分布式消息中间件.流处理领域的应用开发标准,目前已正式入驻Linux基金会,是国内首

庞姬桦女士毕业于北京大学和美国哥伦比亚大学,目前担任PayPal公司消费者风险管理总监,负责通过大数据实现对互联网金融风险的侦测.跟踪.管控和防范.在加入PayPal之前,曾任职于渣打银行(中国)和美国运通公司,具有超过15年的银行风险管理和研发丰富从业经验. 导言 DataPipeline致力于帮助企业打通内外部的各种数据,小微企业的贷款是涵盖大量内外部数据源的一个典型场景,无论是贷前.贷中还是贷后,都需要融合大量的.及时的数据以判断小微企业的经营水平.传统的做法看的是纸质的报表,近几年的做法

胡夕 <Apache Kafka实战>作者,北航计算机硕士毕业,现任某互金公司计算平台总监,曾就职于IBM.搜狗.微博等公司.国内活跃的Kafka代码贡献者. 前言 虽然目前Apache Kafka已经全面进化成一个流处理平台,但大多数的用户依然使用的是其核心功能:消息队列.对于如何有效地监控和调优Kafka是一个大话题,很多用户都有这样的困扰,今天我们就来讨论一下. 一.Kafka综述 在讨论具体的监控与调优之前,我想用一张PPT图来简单说明一下当前Kafka生态系统的各个组件.就像我前面所

夏凯 卡内基梅隆大学计算机系毕业,曾供职于Evernote数据团队和微软Bing.com搜索引擎广告部门.回国后作为早期成员加入小红书,先后从事大数据,用户增长,项目和团队管理等工作. 我最初是在美国做搜索型广告.回国之后,加入小红书,做基础的数据服务.数据平台.作为创业团队,最开始想做数据挖掘.数据统计.增长,但是没数据,所以先得把数据的采集.管理.计算.储存的技术架构搭起来,有了技术架构之后,再做进一步的数据分析,基于分析与决策,然后再做增长,进而推动产品的迭代和公司各个层面的决策.因此,我

引言:本文来自infoQ架构师电子月刊对DataPipeline创始人&CEO陈诚的约稿.陈诚,毕业于上海交大,留学于美国密西根大学,前Yelp大数据研发工程师,曾就职于美国Google.Yelp 等: 拥有6年多的大数据.计算机算法等实践经验. 朋友圈最近看到一篇文章 ——<IBM沃森错开致命药,国内67家医院在用,秘密文件曝光严重bug>.虽然只是测试病例,但看上去沃森相当地不靠谱,给有出血症状的癌症病人开了容易导致出血的药品,严重时可致患者死亡.沃森是IBM花了150亿美元培养的

导读:传统ETL方案让企业难以承受数据集成之重,基于Kafka Connect构建的新型实时数据集成平台被寄予厚望. 在4月21日的Kafka Beijing Meetup第四场活动上,DataPipeline CTO陈肃分享了DataPipeline是如何基于Kafka Connect框架构建实时数据集成平台的应用实践.以下内容是基于现场录音整理的文字,供大家参考. 什么是数据集成?最简单的应用场景就是:一个数据源,一个数据目的地,数据目的地可以一个数据仓库,把关系型数据库的数据同步到数据仓库

导读:技术人员的常态是“左手支持业务签单,右手提升系统性能”,却经常陷入技术和业务该如何平衡发展的困惑?今天,且听一位硅谷牛人分享他的平衡之道. 以个人名誉申请31个国内外技术和产品专利,中国最佳CTO 战略奖,超过20年的互联网业务架构和技术管理经验,曾15年任职于eBay.Yahoo.Netscape等互联网知名公司,曾6年担任携程旅行网CTO... ... 带着这么多光环的叶亚明(Eric Ye),3月22日受邀走进北京数见科技有限公司(以下简称DataPipeline)在北京五道口组织的

引言:2018年7月25日,DataPipeline CTO陈肃在第一期公开课上作了题为<从ETL到ELT,AI时代数据集成的问题与解决方案>的分享,本文根据陈肃分享内容整理而成. 大家好!很高兴今天有机会和大家分享一些数据集成方面的看法和应用经验.先自我介绍一下.我叫陈肃,博士毕业于中国科学院大学,数据挖掘研究方向.现在北京数见科技(DataPipeline)任 CTO.之前在中国移动研究院任职算法工程师和用户行为实验室技术经理,之后作为合伙人加入过一家互联网教育公司,从事智能学习方面的研发

六种 主流ETL 工具的比较(DataPipeline,Kettle,Talend,Informatica,Datax ,Oracle Goldengate) 比较维度\产品 DataPipeline kettle Oracle Goldengate informatica talend DataX 设计及架构 适用场景 主要用于各类数据融合.数据交换场景,专为超大数据量.高度复杂的数据链路设计的灵活.可扩展的数据交换平台 面向数据仓库建模传统ETL工具 主要用于数据备份.容灾 面向数据仓库建模

作者:DataPipeline CEO 陈诚 上周我们探讨了数据的「资产负债表」与「现状」,期间抛给大家一个问题:如果我们制作一个企业的“数据资产负债表”,到底会有多少数据是企业真正的资产? 数据出现问题并不仅仅是数据部门的原因,更多是组织架构及配合的问题.相较于追责某些工具,反而应该思考该用何种理念和方法来面对背后的“元问题”.基于此,我们提出应从DataOps入手. 一.DataOps理念 Gartner对于DataOps的定义 Data ops is the hub for collect

作者:DataPipeline CEO 陈诚 前两周,我们分别探讨了“数据的资产负债表与现状”及“DataOps理念与设计原则”.接下来,本文会在前两篇文章的基础上继续探讨由DataOps设计原则衍生出的具体组织架构. 让数据快速从负债变成资产,绝不仅仅是某种软件或者工具就可以做到的,我们需要构建相应的文化.DAMA的数据治理体系,非常详细地介绍了大量常见的岗位和职责,在此就不一一赘述,只是在此增加一些贯彻DataOps时非常关键的细节. 我们观察到有些企业开始让业务决策流程更多的基于数据而非完

A公司专注为各种规模和复杂程度的金融投资机构提供一体化投资管理系统,系统主要由投资组合管理.交易执行管理.实时监控管理.风险管理等功能模块构成.随着企业管理产品数量的不断增多,大量数据分散在各券商系统中且数据存储格式各异,难以管理和利用. 为帮助投资机构最大限度地提高投资决策和运营效率,A公司需要实时监控自己的用户在各个交易平台的基本信息.余额.订单交易情况,并根据分析结果及时给出投资建议. A公司的这种情况并不是个例.目前,越来越多的企业在数据传输的需求场景中,除了从上游不同业务数据库中实时.