DataPipeline丨DataOps的组织架构与挑战

作者：DataPipeline CEO 陈诚

前两周，我们分别探讨了“数据的资产负债表与现状”及“DataOps理念与设计原则”。接下来，本文会在前两篇文章的基础上继续探讨由DataOps设计原则衍生出的具体组织架构。

让数据快速从负债变成资产，绝不仅仅是某种软件或者工具就可以做到的，我们需要构建相应的文化。DAMA的数据治理体系，非常详细地介绍了大量常见的岗位和职责，在此就不一一赘述，只是在此增加一些贯彻DataOps时非常关键的细节。

我们观察到有些企业开始让业务决策流程更多的基于数据而非完全基于等级权力、直觉经验。比如，让薪酬绩效和使用数据创新的程度挂钩，公开表扬那些通过小步快跑使用数据为公司开源节流做出贡献的先进标兵等等。

但如果仔细观察，这些都是数据文化落地的结果，而非原因。我们认为，改变文化最重要的是构建与愿景相符的组织架构和责权利说明。否则再多措施，都将是杯水车薪。Gartner预测，到2021年，CIO将像首席人力资源官那样担负起文化变革的职责，将“文化即障碍”的话题转向“文化即赋能”。

而DataOps所代表的数据驱动文化，并不适合所有组织，只适合那些业务过程中产生的数据价值密度比较高，并相信数据可以提升改变的组织。
 在探索组织架构的设计原则中，我们一定要坚持合规、快速、开放三个原则，明确实践DataOps过程中所需的角色和职责。

首席执行官和董事会

数据即战略，CEO和董事会需要深刻理解快速将数据战略落地的意义和风险，并着手构建下述组织架构，鼓励相应的文化和创新。

CEO都是战场上拼杀出来的将领，既要关注生存，也要关注发展，所有创新的主题都需要围绕业务价值，而数据很难做到立竿见影，所以平衡短期收益与长期发展考验的是CEO的智慧。例如，Nike在开展数字化转型的若干年后才开始连续N个季度的两位数增长。CEO既要鼓励创新，又要有耐心培育新的土壤。如果CEO在公布决策时都是引用数据，并对企业内部的数据创新非常熟悉，那么DataOps已经成功了一半，否则其他人的努力有极大概率会付诸东流。

首席数据官（CDO）

由CEO领导，CDO就是用数据创造业务价值的首席运营官，直接负责公司组织内部数据发展策略落地的详细路径和整体节奏，根据业务模式确定合规要求、需求满足的价值、速度、流程、以及自动化、智能化技术路线的选择。

这里一定要注意满足业务需求的速度和质量，由于数据需求的挑战较大，太多CDO无法在一定时间，一定业务范围内快速达成CEO、董事会、业务部门希望看到的效果。没有一个好的起点，首席数据官的工作就会丧失前进的节奏，陷于和业务部门就数据的上收、使用等流程长期讨论和拉锯的泥潭中，造成恶性循环，使这个岗位变成高危职位，很难度过蜜月期。据我们观察，很多企业开始设立CDO的岗位，并尝试通过数据带来业务增长，客观来说，这和其他高管职位一样，是一个机遇与挑战并存的情况。

数据合规与标准委员会

由CEO领导，并由公司的业务线领导、法务领导、首席数据官组成，详细制定出数据使用的边界、自由度和数据质量标准。负责随着业务的发展保持最高频率（一般是一周一次）的讨论更新，同时使用自动化的工具将规则同步至数据系统中。如果业务的变化无法从合规层面保持一致，就会逐步成为限制数据使用的瓶颈。这里的挑战在于不让规则讨论过于大而全，要尽快在一定范围内达成共识，逐步推动部分范围内规则地快速落地，否则会使愿景的落地失去前进节奏。

数据部门

由首席数据官领导，包括数据工程师，分析师和数据科学家。数据工程师负责使用符合时代挑战的自研或者商业的工具，确保业务用户可以自助式地完成数据全生命周期的使用和管理。同时负责企业内外的数据源能自动高效地集成融合，快速满足业务取数、用数需求，另外通过保证元数据、主数据、数据血缘与业务发展时刻保持一致，让业务准确无误地理解数据语义。

他们不仅要确保大数据平台的负载均衡、稳定性，可以随时响应业务对数据模型的计算和查询需求。还要遵循标准委员制定的标准，通过手工制定规则和各种算法确保数据质量并尽可能做到前置预警。通常情况下，为了快速支持业务部门实践数据服务，创新业务模式，数据部门需要对外提供根据业务权限快速构建服务API化内部数据的能力（Gartner定义为Data Hub）。

最后，也是非常重要的一点，在应对业务部门的需求时，需要有一套“定价体系”。因为数据支持业务的发展探索是存在成本的，但目前业务部门对此并无感知，更核算不出ROI，例如云服务、数据服务API的成本，完成需求所需的人力成本（如果是纯自助可灵活考虑）。在成本面前，很容易筛选出真需求，排出优先级，并且在后续服务中理清ROI。这条路举步维艰，但又势在必行，否则数据部门的业务价值困境始终会存在。 这里需要讨论的是，有时数据部门在没有设立首席数据官的情况下也由CIO领导，这时有一个职责划分艺术，每个企业的情况都不同，但CDO的重点职责是在合适的企业内带领数据组用数据快速产生业务价值。CIO的职责范围更广，但专精的领域不在该点上。

业务部门

部门中应当拥有能深入理解业务的分析师和科学家，自助使用数据部门提供的工具，这时使用门槛会不断降低，取数用数的难度和周期也会大幅下降，技能的要求一般是SQL级别。因此业务部门需要更加理解数据，并构思数据可以应用到自身业务发展的角度，再通过管理数据使用的全生命周期，在实践中不断总结。 挑战在于如何能快速用数据高效地带来业务价值，通过解耦来摆脱发展受到数据部门效率制约的现状。

对上述问题感兴趣的伙伴，请持续关注DataPipeline

参考资料：《首席信息官：打破文化壁垒，赋能数字化转型》作者 / GartnerInc