大数据这件事,整体上还是说的多一些,做的稍微少一点。大数据可以是荒凉高原上波澜壮阔的机房,也可以润物细无声般融入到日常生活和工作。换句话说,大数据应该是一种文化。

在个人层面,很多人对数字和计算并不敏感,通过经验进行判断很容易出现偏差,因为所知所感与真实世界之间有很大差别。数据驱动的首要条件是要针对业务痛点提出问题,层层深入且具备逻辑推理特性;这之后才是进一步转化为数据问题,然后从数据角度去建立决策逻辑。如果是可视化、动态的决策过程,那肯定是有助于提高效率,这也是目前智能化的一个重要目标,更加smart。

在企业层面,建立数据驱动型决策机制是数据治理的最高境界,对传统企业来说任重道远,能够发挥些许数据价值已然是最佳实践了。数据治理的好不好,关键还是看用的效果如何。伴随数据应用的发展趋势,数据治理的目标对象也将由基础数据逐步变成以数据挖掘为核心的大数据资产化应用。换句话说,就是以前围绕数据仓库或BI系统完成的治理工作,目前可以很顺畅的过渡到大数据智能化项目了,包括后面要讨论的敏捷BI。

企业应当建立一套完整的从数据收集、整理、报告到转化成行业洞见和决策建议的流程,当然最重要的是这些洞见和决策建议真正能够被企业决策者使用,也就是数据价值变现。下面这张图的每部分都可以展开,不再赘述,可以参考《创造数据驱动型企业》。后面主要聊的是数据驱动实践中的一些经验,从敏捷BI角度出发,讨论相关概念、工具、组织、流程等内容。不是完整系统的阐释,而是有所挑选的呈现。

传统BI与敏捷BI

商业智能(BI)描述了一系列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定;商业智能技术提供使企业迅速分析数据的技术和方法,包括收集、管理和分析数据,将这些数据转化为有用的信息,然后分发到企业各处。

传统BI系统,通常指企业内部大而全的统一报表或分析平台;多为固定周期性报表,开发部署流程繁琐耗时长,主要靠科技部门出工出力。

敏捷BI,极速BI,或者说自助式BI,面向的更多是不具备IT背景的业务分析人员,相比之下更灵活且易于使用,而且一定程度上能够摆脱对IT部门的重度依赖。数据分析工作,逐渐向“业务主导的自助分析模式”发展。敏捷BI需要提供便于交互分析的可视化界面,快速响应用户的探索式数据分析需求,同时能够在企业内部分享和查看分析结果。

工具层面国外以Tableau和微软的产品最佳,国内帆软也是代表,其对应产品系列在功能上均能够满足敏捷BI的开发部署。也以Desktop为例,Tableau的可视化分析更加方便,PowerBI额外支持ER关系构建,FineBI的开发性能针对各种业务情况,可谓各有千秋。对银行、电信等传统企业来说,Tableau更适合一些,因为基础数据服务能力能够支持Tableau充分发挥可视化分析的优势。对个人来说,PowerBI很厚道的提供了功能够用的免费版本,且更新速度很快。

BIU与DSU

BIU这个名词是有的,DSU的概念是我自己瞎掰的。BIU是business intelligence unit, DSU是data science unit。在目前的情况下,这两个其实是等同的,个人更倾向于数据科学团队的建立。

商业智能是对各项技术的综合应用,其组织架构或者能力要求都包括了业务能力和数据开发能力,而数据科学更包括对机器学习、人工智能等高阶能力的配备。数据科学家的要求在于全能,高精尖,实际很多传统企业并不需要这类人才。企业需要一支能够快速响应业务需求的数据科学团队,包括业务人员、数据分析人员和数据开发人员,凑在一起匹配数据科学家。

这个团队能够帮助数据部门从成本中心逐渐转化为利润中心,这不是随便说说,大数据应用除了帮助获得同业竞争优势,显然也有直接创造利润的潜力。看看现在顶尖的Fintech公司,都开始变成Techfin了。

如何建立DSU呢?或者说构建DSU的基础有哪些呢?我认为这个需要业务和技术两方面的基础条件,缺一不可。在业务关键流程中需要应用数据挖掘模型以提升能力,并且在主要业务条线均存在这种诉求,这就是业务上的基础条件。在技术上需要积极且坚定不移的探索大数据分析挖掘应用,具备能够将学术和产业界新成果转化为实践应用价值能力的团队。

对传统甲方来说,这个领域的自主可控至关重要;至少做到一点,那就是甲方人不动,乙方可以随便更换。我们都是数据科学工程师,致力于将学术界和产业界数据挖掘、机器学习领域先进成果转化为企业生产力。探索性的工作中乐趣还是占主导的,但创新任务多了有时候也会很头痛,大量操心操力亚历山大。

套路化的开发流程

之所以说是套路化,因为是直接从管理办法里面搬出来的,稍加改动。

首先是数据准备与开发,收集敏捷BI产品开发需求的相关企业内部、外数据,确定所需数据范围、类型及数据量;针对所需企业内部数据,执行对应数据服务、数据调用等规范流程,完成数据采集准备;针对企业外部数据采集,记录并整理相关数据资源信息,进行集中存储及管理;建立数据间的关联关系,并检验数据质量情况;基于需求目标、数据质量及技术限制等情况,选择敏捷BI产品开发使用的数据集合,并对数据进行清理转换,并根据要求执行格式化等操作。

然后是分析挖掘模型孵化与开发,结合实际任务,进行数据分析模型或数据挖掘模型的孵化;对模型进行开发,并持续优化以确定模型相关数据、特征、算法及参数;协同业务需求方共同验证模型效果,同时在整个敏捷BI产品生命周期内对模型进行跟踪,依据情况进行调整。

最后是可视化设计与开发,选择合适的可视化方法对内容进行封装,包括数据架构、页面布局以及图表各种功能设计;确定可视化需求方案,并完成前端交互开发及后台对应数据开发;与业务需求方沟通,跟踪反馈情况并对可视化方案进行优化。

数据之路漫漫

数据驱动应该是一种文化,不同于坚持增长黑客理念的互联网企业,许多传统行业似乎缺乏对应的目标及凝聚力,加上各种各样的原因,数据驱动文化的构建过程异常缓慢。

大数据在持续发展,君不见3v、4v已经发展到了42个V。对处于业务转型期的企业来说,见或不见,数据就在那里;做或不做,虽然早晚都会被淘汰,但晚点可能就会凤凰涅槃了呢。

敏捷BI与数据驱动机制的更多相关文章

  1. 敏捷BI比传统BI功能强大是否属实?

    关于大数据的资讯铺天盖地而来,让人眼花缭乱.虽然资讯很精彩,我们也看到了大数据背后的价值,很多企业选择了商业智能BI产品.商业智能在使用上可分为敏捷BI与传统BI,从名字来看敏捷BI要比传统BI显得利 ...

  2. 杂记- 3W互联网的圈子,大数据敏捷BI与微软BI的前端痛点

    开篇介绍 上周末参加了一次永洪科技在中关村 3W 咖啡举行的一次线下沙龙活动 - 关于它们的产品大数据敏捷 BI 工具的介绍.由此活动,我想到了三个话题 - 3W 互联网的圈子,永洪科技的大数据敏捷 ...

  3. 敏捷BI——岂止于快

    信息爆炸的时代,唯有分析快,才可以把握住可能分分钟流失的数据信息,唯有钻取深,才可以挖掘出海量信息中蕴藏的财富.是时候为您的企业上一套敏捷BI了. [敏捷BI的产生背景] 传统BI由IT人员做报表,业 ...

  4. Quick BI独创千人千面的行级权限管控机制

    摘要 就数据访问权限而言,阿里巴巴以“被动式授权”为主,你需要什么权限就申请什么权限.但是,在客户交流过程中,我们发现绝大多数企业都是集中式授权,尤其是面向个人的行级权限管控,管理复杂度往往呈几何增长 ...

  5. BI产品学习笔记

    理解现在--挖掘规律--预测未来------------------------------------------------------精准营销智能风控运营优化 多维分析挖掘预测敏捷BI 分析展示 ...

  6. 获明略科技B+轮战略投资,思迈特软件Smartbi用强产品思维推动BI生态完善

    今天,商业智能BI和大数据分析产品提供商思迈特软件(Smartbi)宣布完成亿级B+轮战略融资,本轮投资方为领先的全球企业级数据分析和组织智能服务平台提供商--明略科技. 此前,思迈特软件曾先后获得来 ...

  7. 某中国500强企业BI系统成功应用案例

    随着某集团20多年的不断发展发展,现已成为中国500强.中国大企业集团竞争力前25强.中国信息化标杆企业和国家重点火炬高新技术企业.拥有总资产数十亿元.员工数万名,涉足电力.家电.能源.等多个行业,并 ...

  8. 微软商业智能系列(一)初识微软BI

    随着移动互联网.云计算.物联网和大数据技术的广泛应用,社会已经迈入全新的数据时代.掌握数据资产,进行智能化决策,已成为企业胜出的关键.越来越多的企业开始重视数据战略布局,重新定义自己的核心竞争力,从数 ...

  9. BI工具有多重要?凭什么得到各类企业的热烈追捧?

    近年来,应用BI工具的企业越来越多,企业对BI工具的重视说明企业了解.认识到了数据的价值.数据分析工具已经渐渐成为企业日常经营管理活动中不可或缺的一项重要工作内容.但是你知道企业应该如何挑选BI工具吗 ...

随机推荐

  1. webservice的cxf和spring整合发布

    1.新建一个web项目 2.导入cxf相应的jar包,并部署到项目中 3.服务接口 package com.xiaostudy; /** * @desc 服务器接口 * @author xiaostu ...

  2. CentOS7配置自定义JDK

    由于选择的是centos7-dvd镜像自带了open jdk,需要卸载.首先查询自带的jdk: rpm -qa | grep java 会出现7个带有java名称的东西,删除其中的带有openjdk字 ...

  3. 不一样的入门:看C# Hello World的17种写法

    摘要:本文针对不同阶段.不同程度的C#学习者,介绍了C# Hello World的17种不同写法,希望会对大家有所帮助.(C# Hello World写法入门.C# Hello World写法进阶.C ...

  4. 数据库访问辅助类SqlHelper

    程序访问数据库需要进行的操作有创建与某个指定数据库的连接, 然后打开创建好的连接,创建执行指令(也就是sql执行代码), 最后执行指令,关闭创建的连接,释放资源. ado.net是一组用于和数据源进行 ...

  5. (asp.net)百度浏览器Cookie的神奇bug

    HttpCookie cookie = new HttpCookie("version"); cookie.Value = "1.1"; cookie.Expi ...

  6. Android 进行解析并显示服务端返回的数据

    例子说明:用户通过访问web资源的最新电影资讯,服务器端生成XML或JSON格式数据,返回Android客户端进行显示. 此案例开发需要两个方面 WEB开发和Android开发. 一.web开发相对比 ...

  7. 【Python】简单实现爬取小说《天龙八部》,并在页面本地访问

    背景 很多人说学习爬虫是提升自己的一个非常好的方法,所以有了第一次使用爬虫,水平有限,依葫芦画瓢,主要作为学习的记录. 思路 使用python的requests模块获取页面信息 通过re模块(正则表达 ...

  8. CTR的贝叶斯平滑

    参考论文: Click-Through Rate Estimation for Rare Events in Online Advertising 参考的博客: 1.https://jiayi797. ...

  9. SQL Server死锁总结

    1. 死锁原理 根据操作系统中的定义:死锁是指在一组进程中的各个进程均占有不会释放的资源,但因互相申请被其他进程所站用不会释放的资源而处于的一种永久等待状态. 死锁的四个必要条件:互斥条件(Mutua ...

  10. 先安装ubuntu,后安装windows,修复启动grub

    使用easybcd修复未果,直接使用启动盘修复,主要根据这个帖子来的,验证可用 http://blog.csdn.net/kevin6216/article/details/7764292 由于重装w ...