令狐冲在华山学艺时,虽然勤学苦练,但是终不得法,在机缘巧合之下,得到风清扬老前辈的真传,练成独孤九剑之后,才名震江湖。虽然笑傲江湖的故事情节是虚构的,但从令狐冲蜕变的过程可以看出,练武需要秘籍。数据分析也有一本传世秘籍,只有六字,这就是《数据化管理》中提到的六字箴言、数据分析的三板斧:对比、细分、溯源,具体来说:

  • (1)对比就是成对的比较,分为横向对比和纵向对比,横比是指和“他人”比较,比如,两家公司的离职率;纵比是指按照时间维度,和“自己”比较,比如,一家公司去年和今天的离职率。
  • (2)细分是指分维度、降低粒度来分析数据,分维度是指增加维度,比如,离职率按照部门维度来分析;降低粒度是指降低数据聚合的程度,比如,离职率不按年份,而按照月份来统计。
  • (3)溯源是指在对比、细分锁定到具体维度和粒度之后,依然没有结论,那就需要查看原始数据,洞察数据,从数据中寻找灵感。

无对比,不分析

数据放在那里,是没有意义的,只有比较起来,才体现出数据分析的价值。无对比,不分析,对比在数据分析中地位,不言而喻。对比其实很简单,就是把A和B比较,但是,没有可对比性的对比一定是耍流氓。数据没有可对比性,就没有数据分析。指标的可对比性,可以从四个“一致”原则来评估:

  • 对象一致:比较的对象一致
  • 时间属性一致:指标的时间属性一致
  • 定义和算法一致:对分析对象的定义和计算方法一致
  • 数据源一致:统计的数据样本一致

有时,指标的值不重要,是否具有可比性才是关键,这四个一致性原则分别是指:

1. 对象一致是可比的最基本原则,番茄的销量和猪的销量是不可比的,这其实就是因为比较的对象不一致。

2. 时间属性比较特殊,对象所在的季节、月份等时间属性要有可比性,例如,一家便利店冬季雪糕的销量,和夏季没有可比性,因为对象的时间属性不同,但做销量的同比是可以的。

3. 对象的定义和算法要一致,举个例子,青年的定义:

  • 中国国家统计局:15-34周岁
  • 中国共青团:14-28周岁

当统计青年人数占总人数的比例时,中国国家统计局和中国共青团的做出的指标,肯定是不同的。

4. 所作的分析中,数据源不同,数据的可比性就会大打折扣。

在做对比分析时,要记住三个“要”:对比要可比、差异要显著、描述要全面。

  • 对比要可比:对比分析要有可比性
  • 差异要显著:组间差异要显著,组内差异要细微,常用的显著性检验有T检验和方差分析;
  • 描述要全面:当刻画一组数据时,不仅要描述这组数据的一般水平(均值),还要考虑到这组数据的波动水平。如果波动很大,一般水平对数据总体的代表性就会很差。只考虑一般水平而不考虑波动和差异,会使数据的可信度大大缩水。

细分,增加分析的深度

细分体现在增加维度和降低粒度上。一个维度是数据表的一列,通常情况下,维度是指定性数据,例如,产品提供的服务的类型、用户分布的地域等。在分析数据时,增加分析的维度,改变看待问题的视角,能够在更细分的级别上分析数据,洞察到更多的知识,增加数据分析的深度。例如,新用户的留存率,通过增加获客来源的维度,可以监控各个来源的新用户的留存率,把有限的经费使用到真正可以带来有效转化的地方。

粒度是数据的聚合程度,最细节的数据是不会聚合的原始数据。举个例子,每日数据是原始数据,其粒度是日,数据的数量巨大,而每周的统计数据是对日数据的聚合,其粒度是周,数据的数量变成原来的1/7。

通过增加维度和降低粒度来细分数据,深挖数据,揭示数据中潜藏的规律。

溯源,从原始数据中获得洞察

溯源,就是到细节数据中去,查看原始数据,反思用户的行为。在做数据分析时,一定要明白你分析得数据是二手的,还是一手的。一手数据是最原始的数据,包含的内容最丰富,但数据可能不规范。二手数据是经过处理的,甚至是分析之后的数据,这些数据可能是片面的、阉割的、面向特定主题的。由此得出的分析结果可能有失偏驳。

数据分析方法

基本的数据分析方法,主要有以下4个,每一个方法都包含非常丰富的内容,下面简单介绍它们的显著特征。

1. 对比分析

对比分析中,通常以时间和空间两个维度选择参照物,自我比较,从“历史”到“现在”,形成时间序列,叫做纵向对比;时间属性相同,与别的事物比较,空间不同,叫做横向对比。

2. 分类分析

研究对象通常是由不同的分组,每个分组的属性可能是不同的,一个分组也叫一个类别。如果能把所有的个体按照其特点和属性分类,使类内的差异小、具有共性;使类间的差异大、具有个性,那么分析的工作就是面向这几个类别,而不是大量的个体。分类分析的价值就是用类别代替个体,找到个性所在。

3. 分布分析

当对比的对象不是一个数值,而是一组数据值时,需要考察数据的集中和离散趋势。

4. 相关分析

相关分析研究的是事物之间的联系,相关分析的价值,在于把关联量化。发现相关性可以帮助你预测未来,而发现因果关系意味着你可以改变世界。

参考文档:

“对比,细分,溯源”@caoz

在SSIS中的不同组件间使用局部临时表的更多相关文章

  1. SSIS中循环遍历组件[Foreach Loop Container]

    背景 每月给业务部门提取数据,每个分公司都要提取一般,先跑SQL,再粘贴到Excel中,然后发邮件给相关的人员.费时费力,还容易粘贴错位.因此,需要通过一个程序完成这些步骤.我首先想到的是通过SSIS ...

  2. SSIS中执行SQL任务组件参数传递的问题

    原文:SSIS中执行SQL任务组件参数传递的问题 症状: 执行SQL任务,传递参数到子查询中,执行报错. 错误: 失败,错误如下:"无法从使用 sub-select 查询的 SQL 语句中派 ...

  3. 关于SSIS中解密FTP字符串的方法

    FTP(File Transfer Protocol),是文件传输协议的简称.用于Internet上的控制文件的双向传输.同时,它也是一个应用程序(Application).用户可以通过它把自己的PC ...

  4. 在没安装OFFICE的服务器SSIS中进行EXCEL的ETL操作!

    由于OFFICE 2010的安装包比较庞大,如果仅仅为了在服务器中实现操作EXCEL,完全没有必要安装整个OFFICE,是否可以不装OFFICE也实现与OFFICE文件的互相操作呢?答案是肯定的,在S ...

  5. 转载SSIS中的容器和数据流—数据转换(Transformations)续

    数据挖掘请求 数据挖掘任务是SSIS中一个很重要的任务,它的思想来源于一些算法.数据挖掘请求运行数据挖掘请求,并将结果输出到数据流.它还可以添加一些预测新列,一些应用场合如下列举: 根据已知的一些列, ...

  6. 注意SSIS中的DT_NUMERIC类型转换为字符类型(比如DT_WSTR)时,会截断小数点前的0

    我们知道SSIS中有许多数据类型,如下图所示: 但是DT_NUMERIC这个类型有个陷进要注意,我们来做个实验,随便定义一个String类型的SSIS包变量,然后打开该变量表达式窗口: 在变量表达式窗 ...

  7. SQL Server SSIS中的变量使用表达式后,就无法更改其值了

    在SQL Server SSIS中,我们可以为变量定义初始值和表达式,其实SSIS的变量定义为表达式后我们就无法更改变量的值了,我们来做如下实验: 首先我们在SSIS包中定义一个String类型的变量 ...

  8. Bootstrap 中的 Typeahead 组件 -- AutoComplete

    Bootstrap 中的 Typeahead 组件就是通常所说的自动完成 AutoComplete,功能很强大,但是,使用上并不太方便.这里我们将介绍一下这个组件的使用. 第一,简单使用 首先,最简单 ...

  9. WPF中实例化Com组件,调用组件的方法时报System.Windows.Forms.AxHost+InvalidActiveXStateException的异常

    WPF中实例化Com组件,调用组件的方法时报System.Windows.Forms.AxHost+InvalidActiveXStateException的异常 在wpf中封装Com组件时,调用组件 ...

随机推荐

  1. 位图图像处理控件ImageCapture Suite更新至v9.1

    概述:Dynamsoft公司旗下非常出名的位图图像处理控件ImageCapture Suite更新至了v9.1,这次新版本为Mac版本和IE 9新增了不少功能,同时还对其他组件的性能进行了质的提高! ...

  2. 虚拟机安装Ubuntu到U盘

    这篇经验中特指系统安装到U盘,系统在U盘上,不是双系统,不会改变源系统的设置.只需在启动的时候选择启动路径,就可以从U盘启动你的系统.本文仅仅Ubuntu系统,举一反三可以按照此方法安装各种各样的系统 ...

  3. 如何将APP部署在阿里云服务器

    1,APP应用需要什么样的云服务器? 为了帮助大家了解如何使用阿里云云服务器及相关应用,阿里云的移动云团队开发了一个简单的APP应用:移动云相册,其中使用了ECS主要用作部署云相册的API服务(图片信 ...

  4. usage of elinks (命令行下的firefox)

    No.0 Press "Esc" to show main menu ============================================= No.1 tyep ...

  5. Asp.net MVC4 与 Web Form 并存

          Web Forms 与 MVC 的asp.net 基础架构是相同的.MVC 的路由机制并不只MVC 特有的,它与WebForm 也是共享相同的路由机制.Web Forms 的Http请求针 ...

  6. UWP开发随笔——使用SQLite数据库

    摘要 大多数的app都需要数据存储,在数据存储这方面,强大的windows把app数据分为两种:settings和files,并提供了十分简洁的api,让开发者能够轻松使用.但是在有些场景下,app的 ...

  7. 换个角度理解云计算之HDFS

    学习云计算,必然得了解Hadoop,而Hadoop中的HDFS(分布式文件系统)是一个基础,接下来就写一下我所理解的HDFS. 有一个很有特别的村庄,村庄里面有一个很牛逼的人,叫做“大哥”,村民们都信 ...

  8. [我给Unity官方视频教程做中文字幕]beginner Graphics – Lessons系列之材质了解Materials

    [我给Unity官方视频教程做中文字幕]beginner Graphics – Lessons系列之材质了解Materials 既上一篇分享了中文字幕的灯光介绍Lights后,本篇分享一下第3个已完工 ...

  9. 《OOC》笔记(2)——C语言实现trycatchfinally

    本篇就偷个懒吧,实在打不起精神. #ifndef _TRY_THROW_CATCH_H_ #define _TRY_THROW_CATCH_H_ #include <stdio.h> #i ...

  10. C#高级一

    1.单例模式:又叫单件模式,属于创建型模式分类.实际上讲,一个对象只允许创建一个实例,并且提供了一个全局的访问点.  (静态方法生命周期长,消亡时间短,GC不回收) ================= ...