本节书摘来华章计算机《数据分析实战:基于EXCEL和SPSS系列工具的实践》一书中的第1章 ,第1.4节,纪贺元 著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.4 数据分析的流程

数据分析一般有数据采集、数据整理、制表、数据分析、数据呈现等多个阶段。当然,不是说每一个数据分析的过程都需要这些阶段,有的企业数据质量非常好,自然就不需要数据采集过程了;也有些数据分析并不怎么需要呈现过程。不过,为了方便读者理解,下面将介绍一个完整的流程。

1.4.1 数据采集

数据采集指为了保证数据分析能够顺利展开而进行的数据采集工作。数据采集工作的难度、跨度非常大,有的采集工作非常简单,仅仅是几个简单的邮件、电话,就能够完成数据的采集工作;有的数据采集工作则非常痛苦,甚至经常会出现采集不到数据的情况。
数据采集的难度一般表现在如下几个方面。
(1)数据根本就不存在
由于企业缺乏数据规划或者现场人员疏漏等原因,在采集数据的过程中,经常发现数据根本就不存在。
(2)数据过粗
如1.1.3节所述,企业经常在数据记录的颗粒度方面出问题,例如根据某企业的规定,项目的成本数据应该按照“天”为单位来记录,但是我们最后发现成本记录的单位是“月”,这中间的差别非常大。
(3)数据质量低下
数据的错误、对不上、缺漏等情况普遍存在,曾经有一个项目合作方对我说,如果严格校对数据质量,我们的数据可以删除70%。试想想,在30%的比较“靠谱”的数据上做分析,得出的结论是否靠谱?
(4)人为原因导致数据采集困难
一些人为原因也会导致数据采集的困难,包括部门之间的隔阂、人际关系等因素。

1.4.2 数据整理

但凡是做过数据分析的人都知道,数据整理是一个痛苦而且复杂的过程,很多数据拿到手之后,并不能马上做处理,而是要经过一个转换过程,请看图1-4所示的一个需要整理的数据案例。

从图1-4可以看出,A列的数据都是合并单元格格式,如果要对以上的数据进行透视表分析,需要进行如下的操作。
(1) 取消合并单元格
选中A列,点击EXCEL中的“开始”→“合并后居中”,取消合并单元格之后的数据效果如图1-5所示。

(2) 填充空白单元格
按F5键,点击“定位条件”,如图1-6所示。

在弹出的界面中选择“空值”,如图1-7所示。
这时工作表中的空白都被选中了,效果如图1-8所示。

在公式栏中输入“=A2”,也就是让每一个单元格都等于上一个单元格的值,然后按“Ctrl+Enter”组合键,空白处都填充好了。填充后的效果如图1-9所示。

以上只是一个小小的例子,我们在进行数据处理的时候,都要先进行各种数据整理。甚至有时数据整理的时间会占据数据分析时长的70%以上。

1.4.3 制表

制表是日常工作的重要组成部分,也是数据分析的重要组成部分。实际上不少企业已经把企业管理工作贯穿到报表的实现当中,通过一张张精心设计的报表,管理人员可以迅速了解企业的采购、生产、销售、售后、财务、人事、安全等相关信息。
企业常见的报表包括如下类型。
采购报表:反映企业各部门的需求,供应商供货品类、价格等状况,采购项目进展状况等;
生产报表:包括产量表、成本表、人力消耗表、设备故障表、安全质量表等;
财务报表:包括销售输入管理、成本管控表、量本利分析表、流动资产管理表、负债管理表、投资项目决策表、财务预测表等;
售后报表:包括样品跟踪表、设备状况跟踪、客户满意度跟踪、投诉建议表等;
人事报表:包括人员状况、薪资福利、人员雇佣离职表等多个报表。

1.4.4 数据分析

数据分析的范围非常广泛,凡是基于业务需求出发且依托于数据进行分析的,就是数据分析。
企业的数据分析一般包括以下方面。
营销数据分析:这是企业数据分析的主要部分,个人认为也是数据分析最迷人最有魅力的地方。营销数据分析包括营销整体状况分析、客户分析、产品线分析、促销分析、客户画像、客户购买原因分析、营销预测、营销异常值分析等。
生产质量数据分析:包括生产态势分析、设备故障分析、生产成本分析、质量稳定性分析等。
财务数据分析:财务数据分析也是数据分析的主要部分之一,在很多企业,营销数据和财务数据有很多交集,甚至我见过一些企业的营销数据基本上是在财务部进行汇总的。财务数据分析一般比较关心异常值分析、财务预测、成本结构、项目投融资决策等多个方面。企业的其他部门也有一些数据分析的需求,不过分布得比较零散。

1.4.5 数据展示(呈现)

数据展示这件事情的跨度很大,高度重视数据展示的大企业会购买类似Tableau这样的专业可视化软件,这类软件功能强大,能够承受大数据量的考验,且运转速度快;而一般的企业由于实力限制或者没有那么高层次的需求,通常利用EXCEL或者一些数据分析插件来优化图形展示效果即可。

《数据分析实战:基于EXCEL和SPSS系列工具的实践》一1.4 数据分析的流程的更多相关文章

  1. MySQL数据分析实战-朱元禄-专题视频课程

    MySQL数据分析实战-496人已学习 课程介绍        本套课程由知名数据分析博主jacky老师录制,深入浅出讲解MySQL数据分析,从实战角度出发,帮助大家制胜职场!课程收益    1.学会 ...

  2. Excel催化剂图表系列之一键完成IBCS国际商业标准图表

    在数据分析领域,最后一公里的图表输出,是一片十分广阔的领域.一直以来,笔者深知不是这一方面的能手,学习上也仅仅是浅尝而止.没有往其深入研究并有所产出.很幸运地在数据圈子能够结识到其他的志同道合的伙伴, ...

  3. Excel和Word 简易工具类,JEasyPoi 2.1.5 版本发布

    Excel和Word 简易工具类,JEasyPoi 2.1.5 版本发布 摘要: jeasypoi 功能如同名字easy,主打的功能就是容易,让一个没见接触过poi的人员 就可以方便的写出Excel导 ...

  4. 数据分析:基于Python的自定义文件格式转换系统

    *:first-child { margin-top: 0 !important; } body>*:last-child { margin-bottom: 0 !important; } /* ...

  5. Excel催化剂图表系列之品味IBCS瀑布图观察企业利润构成

    IBCS图表,每个细节都值得反复琢磨参悟,此篇给大家送上详尽的瀑布图方式下的利润数据观察.请不要拿Excel2016版提供的瀑布图与IBCS版的瀑布图作对比,那完全不是一个级别的,可以类比为拿一辆经济 ...

  6. 实战SpringCloud响应式微服务系列教程(第三章)

    接着之前的: 实战SpringCloud响应式微服务系列教程(第一章) 实战SpringCloud响应式微服务系列教程(第二章) 1.1.3Reactor框架 响应式编程是一种编程模型,本节将介绍这种 ...

  7. 实战SpringCloud响应式微服务系列教程(第九章)使用Spring WebFlux构建响应式RESTful服务

    本文为实战SpringCloud响应式微服务系列教程第九章,讲解使用Spring WebFlux构建响应式RESTful服务.建议没有之前基础的童鞋,先看之前的章节,章节目录放在文末. 从本节开始我们 ...

  8. 数据分析03 /基于pandas的数据清洗、级联、合并

    数据分析03 /基于pandas的数据清洗.级联.合并 目录 数据分析03 /基于pandas的数据清洗.级联.合并 1. 处理丢失的数据 2. pandas处理空值操作 3. 数据清洗案例 4. 处 ...

  9. 万字长文,Python数据分析实战,使用Pandas进行数据分析

    文章目录 很多人学习python,不知道从何学起.很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手.很多已经做案例的人,却不知道如何去学习更加高深的知识.那么针对这三类人,我给大家 ...

随机推荐

  1. PTA | 1056 组合数的和 (15分)

    给定 N 个非 0 的个位数字,用其中任意 2 个数字都可以组合成 1 个 2 位的数字.要求所有可能组合出来的 2 位数字的和.例如给定 2.5.8,则可以组合出:25.28.52.58.82.85 ...

  2. 邮件服务TLS/SSL,CA证书

     邮件服务TLS/SSL,CA证书 案例1:OpenSSL及证书服务 案例2:邮件TLS/SSL加密通信 1 案例1:OpenSSL及证书服务 1.1 问题 本案例要求熟悉OpenSSL工具的基本使用 ...

  3. Mysql千万级记录表分表策略

    目前,比较流行的分表为2倍扩容. 表A(id, name, age, sex) 基于自增id分表, 通过触发器先同步A到B, 程序通过mod 2操作数据,然后drop掉触发器,在 删除两个A表的偶数i ...

  4. win下youtube-dl 【ERROR: requested format not available】选下载视频质量的坑--【值得一看】

    需求说明(bug出处): 简单说:下载youtube的视频,嵌入翻译好的中文字幕. 详细说(可略过): 阿里的海外服务器需要布一个Web Service---用以接收国内(本地服务器)的请求, 然后用 ...

  5. django->基本操作和新建项目常用配置

    一.安装django pip install django==2.1.5 -U #安装django/升级最新版本 二.创建.启动django项目 django-admin startproject m ...

  6. spark foreachPartition foreach

    1.foreach val list = new ArrayBuffer() myRdd.foreach(record => { list += record }) 2.foreachParti ...

  7. redis中的分布式锁

    分布式锁的实现场景 在平时的开发中,对于高并发的开发场景,我们不可避免要加锁进行处理,当然redis中也是不可避免的,下面是我总结出来的几种锁的场景 Redis分布式锁方案一 使用Redis实现分布式 ...

  8. std::lock_guard和std::unique_lock的区别

    std::lock_guard 1 初始化的时候锁定std::mutex std::mutex m_mtx; std::lock_guard<std::mutex> m_lock(m_mt ...

  9. 数据结构和算法(Golang实现)(2)简单入门Golang-包、变量和函数

    包.变量和函数 一.举个例子 现在我们来建立一个完整的程序main.go: // Golang程序入口的包名必须为 main package main // import "golang&q ...

  10. 【python实现卷积神经网络】池化层实现

    代码来源:https://github.com/eriklindernoren/ML-From-Scratch 卷积神经网络中卷积层Conv2D(带stride.padding)的具体实现:https ...