​曾几何时,EXCEL在数据界可谓是独树一帜,引领风骚,在职场中无人不知,无人不晓。但是随着大数据的出现,EXCEL便风光不再,江河日下,一度被其他大数据工具挤到了后面,逐渐被边缘化了。而我是一个EXCEL忠实用户,从最开始的EXCEL2003用到了最新的EXCEL2016,每一次更新换代都感觉EXCEL的功能一次比一次强大,也更加地人性化。但是面对大数据的来势汹汹,EXCEL毕竟只是轻量级的工具,始终不是对手,因此要另辟蹊径对EXCEL的性能进行提升。

为了解决EXCEL的性能问题,我去向很多数据行业的朋友进行了请教,大部分人都劝我说,EXCEL已经不能适应这个时代的发展,要做大数据根本是不可能的事,你还是花时间去研究一下数据库或者python之类的工具吧。我听完后不以为然,并相信肯定有解决的办法。后来,我终于从一位高人口中知道了一个非常厉害的解决办法,一下子便打消了我的疑惑。

这个方法是什么呢?原来是用EXCEL连接上数据库,把数据字段从数据库界面中直接拉拽到EXCEL中进行分析,这个方法非常好用,一下子就解决了EXCEL的性能问题,处理大数据变得更加游刃有余。EXCEL支持的数据库端口还是蛮多的,市面上常用的数据库基本都支持,只要通过一定的操作便可以成功连接。具体的连接方法可以自行在网上自行搜索。

除了直接连接数据库的方法之外,还有一个更厉害的方法可以处理大数据,那就是利用插件的形式去连接数据库。以下面的Smartbi大数据分析工具为例,先安装好这个Excel插件,然后在EXCEL的界面中选择数据导入,就可以把本地的EXCEL或者CSV文件导进去了,这个文件会保存在本地的数据库里,这个方法适用于要经常处理大容量EXCEL文件的小伙伴们。

上传完数据后,可以在数据集面板里对数据字段进行拉拽,首先用鼠标选好需要分析的字段,然后从右到左把字段拉拽到EXCEL里,最后点击工具栏里的刷新,便可以把数据库中的数据刷新出来。一般来说,EXCEL文件只要是超过百万行便会非常卡,但是这个方法不会受到限制,从此你再也不需要打开庞大的数据源了,通过EXCEL便可以提取数据库中的数据了,即使是千万行的数据文件也能轻松完成分析。

当然,上面的方法只适合处理一些比较固定的数据源,如果要对一些特别的数据进行清洗和查询,必须要用到数据库软件,因此必须要具备一定基础的数据库语句知识,例如select、case when这些语句还是要经常用到的。但是很多用EXCEL的小伙伴们对数据库不熟悉,如果叫他们去用数据库语句去查询数据,无疑是一件非常头疼的事。

但是不用担心,这个问题也有解决的办法。我们还是要用到上面那个Smartbi大数据分析工具的EXCEL插件,只要在EXCEL里点击管理,便可以从EXCEL里直接进入这个插件的云端里。

进入到了云端之后,这里首先要使用的功能是即席查询。即席查询就类似数据库查询的功能,只不过即席查询使用鼠标代替了数据库语句。如果写数据库语句去查询数据的话,必然要花很多时间,但是即席查询不需要,你只要拖动鼠标,选取相应的字段后,便可以快速对需要分析的数据字段进行定位。除了字段的查询之外,表与表之间也能实现内外连接这些功能,简直就是一个可视化的数据库平台。例如下图里是一份9800万行数据量的表格,用即席查询便可以快速查询出需要分析的字段。

完成即席查询的操作后,接下来便可以开始使用一个更厉害的功能,这个功能便是透视分析了。透视分析类似EXCEL的透视表,只要通过拖拽便可以得出想要的分析的结果,但是EXCEL可以透视的数据量非常小,超过了一定数据量便没办法透视了,非常不方便。透视分析不一样,还是以上面那个9800万行数据量的表格为案例,我用透视分析便可以轻轻松松刷新出来了,而且这个操作不用在EXCEL上操作,非常给力。

说完了上面这些厉害的方法之外,这里再延伸讲一下数据可视化的概念,很多小伙伴们都非常喜欢酷炫的报表,用来呈现数据是最好不过的了。一般来说EXCEL很难做出类似下图这样的大屏效果,只能用一些昂贵的BI软件去做,但是小编在这里告诉大家一个方法,在上面所介绍的那个Smartbi大数据分析工具插件的网页端,你可以利用里面的仪表盘功能去设计很多好看的图表,样式酷炫,图表新颖,非常适合用来做企业报表平台的数据可视化。

以上就是对EXCEL进行性能扩展的一些方法,通过以上案例可以得出结论,只要解决了EXCEL的缺点,EXCEL便可以成功逆袭大数据,赶上大数据时代的“末班车”。如果你是经常用EXCEL的人,又有EXCEL性能上的困扰,那么以上的方法赶紧收藏吧。

不需要高价购买BI工具,掌握这个Excel插件就能碾压大数据的更多相关文章

  1. IT视频课程集(包含各类Oracle、DB2、Linux、Mysql、Nosql、Hadoop、BI、云计算、编程开发、网络、大数据、虚拟化

    马哥Linux培训视频课程:http://pan.baidu.com/s/1pJwk7dp Oracle.大数据系列课程:http://pan.baidu.com/s/1bnng3yZ 天善智能BI培 ...

  2. 从这3个方面考虑BI工具,选型一选一个准

    BI工具在很多场合都能听到,那么BI工具有什么功能呢?能给企业带来什么?好用的BI工具长什么样?今天跟着小编走近BI工具,一探究竟! 首先要了解BI工具的定义,什么是BI工具.BI工具是指利用现代数据 ...

  3. DT时代,优秀的BI工具应该具备哪些功能

    马云曾在一次演讲中说:"人类正从IT时代走向DT时代."那DT究竟是什么,和IT有什么不同呢?我们对IT非常熟悉,它是信息技术(InformationTechnology)的英文缩 ...

  4. 4款BI工具功能大对比,这款BI工具你不能错过!

    在这个信息爆炸式增长的时代,挖掘数据的潜在价值显得尤为重要.越来越多的人将目光聚集于商业智能领域--BI(Business Intelligence),通过数据分析软件对来自不同的数据源进行统一的处理 ...

  5. 【转】 FineBI:自助式BI工具打造业务分析的“快与准”

    如今的企业经营方式,业务对于数据分析有极大的需求,但却苦于没有数据以及工具的有效支持,业务分析仍就依赖于IT报表制作.而IT方不断地按业务需求去调研.确认业务逻辑,然后取数做报表,其中还要忍受业务的需 ...

  6. 数据分析六个步骤,一款BI工具即可全部搞定

    数据分析是将大量的数据转化为有价值的信息,以求最大化地利用数据的功能,发挥数据的作用.数据分析的类型可以分为现状分析.原因分析.预测分析,按流程分为以下6个步骤: (1) 明确数据分析目的和思路 明确 ...

  7. 2020年最为典型的BI工具有哪些?

    现在可视化BI 可以帮助充分利用企业在日常运营中积累的大量数据,帮助企业做出理性的决策,降低风险,减少损失.以下五款我认为是2020年最为典型的BI工具: (1)Tableau Tableau是国外市 ...

  8. 主流的商业智能BI工具推荐,学会数据分析没难度

    伴随着大数据概念的深入企业越来越重视大数据,商业智能BI工具已经成为许多企业数据分析的首选.也许有些小伙伴对商业智能BI工具还是有些陌生,在了解商业智能BI工具之前,先来了解一下什么是商业智能. 百度 ...

  9. 口碑最好的五款BI工具都在这了

    目前,无论是大企业还是小企业,都面临着数字化转型的挑战.在这个过程中,BI工具起到了举足轻重的作用.市面上打着BI的旗号,实际却只是单纯数据工具的产品不少,客户在进行BI 选型时,眼花缭乱,不知所措. ...

随机推荐

  1. Exception in thread “main“ java.net.ConnectException: Call From

    问题描述:#报错语句:FileSystem fs = FileSystem.get(new URI("hdfs://hadoop000:8020"),new Configurati ...

  2. 【刷题-LeetCode】150 Evaluate Reverse Polish Notation

    Evaluate Reverse Polish Notation Evaluate the value of an arithmetic expression in Reverse Polish No ...

  3. VictoriaMerics学习笔记(1):翻译官方广告

    先看看VictoriaMetrics官网网站上是如何作(tree)宣(new)传(bee)的: 官方广告 0.(监控领域)最快解决方案 为高性能而设计 便于安装 支持单机和群集版本 1.更高效的存储空 ...

  4. Xamarin/Unity3d无法访问Azure服务器或者微软API

    Xamarin因为是mono项目的商用版,mono项目是.net技术的开源修改版,所以和微软的服务对接时候会出现安全验证问题. mono项目本质是对汇编级的中间语言二次编译.可参考公共语言运行时相关知 ...

  5. dataTaDataTable 详细教程

    DataTable 选项说明 特性 jQueryUI:true/false:控制是否使用jqueryUI样式,需要引入jQueryUI的CSS autoWidth:true/false:控制Datat ...

  6. golang中算数运算、位运算、逻辑运算、赋值运算常用方法

    package main import "fmt" var a = 21.0 var b = 5.0 //var c float64 func main() { Arithmeti ...

  7. 一步一步超级详细的zabbix安装教程

    安装说明: 1. 虚拟机上安装两台全新Linux: zabbix-server:192.168.255.128 zabbix-agent :192.168.255.129 2. zabbix-serv ...

  8. Docker 与 K8S学习笔记(二十)—— 使用Downward API向容器注入Pod信息

    Kubernetes在创建Pod时,会为Pod和容器设置一些额外的信息,比如Pod名称.Pod IP.Node IP.Label.Annotation.资源限制等,我们经常会在应用程序中使用到这些数据 ...

  9. Linux性能优化实战(一)

    一.优化方向 1,性能指标 从应用负载的视角出发,考虑"吞吐"和"延时" 从系统资源的视角出发,考虑资源使用率.饱和度等 2,性能优化步骤 选择指标评估应用程序 ...

  10. [POI2009]SLO-Elephants

    首先可以发现我们可以发现最终状态和初始状态都是一个大小为 \(n\) 的排列,且恰好有 \(n\) 种关系,于是我们对于每个 \(a_i\) 连一条 \(a_i \rightarrow b_i\) 的 ...