在网络时代,大量的数据交互以xml和json格式提供,特别是系统间的数据交互和网络WebAPI、WebService接口的数据提供,都是通过结构化的xml或json提供给其他应用调用返回数据。
若能提供xml或json结构的数据直接转换为标准数据表结构,将大大减少了xml或json的数据解释的工作量,特别是可以让数据直达终端用户,让用户自主地选择所需数据,而不是靠程序员自己解释,取舍哪些字段需要。
今天第90波,特意献上有分量的json转标准数据表结构的功能,再次大大减少了对专业IT的依赖程度和调动用户自助式进行数据处理的能力。

业务场景

一般来说,网抓的数据,很多时候也需要进行json的解释,因为网络接口的变动致使网抓程序失效也是常有的事情。

同样地,数据的处理过程中,难免要对数据进行精减取舍,一份完整的数据源,不同人对其的数据需求不一,若没有让用户去参与选择需要哪些字段信息,而一刀切地处理数据,想必增加不少工作量,也增加了返工的次数。

数据分析过程中,必定需要标准的数据表结构的数据,对json/xml这样的数据结构,是无法开展分析工作的,大量的时间花在解释json、xml文件的结构上,单调乏味还耗时也没有什么价值感。

一开始抱有一点希望,直接用PowerQuery来操作,界面化的解释过程,想必非常友好和智能,试了一翻,虚有徒表,起码我这样的PowerQuery水平未能很好地解决和拿到自己想要的效果。

powerquery上进行json的解释

json、xml结构的数据,也有可能是一个dataset结构的,即数据内部会有多张表关联而成,表与表之间的关系除了较理想的一对多关系,更有多对多关系,生硬地进行拆解,必然会产生数据膨胀重复,让数据统计产生错误。

例如:一个json结构的订单表,主订单中包含了买家信息,而可能这个买家信息又展开多重信息如买家的多个购物喜爱标签,而在订单明细上,一个明细记录只和一个主订单关联,若不小心关联到买家信息,产生多对多的关系,多条订单明细和多个购物喜爱标签两两关联,产生了笛卡尔积的数据结构。

一般开发者存储的数据结构为规范化的数据,将数据拆散在多个表中存储防止冗余,而数据分析的很大需求是将其 反规范化,将多个表的数据合并为一个大的宽表,允许冗余,在普通工具如PowerQuery上很难考虑这种问题

综上所述,这一切的难点和痛点将在此篇功能中得到一一解决。

功能简介

除了核心的json转表格结构外,另外附带了两个json和xml互转的功能,即其实无论是json或xml都可以实现转换为标准表结构的数据(xml格式先转为json,再由json转表结构)

功能入口

使用步骤

步骤1:老规则,用单元格选择的方式来确定需要处理的json文件或文本。

同一次处理的json数据结构应该是相同的,且最好将第1个单元格内放置最全字段的json数据,后续其他单元格的数据将按第1个单元格提取到的规则动作。

先选定要处理的json文件

也可以选定处理json文本

步骤2:点击【批量json转Excel表格】按钮,确定选择类型

单元格内容属于文件路径还是文本的确认

步骤3:根据窗体界面,选择所需表和所需字段

最终要解释的json,可能存在多个表在里面,此处选择自己所需的表导出,可根据表的字段数量、和字段名和下方选择后显示出来的对应的数据清单来决定选择所要输出的数据。
可选择字段名单元格,Ctrl+C复制后,粘贴到记事本中观察字段的完整名字,名字对应的是json的路径

选择表名

json文件中存在多个数组结构,需要拆分成多张表

字段名中保存的是businessAreas这个数组下的表

对于不需要导出的字段,可以将其对应的复选框去勾选,导出数据时将不对这些列导出。

不需导出的字段去勾选字段名

步骤4:点击【确认表格及字段选择】,程序将按所选择的信息进行json数据提取。

数据已顺利地进行转换,存放到工作表内,轻松满足下一步的分析工作。

最终数据展示在Excel工作表内

json与xml互转功能

操作方式很简单,不再展开,可按指引操作即可。

结语

因程序员与数据分析的需求点不同,在网络应用中,程序员更倾向于将数据转成json供网页渲染或供其他程序来调用共享数据。但在数据分析人员群体,数据永远需要整理成标准数据表结构的数据。

处理xml或json可能对程序员不是什么问题,对一般用户,那就是天书一般,需要会xpath、jpath等数据查询语言才能对其进行处理,门槛太高。

Excel催化剂专心做一件事,对数据处理与分析工作,尽最大化地拉低门槛,让普通用户一样可以玩转各种复杂数据转换与分析。

今天第90波,算是非常有份量的一波,后续各种网络爬虫功能,也将大大加速开发效率,同时也还给用户更大的自由度,想要什么数据,特别是有对更详细字段需求的个别用户,一概支持到底!

系列文章

一文带你全面认识Excel催化剂系列功能
安装过程详解及安装失败解决方法
第1波-工作表导航
第2波-数字格式设置
第3波-与PowerbiDesktop互通互联
第4波-一大波自定义函数高级应用,重新定义Excel函数的学习和使用方法
第5波-使用DAX查询从PowerbiDeskTop中获取数据源
第6波-导出PowerbiDesktop模型数据字典
第7波-智能选区功能
第8波-快速可视化数据
第9波-数据透视表自动设置
第10波-快速排列工作表图形对象
第11波-快速批量插入图片
第12波-快速生成、读取、导出条形码二维码
第13波-一键生成自由报表
第14波-一键生成零售购物篮分析
第15波-接入AI人工智能NLP自然语言处理
第16波-N多使用场景的多维表转一维表
第17波-批量文件改名、下载、文件夹创建等
第18波-在Excel上也能玩上词云图
第19波-Excel与Sqlserver零门槛交互-查询篇
第20波-Excel与Sqlserver零门槛交互-数据上传篇
第21波-Excel与Sqlserver零门槛交互-执行SQL
第22波-Excel文件类型、密码批量修改,补齐Power短板
第23波-非同一般地批量拆分工作表
第24波-批量发送邮件并指点不同附件不同变量
第25波-小白适用的文本处理功能
第26波-正确的Excel密码管理之道
第27波-Excel工作表设置快捷操作
第28波-工作薄瘦身,安全地减少非必要冗余
第29波-追加中国特色的中文相关自定义函数
第30波-工作表快捷操作(批量创建、命名、排序、工作表目录)
第31波-数量金额分组凑数功能,财务表哥表姐最爱
第32波-空行空列批量插入和删除
第33波-报表形式数据结构转标准数据源
第34波-提取中国身份证信息、农历日期转换相关功能
第35波-Excel版最全单位换算,从此不用到处百度找答案
第36波-新增序列函数用于生成规律性的循环重复或间隔序列
第37波-把Sqlserver的强大分析函数拿到Excel中用
第38波-比Vlookup更好用的查找引用函数
第39波-DotNet版的正则处理函数
第40波-工资、年终奖个人所得税计算函数
第41波-文件文件夹相关函数
第42波-任意字符指定长度随机函数
第43波-文本处理类函数增强
第44波-可见区域复制粘贴不覆盖隐藏内容
第45波-逻辑判断函数增强
第46波-区域集合函数,超乎所求所想
第47波-VBA开发者喜爱的加密函数类
第48波-拆分工作薄内工作表,堪称Excel界的单反
第49波-标准数据结构表转报表样式结果
第50波-批量打印、导出PDF、双面打印功能
第51波-聚光灯功能,长宽工作表不看错位使用
第52波-相同内容批量合并单元格,取消合并单元格并填充内容
第53波-无比期待的合并工作薄功能
第54波-批量图片导出,调整大小等
第55波-Excel批注相关的批量删除作者、提取所有批注信息等
第56波-获取Excel对象属性相关自定义函数
第57波-一键生成完全组合的笛卡尔积结果表
第58波-批量生成单选复选框
第59波-快速调用Windows内部常用工具命令
第60波-数据有效性验证增强版,补足Excel天生不足
第61波-快速锁定解锁单元格及显示隐藏公式
第62波-单元格区域内数据加解密处理,最有效地保护数据方式
第63波-当前选择区域的上下左右平移功能及跳转窗口左上角
第64波-多级数据如省市区联动输入,自由配置永不失效
第65波-数据区域转换指定规格的多行或多列
第66波-数据快速录入,预定义引用数据逐字提示
第67波-父子结构表转换添加辅助信息之子父关系篇
第68波-父子结构表转换之父子关系BOM表拆分篇
第69波-打造最专业易用的商务图表库
第70波-工作薄外部链接维护管理
第71波-定义名称管理器维护增强
第72波-序列规则下的数据验证有效性好帮手:快速录入窗体辅助录入
第73波-数据转换:单行多项目转多行单项目
第74波-批量排版格式利器,瞬间美化表格
第75波-标签式报表转标准数据源
第76波-图表序列信息维护
第77波-专业图表制作辅助之批量维护序列点颜色及数据标签
第78波-功能大爆炸下如何找到所需的功能
第79波-自动及手动备份功能,比Onedrive还好用
第80波-按条件查找数字,扩展原生查找功能
第81波-指定单元格区域内容及公式填充
第82波-复制粘贴按源区域大小自动扩展收缩目标区域
第83波-遍历文件夹内文件信息特别是图像、音视频等特有信息
第84波-批量提取OUTLOOK邮件附件
第85波-灵活便捷的批量发送短信功能-使用腾讯云接口
第86波-人工智能之图像OCR文本识别全覆盖
第87波-将批量发送邮件做到极致化,需借力Outlook
第88波-批量提取pdf文件信息(图片、表格、文本等)
第89波-批量多图片转PDF

关于Excel催化剂

Excel催化剂先是一微信公众号的名称,后来顺其名称,正式推出了Excel插件,插件将持续性地更新,更新的周期视本人的时间而定争取一周能够上线一个大功能模块。Excel催化剂插件承诺个人用户永久性免费使用!

Excel催化剂插件使用最新的布署技术,实现一次安装,日后所有更新自动更新完成,无需重复关注更新动态,手动下载安装包重新安装,只需一次安装即可随时保持最新版本!

Excel催化剂插件下载链接:https://pan.baidu.com/s/1Iz2_NZJ8v7C9eqhNjdnP3Q

因插件使用VSTO开发技术完成,插件的安装需要电脑满足相关的环境配置才能运行,且需可连接外网的方式实现自动更新机制,若下载安装过程中有任何疑问或需要离线版安装等,尽量不单独私聊询问,加QQ群可高效解决(群内已汇集了VSTO开发、Powerbi技术、Sqlserver商业智能等方面的国内顶尖大牛人物,进群的好处不用多说了)

Excel催化剂插件交流群群二维码

联系作者

公众号

取名催化剂,因Excel本身的强大,并非所有人能够立马享受到,大部分人还是在被Excel软件所虐的阶段,就是头脑里很清晰想达到的效果,而且高手们也已经实现出来,就是自己怎么弄都弄不出来,或者更糟的是还不知道Excel能够做什么而停留在不断地重复、机械、手工地在做着数据,耗费着无数的青春年华岁月。所以催生了是否可以作为一种媒介,让广大的Excel用户们可以瞬间点燃Excel的爆点,无需苦苦地挣扎地没日没夜的技巧学习、高级复杂函数的烧脑,最终走向了从入门到放弃的道路。

最后Excel功能强大,其实还需树立一个观点,不是所有事情都要交给Excel去完成,也不是所有事情Excel都是十分胜任的,外面的世界仍然是一个广阔的世界,Excel只是其中一枚耀眼的明星,还有其他更多同样精彩强大的技术、工具等。*Excel催化剂也将借力这些其他技术,让Excel能够发挥更强大的爆发!

关于Excel催化剂作者

姓名:李伟坚,从事数据分析工作多年(BI方向),一名同样在路上的学习者。
服务过行业:零售特别是鞋服类的零售行业,电商(淘宝、天猫、京东、唯品会)

技术路线从一名普通用户,通过Excel软件的学习,从此走向数据世界,非科班IT专业人士。
历经重重难关,终于在数据的道路上达到技术平原期,学习众多的知识不再太吃力,同时也形成了自己的一套数据解决方案(数据采集、数据加工清洗、数据多维建模、数据报表展示等)。

擅长技术领域:Excel等Office家族软件、VBA&VSTO的二次开发、Sqlserver数据库技术、Sqlserver的商业智能BI技术、Powerbi技术、云服务器布署技术等等。

2018年开始职业生涯作了重大调整,从原来的正职工作,转为自由职业者,暂无固定收入,暂对前面道路不太明朗,苦重新回到正职工作,对Excel催化剂的运营和开发必定受到很大的影响(正职工作时间内不可能维护也不可能随便把工作时间内的成果公布于外,工作外的时间也十分有限,因已而立之年,家庭责任重大)。

和广大拥护者一同期盼:Excel催化剂一直能运行下去,我所惠及的群体们能够给予支持(多留言鼓励下、转发下朋友圈推荐、小额打赏下和最重点的可以和所在公司及同行推荐推荐,让我的技术可以在贵司发挥价值,实现双赢(初步设想可以数据顾问的方式或一些小型项目开发的方式合作)。

个人永久性免费-Excel催化剂功能第90波-xml与json数据结构转换表格结构的更多相关文章

  1. 个人永久性免费-Excel催化剂功能第105波-批量调整不规范的图形对象到单一单元格内存储

    在日常制表过程中,一个不得不面对的问题,许多的工作起点是基于其他人加工过的表格,无论自己多大的本领,面对不规范的其他人的制作的表格,经过自己的手,该擦的屁股还是要自己去亲手去擦,而带出来的也只会是一堆 ...

  2. 个人永久性免费-Excel催化剂功能第104波-批量选择多种类型的图形对象

    在Excel的日常操作过程中,选择绝对是一个高频的操作,之前开发过一些快速选择单元格区域的辅助功能,除了单元格区域,Excel强大之处在于,类似PhotoShop那般可以存放多种图形,并且有图层先后顺 ...

  3. 个人永久性免费-Excel催化剂功能第102波-批量上传本地图片至网络图床(外网可访问)

    自我突破,在100+功能后,再做有质量的功能,非常不易,相对录制视频这些轻松活,还是按捺不住去写代码,此功能虽小,但功课也做了不少,希望对真正有需要的群体带来一些惊喜. 背景介绍 图床的使用,一般是写 ...

  4. 个人永久性免费-Excel催化剂功能第103波-批量打开多文件或多链接

    有时简单的东西,却带来许多的便利,为了让大家可以记住并容易找寻到此功能,也将这么简单的功能归为一波,反正已经100+波了,也无需为了凑功能文章而故意罗列一些小功能带忽悠性地让人觉得很强大. 使用场景 ...

  5. 个人永久性免费-Excel催化剂功能第101波-批量替换功能(增加正则及高性能替换能力)

    数据处理无小事,正如没有人活在真空理想环境一下,在数据分析过程中,也没有那么真空理想化的数据源可以使用,数据处理占据数据分析的80%的时间,每一个小小的改善,获益都良多.Excel查找替换,有其局限性 ...

  6. 个人永久性免费-Excel催化剂功能第99波-手机号码归属地批量查询

    高潮过往趋于平静,送上简单的手机号码归属地查询,因接口有数量限制,仅能满足少量数据需求,如有大规模数据却又想免费获得,这就成为无解了,数据有价,且用且珍惜. 业务使用场景 除了日常自带的手机各种管家为 ...

  7. 个人永久性免费-Excel催化剂功能第100波-透视多行数据为多列数据结构

    在数据处理过程中,大量的非预期格式结构需要作转换,有大家熟知的多维转一维(准确来说应该是交叉表结构的数据转二维表标准数据表结构),也同样有一些需要透视操作的数据源,此篇同样提供更便捷的方法实现此类数据 ...

  8. 个人永久性免费-Excel催化剂功能第98波-零代码零距离轻松接触并拥有金融大数据

    数据产生价值的一个最突出的领域-金融领域,股票.证券.上市公司财务报表等,多少人在其中发掘出宝贵的数据价值.今天Excel催化剂联合Tushare金融大数据平台,让这一切的数据都能成为你我普通人零代码 ...

  9. 个人永久性免费-Excel催化剂功能第97波-快递单号批量查询物流信息

    电商时代,快递已进千万家,做电商零售行业的,快递信息的再挖掘,也显得更有意义,是数据精细化运营中必不可少的一环.一般站在系统的角度,数据用于业务流转的增删改查使用,而对于分析需求来说,这些业务系统里集 ...

随机推荐

  1. Dropbox是同步盘,Box.net是网盘(所以要学习Box)

    自从能无缝用Dropbox后,确实得瑟了很久,但只有可怜巴巴的2G空间,搞不出什么妖蛾子,dropbox的好用,世所共知.百度云盘2T的空间,我却不敢把重要的东西放在里面. 在还没有优盘的时候,我常常 ...

  2. 21 步助你成为成功的 Web 开发者(激情不是被动的:它是一种对行动起来的追求)

    随着 Web 开发产业的爆发式发展,许多人会问这样的问题:我如何才能成为一名 Web 开发者?我认为这是一个错误的提问.问题应该是:我如何才能成为一名成功的 Web 开发者? 能提出这样的问题很重要, ...

  3. 纯CSS3创意loading文字特效

    快速使用Romanysoft LAB的技术实现 HTML 开发Mac OS App,并销售到苹果应用商店中.   <HTML开发Mac OS App 视频教程> 土豆网同步更新:http: ...

  4. Firemonkey实现Mac OS程序中内嵌浏览器的功能(自己动手翻译,调用苹果提供的webkit框架)

    XE系列虽然可以跨平台,但是在跨平台的道路上只是走了一小半的路,很多平台下的接口都没实现彻底,所以为了某些功能,还必须自己去摸索. 想实现程序中可以内嵌浏览器的功能,但是Firemonkey还没有对应 ...

  5. 项目集成dubbo

    dubbo 用户指南: http://dubbo.io/User+Guide-zh.htm 开发指南:http://dubbo.io/Developer+Guide-zh.htm#DeveloperG ...

  6. dpkg:处理 xxx (--configure)时出错解决方案

    出现问题如下: 正在设置 nfs-common (1:1.2.2-4ubuntu5) ... dpkg:处理 nfs-common (--configure)时出错:  子进程 已安装 post-in ...

  7. python中的基本数据类型之 int bool str

    一.基本数据类型 1. int  ==>  整数.主要用来进行数学运算. 2.str  ==>  字符串.可以保存少量的数据,并进行相应的操作. 3.bool  =>  布尔值.判断 ...

  8. 深入浅出Ajax

    原文(我的GitHub):https://github.com/liangfengbo/frontend-ability/issues/1 学习大纲 理解Ajax的工作原理 Ajax核心-XMLHtt ...

  9. 从理论到实践,全方位认识HTTP/2

    前言   为了降低加载时间,相信大多数人都做过如下尝试   - Keep-alive: TCP持久连接,增加了TCP连接的复用性,但只有当上一个请求/响应完全 完成后,client才能发送下一个请求 ...

  10. 【python3两小时快速入门】入门笔记02:类库导入

    昨晚遇到了一个问题:pip下载了request类库,以及在pyCharm的setting中下载了request类库,项目左侧也能显示出requst文件夹,但是引入报错! 这里贴一下我的解决方案,在此记 ...