jq工具及其常用用法
近来在工作中处理JSON处理较多,深入研究了一下jq,之前对jq的使用一直停留在JSON数据格式化的层面,实际它的能力远不止于此。
在处理JSON数据时,我们经常需要在命令行中进行过滤、查询和编辑的操作。jq是一个强大的命令行JSON处理工具, 它可以让我们轻松地对JSON数据进行各种操作。本文将简要介绍jq的基本概念和常用功能,并提供一些实际的例子。
一、jq简介
jq是一个轻量级且灵活的命令行JSON处理器。它允许你基于键、值和数组索引来提取、过滤和修改JSON数据。jq主要有以下特性:
基于流式处理,适用于大型JSON数据文件。
提供了丰富的操作符和函数,与 Unix 的管道(pipe)和 I/O 重定向兼容。
支持条件过滤、字符串操作、数学运算和自定义函数等高级功能。
二、安装jq
在大多数Linux发行版上,可以通过包管理器轻松安装jq:
在基于Debian的发行版上:
sudo apt-get install jq
在基于RHEL的发行版上:
sudo yum install jq
在Arch Linux上:
sudo pacman -S jq
在macOS上,可以使用Homebrew安装:
brew install jq
三、常用jq用法
以下是jq的一些常见用法。
1. 读取属性值
要从输入的JSON对象中提取属性值,可以使用.
操作符。
举例:有一个名为sample.json
的文件,内容如下:
{
"name": "Alice",
"age": 30,
"city": "New York"
}
提取名字:
cat sample.json | jq '.name'
输出结果:
"Alice"
2. 过滤数组元素
要对数组元素进行过滤,可以使用[]
操作符。
举例:有一个名为students.json
的文件,内容如下:
[
{
"name": "Alice",
"age": 30,
"city": "New York"
},
{
"name": "Bob",
"age": 25,
"city": "San Francisco"
},
{
"name": "Charlie",
"age": 23,
"city": "Los Angeles"
}
]
提取所有名字:
cat students.json | jq '.[].name'
输出结果:
"Alice"
"Bob"
"Charlie"
3. 选择特定数组元素
如果要返回具有某些属性的特定元素,则可以使用选择器。例如,要选择年龄超过25岁的学生:
cat students.json | jq '.[] | select(.age > 25)'
输出结果:
{
"name": "Alice",
"age": 30,
"city": "New York"
}
4. 排序和唯一化数组
可以使用sort
,sort_by()
和unique
函数对数组进行操作。
例如,对来自sample-array.json
文件的年龄进行排序和去重:
[30, 20, 25, 30, 25, 20]
排序且去重:
cat sample-array.json | jq 'unique | sort'
输出结果:
[
20,
25,
30
]
5. 修改数据
除了筛选和查询,jq还支持创建和修改数据。例如,为students.json
中的每个学生添加 “isActive” 属性:
cat students.json | jq '.[] | {name, age, city, isActive: true}'
输出结果:
{
"name": "Alice",
"age": 30,
"city": "New York",
"isActive": true
}
{
"name": "Bob",
"age": 25,
"city": "San Francisco",
"isActive": true
}
{
"name": "Charlie",
"age": 23,
"city": "Los Angeles",
"isActive": true
}
四、总结
jq是个非常强大的命令行JSON处理工具,支持各种数据操作功能,能够帮助你在处理JSON数据时更加便捷和高效。本文列举了一些常用的jq使用案例,但jq的功能远不止于此。更多丰富的功能可以在官方文档(点击查看)中找到。 熟练掌握jq有助于提高命令行处理JSON数据的能力,为其它处理和分析工具提供更方便的数据源。
作者:京东物流 张涛
来源:京东云开发者社区 自猿其说Tech 转载请注明来源
jq工具及其常用用法的更多相关文章
- web报表工具FineReport常用函数的用法总结(日期和时间函数)
web报表工具FineReport常用函数的用法总结(日期和时间函数) 说明:凡函数中以日期作为参数因子的,其中日期的形式都必须是yy/mm/dd.而且必须用英文环境下双引号(" " ...
- MySQL的mysqldump工具的基本用法
导出要用到MySQL的mysqldump工具,基本用法是: shell> mysqldump [OPTIONS] database [tables] 如果你不给定任何表,整个数据库将 ...
- linux 系统监控、诊断工具之 lsof 用法简介
1.lsof 简介 lsof 是 Linux 下的一个非常实用的系统级的监控.诊断工具. 它的意思是 List Open Files,很容易你就记住了它是 "ls + of"的组合 ...
- grep知识及常用用法梳理
1. grep语法及其参数说明 grep是文本搜索工具,能根据用户指定的'PATTERN模式'目标文本进行逐行匹配检查,注意grep默认会以 行 为单位打印匹配到的行. 以下是grep命令的语法及常用 ...
- centos的vi常用用法
centos的vi常用用法 vi编辑器是所有Unix及Linux系统下标准的编辑器,它的强大不逊色于任何最新的文本编辑器,这里只是简单地介绍一下它的用法和一小部分指令.由于对Unix及Linux系统的 ...
- MySql与SqlServer的一些常用用法的差别
MySql与SqlServer的一些常用用法的差别 本文为转载 本文将主要列出MySql与SqlServer不同的地方,且以常用的存储过程的相关内容为主. 1. 标识符限定符 SqlServer [] ...
- [转]ssh常用用法小结
ssh常用用法小结 1.连接到远程主机: 命令格式 : ssh name@remoteserver 或者 ssh remoteserver -l name 说明:以上两种方式都可以远程登录到远程主机, ...
- 【三支火把】---一份程序看懂C程序printf()的几种常用用法
闲来继续巩固我的学习之路,今天略微整理了一下,C程序中Printf()的一些常用用法,虽然自己以前好像会,但是不够系统,今天大致整理了一些,先贴上来看看,以后在看到其他,继续补充,希望能帮到一些像我一 ...
- grep参数说明及常用用法
grep参数说明及常用用法 趁着午休的时间把自己经常使用的一些grep命令整理一下. 方便以后查看. 后续会逐步把awk/sed/find等常用的命令理一理. 增强下记忆. 也算是对得起自己了. ^^ ...
- ssh常用用法小结
ssh常用用法小结 1.连接到远程主机: 命令格式 : ssh name@remoteserver 或者 ssh remoteserver -l name 说明:以上两种方式都可以远程登录到远程主机, ...
随机推荐
- 免费好用的录屏工具 —— EVCapture --九五小庞
下载地址:https://wwfv.lanzoue.com/b022u08ib密码:acdu 1,简介 使用过很多种屏幕录像软件,最终这个软件留下来存到我的工具宝库. 因为界面非常简单友好,功能也很好 ...
- matlab转C++——C++中的矩阵运算和矩阵型函数
最近接到一个委托,把matlab代码转译为c++语言,看看能不能提高运行效率. matlab虽然本身具有将程序转化为C++的app库,但是对代码格式有严格的要求: 变量使用之前需要对变量类型和空间大小 ...
- PostgreSQL 性能优化: 等待事件
等待事件 等待事件是 PostgreSQL 的重要优化工具.当您能查明会话为什么在等待资源以及会话在做什么时,您就能更好地减少瓶颈.您可以使用本节中的信息来查找可能的原因和纠正措施. 目录 等待事件概 ...
- 面由 AI 生|ZegoAvatar 捏脸技术解析
一.AI"卷"进实时互动 2021年,元宇宙概念席卷全球,国内各大厂加速赛道布局,通过元宇宙为不同的应用场景的相关内容生态进行赋能.针对"身份"."沉 ...
- Composer 镜像原理 (2) —— composer.json
相关文章 Composer 镜像原理 (1) -- 初识 Composer Composer 镜像原理 (2) -- composer.json Composer 镜像原理 (3) -- 完结篇 有使 ...
- Python数据分析易错知识点归纳(四):Matplotlib
四.matplotlib 基本特性 import matplotlib.pyplot as plt import numpy as np x = np.linspace(-3, 3, 50) y1 = ...
- 解决Oracle jdbc驱动包maven下载失败问题
由于Oracle版权限制,其jdbc驱动包不让人随便下载,这就给maven的下载和编译带来了麻烦. 解决办法是先获取jar包(方法一:去oracle官网下载,方法二:去oracle安装目录如produ ...
- [Spring+SpringMVC+Mybatis]框架学习笔记(五):SpringAOP_顾问
上一章:[Spring+SpringMVC+Mybatis]框架学习笔记(四):Spring实现AOP 下一章:[Spring+SpringMVC+Mybatis]框架学习笔记(六):Spring_A ...
- 修改docker容器端口映射
原文地址 操作步骤如下 关闭docker systemctl stop dokcer 修改配置文件 位置一般是: /var/lib/docker/containers/containerId/host ...
- .NET for Apache Spark 入门演练
.NET for Apache Spark 入门演练 微软官方文档: .NET for Apache Spark 入门 | Microsoft Learn 注意:由于本次在windows平台下进行演练 ...