欢迎来到Curl的世界
一、Curl 简介
curl命令是一个利用URL规则在命令行下工作的文件传输工具。它支持文件的上传和下载,所以是
综合传输工具,但按传统,习惯称curl为下载工具。作为一款强力工具,curl支持包括HTTP、
HTTPS、ftp等众多协议,还支持POST、cookies、认证、从指定偏移处下载部分文件、用户代理字
符串、限速、文件大小、进度条等特征。做网页处理流程和数据检索自动化,curl可以祝一臂之力。
二、常用的选项
-I/--head
//只显示返回的 HTTP 头部信息
-i/--include
//返回网页 HTTP 代码的同时也包含 HTTP 头部信息输出
-A/--user-agent <agent string>
//User-Agent简单来说就是客户使用的操作系统和浏览器信息
-e/--referer <URL>
//Referer,就是客户是从哪个页面来到当前页面的
-H/--header <header>
//通常使用 -H host:www.***.com 来自定义HTTP请求头部要访问此服务器上的 www.***.com 这个
主机
--interface <name>
//当你的服务器上有多个 IP 或网卡时,可以使用 --interface 来指定使用哪个接口、IP 地址或者主机
名发送 curl 请求
curl --interface eth0:1 http://www.***.com/
curl --interface 172.16.100.1 http://www.***.com/
-k/--insecure
//https方式连接的站点在建立会话时默认是会检测CA与网站的证书之间的完整性和可靠性,检查通过后会使用通过证书来
加密传输数据,而http方式是直接明文传输数据的,所以https是安全的,http是不安全的。在直接curl https连接的站点
时是不会获取到网页HTTP代码的。
翻译:(SSL)此选项明确允许cURL执行“不安全”的SSL连接和传输。所有的SSL连接尝试采用捆绑默认安装的
CA证书的安全。这使得所有的连接被认为是“不安全的”失败,除非使用-k / --insecure 。
-L/--location
//(HTTP / HTTPS)如果服务器报告所请求的网页已经转移到一个不同的位置(标有位置:标题和3xx响应代码),此选项
将使curl重新请求新的地方
三、实例
为了节省篇幅,省略了返回的HTTP网页代码,仅以状态码来区分请求是否成功,如200为成功,301永久跳转,302临时跳转
1. 有的程序员会禁止爬虫或者其它工具对网站进行恶意爬行,所以简单识别用户使用的浏览器和操
作系统标识,这时候使用curl就获取不到网页的HTTP代码了,但我们可以指定User-Agent方式来绕
过,如下:
[root@XssCookies xss]# curl -I -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" -k https://iyuns.cc
HTTP/1.1 200 OK
Server: ***
Date: Mon, 13 Feb 2017 17:43:47 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
Vary: Accept-Encoding
X-Powered-By: PHP/7.0.12
其中也用到了-k/--insecure,具体描述看上面的选项解释
[root@XssCookies xss]# curl -I -k https://iyuns.cc
HTTP/1.1 200 OK
Server: ***
Date: Mon, 13 Feb 2017 17:43:23 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
Vary: Accept-Encoding
X-Powered-By: PHP/7.0.12
2. 跟随网页跳转
我们默认直接curl的时候返回的HTTP头部是这样子的:
[root@XssCookies xss]# curl -I http://www.***.com/
HTTP/1.1 302 Moved Temporarily
Date: Mon, 13 Feb 2017 17:44:46 GMT
Content-Type: text/html; charset=utf-8
Connection: keep-alive
X-Powered-By: PHP/5.6.15
Location: ./web/index.php?
Server: ***
其中客户的站点设置了直接访问主域名时,自动跳转到http://www.***.com/web/index.php?这个
页面,但curl本身默认不会自动跳转然后返回HTTP请求头和网页代码。我们可以使用-L/--location
或者指定我们是从哪个页面跳转过来的,就可以返回跳转后的页面网页代码。
[root@XssCookies ~]# curl -I -L http://www.***.com/
HTTP/1.1 302 Moved Temporarily
Date: Mon, 13 Feb 2017 18:56:25 GMT
Content-Type: text/html; charset=utf-8
Connection: keep-alive
X-Powered-By: PHP/5.6.15
Location: ./web/index.php?
Server: ***
HTTP/1.1 200 OK
Date: Mon, 13 Feb 2017 18:56:25 GMT
Content-Type: text/html; charset=utf-8
Connection: keep-alive
Vary: Accept-Encoding
Vary: Accept-Encoding
X-Powered-By: PHP/5.6.15
Server: ***
其中返回的第一个HTTP头部信息是未跳转前的主域名请求头,第二个是跳转后的页面返回的请求
头,200状态码就表示成功了,也可以使用-i来显示完整的网页代码
或者指定referer来代表我们是从主域名跳转到的http://www.***.com/web/index.php?这个页面:
[root@XssCookies ~]# curl -I http://www.***.com/web/index.php? -e "www.***.com"
HTTP/1.1 200 OK
Date: Mon, 13 Feb 2017 19:31:13 GMT
Content-Type: text/html; charset=utf-8
Connection: keep-alive
Vary: Accept-Encoding
Vary: Accept-Encoding
X-Powered-By: PHP/5.6.15
Server: ***
3. 如果一个站有多个A记录提供服务时(可能是CDN),可以直接指定源IP地址(各种途径找)或者CDN节点的地址来获取http页面代码
[root@XssCookies xss]# curl -I http://*.*.*.*/web/index.php? -e "www.***.com" -H host:www.***.com
HTTP/1.1 200 OK
Server: ***
Date: Mon, 13 Feb 2017 17:46:11 GMT
Content-Type: text/html; charset=utf-8
Connection: keep-alive
Vary: Accept-Encoding
X-Powered-By: PHP/5.6.15
*.*.*.* 表示你找到的真实IP地址或者其他地址(反正只要能提供服务的)
欢迎来到Curl的世界的更多相关文章
- Swift中文教程(一)--欢迎来到Swift的世界
原文:Swift中文教程(一)--欢迎来到Swift的世界 Apple凌晨时在WWDC发布了Swift编程语言,语法简介我很喜欢,市面上没有完整的中文教程,我在ibooks里面下载了英文原版,现在开始 ...
- 精通libGDX游戏开发-RPG实战-欢迎来到RPG的世界
欢迎来到RPG的世界 本章我会快速的使用tiled这样的瓷砖地图工具,来带领大家创造所设想的世界. 创建并编辑瓷砖地图 瓷砖地图(tile-based map)是广泛应用于各种游戏类型的地图格式,li ...
- 欢迎来到 Flask 的世界
欢迎来到 Flask 的世界 欢迎阅读 Flask 的文档.本文档分成几个部分,我推荐您先读 < 安装 >,然后读< 快速上手 >.< 教程 > 比快速上手文档更详 ...
- Nacos系列:欢迎来到Nacos的世界!
什么是Nacos? Nacos 是构建以"服务"为中心的现代应用架构 (例如微服务范式.云原生范式) 的服务基础设施. Nacos可以做什么? 1.动态配置服务:支持以中心化.外部 ...
- 欢迎来到Flask的世界
不多说,直接上文档链接:Flask的文档 教程 API 快速上手
- 欢迎来到 ZooKeeper 动物世界
本文作者:HelloGitHub-老荀 Hi,这里是 HelloGitHub 推出的 HelloZooKeeper 系列,免费有趣.入门级的 ZooKeeper 开源教程,面向有编程基础的新手. Zo ...
- Contest 20140923 潛行世界 拓撲排序,期望
潜行世界 查看 提交 统计 提问 总时间限制: 10000ms 内存限制: 256000kB 描述 HJA和学弟还在旅游中,这次他们来到了潜行世界.潜行世界是一个N个点M条边的有向无环图.每条路对 ...
- 欢迎来到Swift天地(Welcome to Swift)
期待已久的WWDC真的是不管是什么硬件更新,没有太多的开发者,本次会议是还是很有亮点.水果给我们带来了一种新的语言Swift.种无比简洁高效的语言,并且新的 Swift 语言依然会和 C 与 Obje ...
- ESP32 开发之旅① 走进ESP32的世界 安装开发环境
1.前言 欢迎大家来到ESP32的世界,从现在开始,笔者将带领大家慢慢揭开ESP32神秘的面纱. 在学习ESP32之前,博主希望读者能有ESP8266的学习基础(ESP32 Wifi模 ...
随机推荐
- 无框架JavaWeb简单增删改查,纯 jsp小练习
地址 : 纯本人手码 jsp练习>>>>>
- Windows中的键盘快捷方式大全
Windows有很多键盘快捷方式,使用键盘快捷方式能够大大提高使用windows的效率,同时还能提升自己的逼格,背熟几个快捷方式,操作起来行云流水犹如大神一般! 页面较长,请使用目录浏览(点击跳转), ...
- 生成证书申请csr文件
一.执行命令 openssl req -nodes -newkey rsa:2048 -keyout liexiulive.key -out liexiulive.csr 二.根据提示输入基本信息 G ...
- nodejs 新建项目
第一步: 新建工程-->选择nodejs-->creat 注意: 如果出错就使用第二步!! 第二步:建立express 模板的nodejs 点击下图的命令窗口,依次输入下面命令 命令: & ...
- 说说对npm的开发模式和生产模式的理解
nodejs这些年的发展非常快,相信没有哪个前端不知道的了,npm也成为了前端开发中经常用到了的一个命令.那么npm不是只用一个 "npm install xxx"命令就够了吗?实 ...
- zabbix系列之安全
https://blog.csdn.net/xiaoyu_0217/article/details/73500125 存在问题: 1)zabbix的Admin口令太弱或使用默认口令(Admin/zab ...
- .NET笔试题集(四)
转载于:http://www.cnblogs.com/ForEvErNoME/archive/2012/09/10/2678727.html 1.请你简单的说明数据库建立索引的优缺点 使用索引可以加快 ...
- Oracle EBS OPM 取消生产批
--取消生产批 --created by jenrry SET serveroutput on; DECLARE p_batch_header_rec gme_batch_header%ROWTYPE ...
- Oracle EBS AP 创建贷项通知单并核销到相应发票
--1.0 生成与发票一样的贷项通知单 created by jenrry 20170423 DECLARE L_CUSTOMER_TRX_ID NUMBER; L_INVOICE_NUMBER VA ...
- MySQL案例08:MySQL Scheduler Events带来的风险
定时任务是我们开发.运维人员经常用到的,比如cron,job,schedule,events scheduler等都是为了方便我们重复执行某项工作而无需人工参与而设计,这里我要说的是MySQL数据库本 ...