一、Curl 简介

curl命令是一个利用URL规则在命令行下工作的文件传输工具。它支持文件的上传和下载,所以是

综合传输工具,但按传统,习惯称curl为下载工具。作为一款强力工具,curl支持包括HTTP、

HTTPS、ftp等众多协议,还支持POST、cookies、认证、从指定偏移处下载部分文件、用户代理字

符串、限速、文件大小、进度条等特征。做网页处理流程和数据检索自动化,curl可以祝一臂之力。

二、常用的选项

-I/--head

//只显示返回的 HTTP 头部信息

-i/--include

//返回网页 HTTP 代码的同时也包含 HTTP 头部信息输出

-A/--user-agent <agent string>

//User-Agent简单来说就是客户使用的操作系统和浏览器信息

-e/--referer <URL>

//Referer,就是客户是从哪个页面来到当前页面的

-H/--header <header>

//通常使用 -H host:www.***.com 来自定义HTTP请求头部要访问此服务器上的 www.***.com 这个

主机

--interface <name>

//当你的服务器上有多个 IP 或网卡时,可以使用 --interface 来指定使用哪个接口、IP 地址或者主机

名发送 curl 请求

curl --interface eth0:1 http://www.***.com/

curl --interface 172.16.100.1 http://www.***.com/

-k/--insecure

//https方式连接的站点在建立会话时默认是会检测CA与网站的证书之间的完整性和可靠性,检查通过后会使用通过证书来

加密传输数据,而http方式是直接明文传输数据的,所以https是安全的,http是不安全的。在直接curl https连接的站点

时是不会获取到网页HTTP代码的。

翻译:(SSL)此选项明确允许cURL执行“不安全”的SSL连接和传输。所有的SSL连接尝试采用捆绑默认安装的

CA证书的安全。这使得所有的连接被认为是“不安全的”失败,除非使用-k / --insecure 。

-L/--location

//(HTTP / HTTPS)如果服务器报告所请求的网页已经转移到一个不同的位置(标有位置:标题和3xx响应代码),此选项

将使curl重新请求新的地方

三、实例

为了节省篇幅,省略了返回的HTTP网页代码,仅以状态码来区分请求是否成功,如200为成功,301永久跳转,302临时跳转

1. 有的程序员会禁止爬虫或者其它工具对网站进行恶意爬行,所以简单识别用户使用的浏览器和操

作系统标识,这时候使用curl就获取不到网页的HTTP代码了,但我们可以指定User-Agent方式来绕

过,如下:

[root@XssCookies xss]# curl -I -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" -k https://iyuns.cc

HTTP/1.1 200 OK

Server: ***

Date: Mon, 13 Feb 2017 17:43:47 GMT

Content-Type: text/html; charset=UTF-8

Connection: keep-alive

Vary: Accept-Encoding

X-Powered-By: PHP/7.0.12

其中也用到了-k/--insecure,具体描述看上面的选项解释

[root@XssCookies xss]# curl -I -k https://iyuns.cc

HTTP/1.1 200 OK

Server: ***

Date: Mon, 13 Feb 2017 17:43:23 GMT

Content-Type: text/html; charset=UTF-8

Connection: keep-alive

Vary: Accept-Encoding

X-Powered-By: PHP/7.0.12

2. 跟随网页跳转

我们默认直接curl的时候返回的HTTP头部是这样子的:

[root@XssCookies xss]# curl -I http://www.***.com/

HTTP/1.1 302 Moved Temporarily

Date: Mon, 13 Feb 2017 17:44:46 GMT

Content-Type: text/html; charset=utf-8

Connection: keep-alive

X-Powered-By: PHP/5.6.15

Location: ./web/index.php?

Server: ***

其中客户的站点设置了直接访问主域名时,自动跳转到http://www.***.com/web/index.php?这个

页面,但curl本身默认不会自动跳转然后返回HTTP请求头和网页代码。我们可以使用-L/--location

或者指定我们是从哪个页面跳转过来的,就可以返回跳转后的页面网页代码。

[root@XssCookies ~]# curl -I -L http://www.***.com/

HTTP/1.1 302 Moved Temporarily

Date: Mon, 13 Feb 2017 18:56:25 GMT

Content-Type: text/html; charset=utf-8

Connection: keep-alive

X-Powered-By: PHP/5.6.15

Location: ./web/index.php?

Server: ***

HTTP/1.1 200 OK

Date: Mon, 13 Feb 2017 18:56:25 GMT

Content-Type: text/html; charset=utf-8

Connection: keep-alive

Vary: Accept-Encoding

Vary: Accept-Encoding

X-Powered-By: PHP/5.6.15

Server: ***

其中返回的第一个HTTP头部信息是未跳转前的主域名请求头,第二个是跳转后的页面返回的请求

头,200状态码就表示成功了,也可以使用-i来显示完整的网页代码

或者指定referer来代表我们是从主域名跳转到的http://www.***.com/web/index.php?这个页面:

[root@XssCookies ~]# curl -I http://www.***.com/web/index.php? -e "www.***.com"

HTTP/1.1 200 OK

Date: Mon, 13 Feb 2017 19:31:13 GMT

Content-Type: text/html; charset=utf-8

Connection: keep-alive

Vary: Accept-Encoding

Vary: Accept-Encoding

X-Powered-By: PHP/5.6.15

Server: ***

3. 如果一个站有多个A记录提供服务时(可能是CDN),可以直接指定源IP地址(各种途径找)或者CDN节点的地址来获取http页面代码

[root@XssCookies xss]# curl -I http://*.*.*.*/web/index.php? -e "www.***.com" -H host:www.***.com

HTTP/1.1 200 OK

Server: ***

Date: Mon, 13 Feb 2017 17:46:11 GMT

Content-Type: text/html; charset=utf-8

Connection: keep-alive

Vary: Accept-Encoding

X-Powered-By: PHP/5.6.15

*.*.*.* 表示你找到的真实IP地址或者其他地址(反正只要能提供服务的)

欢迎来到Curl的世界的更多相关文章

  1. Swift中文教程(一)--欢迎来到Swift的世界

    原文:Swift中文教程(一)--欢迎来到Swift的世界 Apple凌晨时在WWDC发布了Swift编程语言,语法简介我很喜欢,市面上没有完整的中文教程,我在ibooks里面下载了英文原版,现在开始 ...

  2. 精通libGDX游戏开发-RPG实战-欢迎来到RPG的世界

    欢迎来到RPG的世界 本章我会快速的使用tiled这样的瓷砖地图工具,来带领大家创造所设想的世界. 创建并编辑瓷砖地图 瓷砖地图(tile-based map)是广泛应用于各种游戏类型的地图格式,li ...

  3. 欢迎来到 Flask 的世界

    欢迎来到 Flask 的世界 欢迎阅读 Flask 的文档.本文档分成几个部分,我推荐您先读 < 安装 >,然后读< 快速上手 >.< 教程 > 比快速上手文档更详 ...

  4. Nacos系列:欢迎来到Nacos的世界!

    什么是Nacos? Nacos 是构建以"服务"为中心的现代应用架构 (例如微服务范式.云原生范式) 的服务基础设施. Nacos可以做什么? 1.动态配置服务:支持以中心化.外部 ...

  5. 欢迎来到Flask的世界

    不多说,直接上文档链接:Flask的文档 教程 API 快速上手

  6. 欢迎来到 ZooKeeper 动物世界

    本文作者:HelloGitHub-老荀 Hi,这里是 HelloGitHub 推出的 HelloZooKeeper 系列,免费有趣.入门级的 ZooKeeper 开源教程,面向有编程基础的新手. Zo ...

  7. Contest 20140923 潛行世界 拓撲排序,期望

    潜行世界 查看 提交 统计 提问 总时间限制:  10000ms 内存限制:  256000kB 描述 HJA和学弟还在旅游中,这次他们来到了潜行世界.潜行世界是一个N个点M条边的有向无环图.每条路对 ...

  8. 欢迎来到Swift天地(Welcome to Swift)

    期待已久的WWDC真的是不管是什么硬件更新,没有太多的开发者,本次会议是还是很有亮点.水果给我们带来了一种新的语言Swift.种无比简洁高效的语言,并且新的 Swift 语言依然会和 C 与 Obje ...

  9. ESP32 开发之旅① 走进ESP32的世界 安装开发环境

    1.前言     欢迎大家来到ESP32的世界,从现在开始,笔者将带领大家慢慢揭开ESP32神秘的面纱.     在学习ESP32之前,博主希望读者能有ESP8266的学习基础(ESP32 Wifi模 ...

随机推荐

  1. 无框架JavaWeb简单增删改查,纯 jsp小练习

    地址 : 纯本人手码 jsp练习>>>>>

  2. Windows中的键盘快捷方式大全

    Windows有很多键盘快捷方式,使用键盘快捷方式能够大大提高使用windows的效率,同时还能提升自己的逼格,背熟几个快捷方式,操作起来行云流水犹如大神一般! 页面较长,请使用目录浏览(点击跳转), ...

  3. 生成证书申请csr文件

    一.执行命令 openssl req -nodes -newkey rsa:2048 -keyout liexiulive.key -out liexiulive.csr 二.根据提示输入基本信息 G ...

  4. nodejs 新建项目

    第一步: 新建工程-->选择nodejs-->creat 注意: 如果出错就使用第二步!! 第二步:建立express 模板的nodejs 点击下图的命令窗口,依次输入下面命令 命令: & ...

  5. 说说对npm的开发模式和生产模式的理解

    nodejs这些年的发展非常快,相信没有哪个前端不知道的了,npm也成为了前端开发中经常用到了的一个命令.那么npm不是只用一个 "npm install xxx"命令就够了吗?实 ...

  6. zabbix系列之安全

    https://blog.csdn.net/xiaoyu_0217/article/details/73500125 存在问题: 1)zabbix的Admin口令太弱或使用默认口令(Admin/zab ...

  7. .NET笔试题集(四)

    转载于:http://www.cnblogs.com/ForEvErNoME/archive/2012/09/10/2678727.html 1.请你简单的说明数据库建立索引的优缺点 使用索引可以加快 ...

  8. Oracle EBS OPM 取消生产批

    --取消生产批 --created by jenrry SET serveroutput on; DECLARE p_batch_header_rec gme_batch_header%ROWTYPE ...

  9. Oracle EBS AP 创建贷项通知单并核销到相应发票

    --1.0 生成与发票一样的贷项通知单 created by jenrry 20170423 DECLARE L_CUSTOMER_TRX_ID NUMBER; L_INVOICE_NUMBER VA ...

  10. MySQL案例08:MySQL Scheduler Events带来的风险

    定时任务是我们开发.运维人员经常用到的,比如cron,job,schedule,events scheduler等都是为了方便我们重复执行某项工作而无需人工参与而设计,这里我要说的是MySQL数据库本 ...