curl 命令详解

 

命令事例

  • 发送POST请求:

    • 如果传输文件:curl -F "blob=@tmp.txt;type=text/plain" localhost:8080/request_body
    • 普通post请求:curl -d "method=searchone&module=seller&user_name=wb-liqiu&nickname=dd" -H"Host:fmp.view.lz.taobao.com" "10.235.160.141:8082/api.php"
  • 模拟登录,传输cookie和参数:
    • 下载cookie,命令:curl -c ./cookie.txt -d "language=zh&password=admin&username=admin" http://***.com:8080/saiku/rest/saiku/session
    • 携带cookie以登录用户身份访问,命令如下:curl -b ./cookie.txt -L -d "name=/homes/test2&file=/homes/search.saiku" -H"Host:***.com" "192.0.0.134:8080/saiku/rest/saiku/api/repository/resource"
  • 伪造来源地址,有的网站会判断,请求来源地址
    • curl -e http://localhost http://www.sina.com.cn
  • 伪造cookie,防止302跳转页面不能下载
    • wget --cookies=on --load-cookies=cookie.txt --keep-session-cookies --save-cookies=cookie.txt http://detail.tmall.com/item.htm?id=25139372969
  • 使用proxy缓存
    • curl -L -x127.0.0.1:13128 http://detail.tmall.com/item.htm?id=25823396605

命令事例详解

一、查看网页源码

直接在curl命令后加上网址,就可以看到网页源码。我们以网址www.sina.com为例(选择该网址,主要因为它的网页代码较短)

curl www.baidu.com

如果要把这个网页保存下来,可以使用-o参数,这就相当于使用wget命令了。

curl -o [文件名] www.baidu.com

二、自动跳转 有的网址是自动跳转的。使用-L参数,curl就会跳转到新的网址。curl -L http://item.taobao.com/item.htm?id=25823396605 键入上面的命令,结果就自动跳转为http://detail.tmall.com/item.htm?id=25823396605

三、显示头信息 -i 参数可以显示http response的头信息,连同网页代码一起。(-I 参数则是只显示http response的头信息。)

curl -i www.baidu.com
 HTTP/1.1 200 OK
Date: Fri, 28 Feb 2014 05:39:57 GMT
Content-Type: text/html
Transfer-Encoding: chunked
Connection: Keep-Alive
Vary: Accept-Encoding
Set-Cookie: BAIDUID=0F251A658E427EBB7CBEB0C3F4A70FAE:FG=1; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; d
omain=.baidu.com
Set-Cookie: BDSVRTM=0; path=/
Set-Cookie: H_PS_PSSID=4104_5231_1445_5139_5225_5378_5368_4261_4760_5400; path=/; domain=.baidu.com
P3P: CP=" OTI DSP COR IVA OUR IND COM "
Expires: Fri, 28 Feb 2014 05:39:45 GMT
Cache-Control: private
Server: BWS/1.1
BDPAGETYPE: 1
BDQID: 0xc3b306dca955703d
BDUSERID: 0 <!DOCTYPE html>.....

四、显示通信过程 -v 参数可以显示一次http通信的整个过程,包括端口连接和http request头信息。命令:curl -v www.baidu.com

* About to connect() to www.baidu.com port 80
* Trying 115.239.210.26... connected
* Connected to www.baidu.com (115.239.210.26) port 80
> GET / HTTP/1.1
> User-Agent: curl/7.15.5 (x86_64-redhat-linux-gnu) libcurl/7.15.5 OpenSSL/0.9.8b zlib/1.2.3 libidn/0.6.5
> Host: www.baidu.com
> Accept: */*
>
< HTTP/1.1 200 OK
< Date: Fri, 28 Feb 2014 05:42:37 GMT
< Content-Type: text/html
< Transfer-Encoding: chunked
< Connection: Keep-Alive
< Vary: Accept-Encoding
< Set-Cookie: BAIDUID=442AD49501EF253AE71F2BAF3E0181FB:FG=1; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com
< Set-Cookie: BDSVRTM=0; path=/
< Set-Cookie: H_PS_PSSID=5228_1461_5187_5138_5225_5379_5368_4261_4760_5401_5286; path=/; domain=.baidu.com
< P3P: CP=" OTI DSP COR IVA OUR IND COM "
< Expires: Fri, 28 Feb 2014 05:41:43 GMT
< Cache-Control: private
< Server: BWS/1.1
< BDPAGETYPE: 1
< BDQID: 0x906950d16fb1e95d
< BDUSERID: 0
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Spee<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="content-type" content="text/html;charset=utf-8"><meta http-equiv
="X-UA-Compatible" content="IE=Edge"><link rel="dns-

如果你觉得上面的信息还不够,那么下面的命令可以查看更详细的通信过程: curl --trace output.txt www.baidu.com 或者 curl --trace-ascii output.txt www.baidu.com 运行后,请打开output.txt文件查看。

当然也有更狠的,查看页面跳转过程:curl -L -I --trace log http://item.taobao.com/item.htm?id=25823396605

HTTP/1.1 301 Moved Permanently
Server: Tengine
Date: Fri, 28 Feb 2014 06:16:01 GMT
Content-Type: text/html;charset=GBK
Content-Length: 0
Connection: close
P3P: CP='CURa ADMa DEVa PSAo PSDo OUR BUS UNI PUR INT DEM STA PRE COM NAV OTC NOI DSP COR'
Content-Language: zh-CN
Accept-Ranges: bytes
X-Varnish: 1206961665
Via: 1.1 varnish
location: http://detail.tmall.com/item.htm?id=25823396605&
X-Cache: MISS
Cache-Control: max-age=3 HTTP/1.1 302 Found
Server: Tengine
Date: Fri, 28 Feb 2014 06:16:01 GMT
Content-Type: text/html
Content-Length: 260
Connection: keep-alive
at_bucketid: sbucket_-1
X-Bucket-Id: -1
Location: http://jump.taobao.com/jump?target=http%3a%2f%2fdetail.tmall.com%2fitem.htm%3fid%3d25823396605%26%26tbpm%3d1
Cache-Control: HTTP/1.1 302 Found
Date: Fri, 28 Feb 2014 06:16:01 GMT
Content-Type: text/html
Content-Length: 260
Connection: close
Set-Cookie: _tb_token_=ktbzEwzFR6qy;domain=.taobao.com;Path=/;HttpOnly
Set-Cookie: cookie2=6c6bc65b9e9a5159cff5b3d0cae4dfd9;domain=.taobao.com;Path=/;HttpOnly
Set-Cookie: t=d768c73859b40e10ef81f7abd0824704;domain=.taobao.com;Expires=Thu, 29-May-2014 06:16:01 GMT;Path=/
P3P: CP='CURa ADMa DEVa PSAo PSDo OUR BUS UNI PUR INT DEM STA PRE COM NAV OTC NOI DSP COR'
Location: http://pass.tmall.com/add?_tb_token_=ktbzEwzFR6qy&cookie2=6c6bc65b9e9a5159cff5b3d0cae4dfd9&t=d768c73859b40e10ef81f7abd0824704&target=http%3a%2f%2fdetail.tmall.com%2fitem.htm%3fid%3d25823396605%26%26tbpm%3d1&pacc=A_12nKe89qHIcAyauBtovg==&opi=110.75.118.230&tmsc=1393568161483632 HTTP/1.1 302 Found
Date: Fri, 28 Feb 2014 06:16:01 GMT
Content-Type: text/html
Content-Length: 260
Connection: close
P3P: CP='CURa ADMa DEVa PSAo PSDo OUR BUS UNI PUR INT DEM STA PRE COM NAV OTC NOI DSP COR'
Set-Cookie: _tb_token_=ktbzEwzFR6qy;domain=.tmall.com;Path=/
Set-Cookie: cookie2=6c6bc65b9e9a5159cff5b3d0cae4dfd9;domain=.tmall.com;Path=/
Set-Cookie: t=d768c73859b40e10ef81f7abd0824704;domain=.tmall.com;Path=/
Location: http://detail.tmall.com/item.htm?id=25823396605&&tbpm=1 HTTP/1.1 302 Found
Server: Tengine
Date: Fri, 28 Feb 2014 06:16:01 GMT
Content-Type: text/html
Content-Length: 260
Connection: keep-alive
at_bucketid: sbucket_-1
X-Bucket-Id: -1
Location: http://jump.taobao.com/jump?target=http%3a%2f%2fdetail.tmall.com%2fitem.htm%3fid%3d25823396605%26%26tbpm%3d2
Cache-Control: HTTP/1.1 302 Found
Date: Fri, 28 Feb 2014 06:16:01 GMT
Content-Type: text/html
Content-Length: 260
Connection: close
Set-Cookie: _tb_token_=GgU93fEjKGT4;domain=.taobao.com;Path=/;HttpOnly
Set-Cookie: cookie2=ef3c440d74ff391de6b560da4ef8a5c9;domain=.taobao.com;Path=/;HttpOnly
Set-Cookie: t=187a71d8df58caac2c4e08d40245c31f;domain=.taobao.com;Expires=Thu, 29-May-2014 06:16:01 GMT;Path=/
P3P: CP='CURa ADMa DEVa PSAo PSDo OUR BUS UNI PUR INT DEM STA PRE COM NAV OTC NOI DSP COR'
Location: http://pass.tmall.com/add?_tb_token_=GgU93fEjKGT4&cookie2=ef3c440d74ff391de6b560da4ef8a5c9&t=187a71d8df58caac2c4e08d40245c31f&target=http%3a%2f%2fdetail.tmall.com%2fitem.htm%3fid%3d25823396605%26%26tbpm%3d2&pacc=Vo8f-VlYEYPJ6WE3iTX96Q==&opi=110.75.118.230&tmsc=1393568161501736 HTTP/1.1 302 Found
Date: Fri, 28 Feb 2014 06:16:01 GMT
Content-Type: text/html
Content-Length: 260
Connection: close
P3P: CP='CURa ADMa DEVa PSAo PSDo OUR BUS UNI PUR INT DEM STA PRE COM NAV OTC NOI DSP COR'
Set-Cookie: _tb_token_=GgU93fEjKGT4;domain=.tmall.com;Path=/
Set-Cookie: cookie2=ef3c440d74ff391de6b560da4ef8a5c9;domain=.tmall.com;Path=/
Set-Cookie: t=187a71d8df58caac2c4e08d40245c31f;domain=.tmall.com;Path=/
Location: http://detail.tmall.com/item.htm?id=25823396605&&tbpm=2 HTTP/1.1 302 Found
Server: Tengine
Date: Fri, 28 Feb 2014 06:16:01 GMT
Content-Type: text/html
Content-Length: 260
Connection: keep-alive
at_bucketid: sbucket_-1
X-Bucket-Id: -1
Location: http://jump.taobao.com/jump?target=http%3a%2f%2fdetail.tmall.com%2fitem.htm%3fid%3d25823396605%26%26tbpm%3d3
Cache-Control: HTTP/1.1 302 Found
Date: Fri, 28 Feb 2014 06:16:01 GMT
Content-Type: text/html
Content-Length: 260
Connection: close
Set-Cookie: _tb_token_=Uta86PoG6cWC;domain=.taobao.com;Path=/;HttpOnly
Set-Cookie: cookie2=cd06dba05f2bf1124200861d0b8a151b;domain=.taobao.com;Path=/;HttpOnly
Set-Cookie: t=618388c77aff03aec08309747a82f440;domain=.taobao.com;Expires=Thu, 29-May-2014 06:16:01 GMT;Path=/
P3P: CP='CURa ADMa DEVa PSAo PSDo OUR BUS UNI PUR INT DEM STA PRE COM NAV OTC NOI DSP COR'
Location: http://pass.tmall.com/add?_tb_token_=Uta86PoG6cWC&cookie2=cd06dba05f2bf1124200861d0b8a151b&t=618388c77aff03aec08309747a82f440&target=http%3a%2f%2fdetail.tmall.com%2fitem.htm%3fid%3d25823396605%26%26tbpm%3d3&pacc=RptvnJCXDG4WtvFa0JIqoQ==&opi=110.75.118.230&tmsc=1393568161510003 HTTP/1.1 302 Found
Date: Fri, 28 Feb 2014 06:16:01 GMT
Content-Type: text/html
Content-Length: 260
Connection: close
P3P: CP='CURa ADMa DEVa PSAo PSDo OUR BUS UNI PUR INT DEM STA PRE COM NAV OTC NOI DSP COR'
Set-Cookie: _tb_token_=Uta86PoG6cWC;domain=.tmall.com;Path=/
Set-Cookie: cookie2=cd06dba05f2bf1124200861d0b8a151b;domain=.tmall.com;Path=/
Set-Cookie: t=618388c77aff03aec08309747a82f440;domain=.tmall.com;Path=/
Location: http://detail.tmall.com/item.htm?id=25823396605&&tbpm=3 HTTP/1.1 200 OK
Server: Tengine
Date: Fri, 28 Feb 2014 06:16:01 GMT
Content-Type: text/html;charset=GBK
Connection: keep-alive
Vary: Accept-Encoding
at_bucketid: sbucket_-1
X-Bucket-Id: -1
Cache-Control: max-age=1
At_Autype: 4_103979994
At_Cat: item_50018599
X-Category: /cat/50008090
At_Nick: %E8%B6%8A%E5%BA%A6%E6%95%B0%E7%A0%81%E4%B8%93%E8%90%A5%E5%BA%97
At_Itemid: 25823396605
At_Isb: 1
At_Pgty: 2
At_Cat: 50018599
At_Brid: 272676782
At_Prid: 221236332
At_Autype: 0_103979994
At_Auid: 25823396605
Content-Language: zh-CN
X-Cache: MISS TCP_MISS dirn:-2:-2
Via: wagbridge010207087016.cm3:8888

五、发送表单信息 发送表单信息有GET和POST两种方法。GET方法相对简单,只要把数据附在网址后面就行: curl baidu.com/form.cgi?data=xxx

POST方法必须把数据和网址分开,例如:curl -d "method=searchone&module=seller&user_name=wb-liqiu&nickname=dd" -H"Host:fmp.view.lz.taobao.com" "10.235.160.141:8082/api.php"

六、文件上传 假定文件上传的表单你可以用curl这样上传文件,命令:curl --form upload=@localfilename --form press=OK http://www.baidu.com

七、Referer字段 有时你需要在http request头信息中,提供一个referer字段,表示你是从哪里跳转过来的: curl --referer http://www.baidu.com http://www.baidu.com

八、User Agent字段 这个字段是用来表示客户端的设备信息。服务器有时会根据这个字段,针对不同设备,返回不同格式的网页,比如手机版和桌面版。 iPhone4的User Agent是: “Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_0 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293 Safari/6531.22.7”。curl可以这样模拟: curl --user-agent "[User Agent]" [URL]

九、cookie 使用--cookie参数,可以让curl发送cookie。curl --cookie "name=xxx" www.baidu.com 至于具体的cookie的值,可以从http response头信息的Set-Cookie字段中得到。也可以例如:curl -c ./cookie.txt http://www.baidu.com

十、增加头信息 有时需要在http request之中,自行增加一个头信息。--header参数就可以起到这个作用。curl --header "xxx: xxxxxx" http://baidu.com

十一、HTTP认证 有些网域需要HTTP认证,这时curl需要用到--user参数:curl --user name:password baidu.com

<html>
<meta http-equiv="refresh" content="0;url=http://www.baidu.com/">
</html>

十二、设置代理缓存 -x<ip:port>

curl -L -x127.0.0.1:13128 http://detail.tmall.com/item.htm?id=25823396605

curl命令的用法的更多相关文章

  1. shell神器curl命令的用法 curl用法实例笔记

    shell神器curl命令的用法举例,如下: ##基本用法(配合sed/awk/grep) $curl http://www.jquerycn.cn ##下载保存 $curl http://www.j ...

  2. curl命令常见用法汇总 good

    curl是一种命令行工具,作用是发出网络请求,然后得到和提取数据,显示在"标准输出"(stdout)上面. curl是一个强大的命令行工具,它可以通过网络将信息传递给服务器或者从服 ...

  3. Ubuntu命令用法详解——curl命令

    简介: cURL(CommandLine Uniform Resource Locator)是一个利用URL语法在命令行下工作的文件传输工具,1997年首次发行.它支持文件上传和下载,所以是综合传输工 ...

  4. curl命令用法

    curl命令是一个功能强大的网络工具,它能够通过http.ftp等方式下载文件,也能够上传文件,同时支持HTTPS等众多协议,还支持POST.cookies.认证.从指定偏移处下载部分文件.用户代理字 ...

  5. 从curl命令获取libcurl的用法

    libcurl的用法参数太多 有时候弄不好 可以先用curl命令实现了 然后获取相应的libcurl代码 比如要上传文件 curl -T d:/h.txt http://demo.xudp.cn/up ...

  6. 学习笔记之 curl 命令用法详解

    [前言]     本文翻译和整理自 Linux-2.6.32 中和 curl 相关的 Manual Page 描述文档. 文档目的仅在提醒读者所遗忘的知识点,故在整理时削弱了阅读流畅性,适用于对 cu ...

  7. curl命令的高级用法

    curl命令 是一个利用URL规则在命令行下工作的文件传输工具.它支持文件的上传和下载,所以是综合传输工具,但按传统,习惯称curl为下载工具.作为一款强力工具,curl支持包括HTTP.HTTPS. ...

  8. curl命令行使用

    curl 命令使用   原文地址:http://blog.sina.com.cn/s/blog_4b9eab320100slyw.html 可以看作命令行浏览器 1.开启gzip请求curl -I h ...

  9. curl 命令行应用

    我一向以为,curl只是一个编程用的函数库. 最近才发现,这个命令本身,就是一个无比有用的网站开发工具,请看我整理的它的用法. =================================== ...

随机推荐

  1. Netty学习笔记(一)——nio基础

    Netty简单认识: 1) Netty 是由JBOSS 提供的一个Java 开源框架. 2) Netty 是一个异步的.基于事件驱动的网络应用框架,用以快速开发高性能.高可靠性的网络I0 程序. 3) ...

  2. nginx+keepalived互为主主高可用配置

    和nginx主从安装配置都一样   就是配置文件 多加个vip  里面具体要改的 请看下面的配置文件 直接master1上keepalived.conf配置文件内容: ! Configuration ...

  3. 强制执行父类下的__init__

    两种方式: 1.super(子类,self)__init__() 2.子类.__init__(self) 推荐使用super

  4. qt聊天室bug-- error: no matching function for call to 'Ui::Widget::setupUi(Widget*)' ui->setupUi(this); ^

  5. Python 的 Mixin 类(转)

    转1:https://www.cnblogs.com/aademeng/articles/7262520.html 转2:https://blog.csdn.net/u010377372/articl ...

  6. django 浅谈索引(转)

    https://blog.csdn.net/qq_37049050/article/details/80749381

  7. MyCat 插件 的应用

    什么是MyCat MyCAT是一款由阿里Cobar演变而来的用于支持数据库,读写分离.分表分库的分布式中间件.MyCAT支持Oracle.MSSQL.MYSQL.PG.DB2关系型数据库,同时也支持M ...

  8. (三十)JSP标签之自定义标签

    创建一个类,引入外部jsp-api.jar包(在tomcat 下lib包里有),这个类继承SimpleTagSupport 重写doTag()方法. jspprojec包下的helloTag类: 1 ...

  9. (六)在线文档编辑器的使用和数据字典(ueditor编辑器/my97datepicker日期控件)

    使用ueditor编辑器注意: 1. 要把ueditor的jar包添加到WEB-INF/lib里. 2. 在做图片上传等功能时,必须重写struts的过滤器,否则图片流会被拦截程序无法得到图片. 3. ...

  10. 上传文件-layui+ashx

    public void ProcessRequest (HttpContext context) { if (true) { context.Response.ContentType = " ...