curl命令的基本用法

我们知道在linux环境下，可以调用curl下载网页。

但curl有些高级的应用，只需要几行命令行，可能比你写多行php、python、C++的程序要快些。

下面从问题驱动的角度来谈谈curl的用法

1. 下载页面，保存到文件

curl www.baidu.com

会将网页数据输出到标准输出终端，如要保存到文件，则需要利用

-o/--output <file>
 Write output to <file> instead of stdout.

2. 批量下载多个页面

通过{} 和[] 来标识批量下载的pattern（学过正则的同学都懂）。

这里面同样涉及到保存文件的问题，需要#1 这样的占位符来标识，curl会负责替换之，

具体如下

curl http://{one,two}.site.com -o "file_#1.txt"

or use several variables like:

curl http://{site,host}.host[1-5].com -o "#1_#2"

3. 302页面

有时下载页面会遇到301、302的页面，这时需要继续抓取页面，curl中通过

-L/--location

注意：man curl中有这样一句话

If this option is used twice, the second will again disable location following.

让curl继续获取真实的页面，如果有多次跳转，可以用max-redirs 控制最大的跳转次数

You can limit the amount of redirects to follow by using the

--max-redirs option

跳转涉及到url的变化，特别是有时url会在不同的domain间跳转，这时我们需要获取最终抓取页面的url

这时需要用到 -w/--write-out <format>  参数中的${url_effective}

 url_effective  The URL that was fetched last. This is mostly  meaningful  if you've told curl to follow location: headers.

4. 网络监控信息

如果你需要得到curl下载的信息，如返回码、网络传输速度等信息，也需要用到上述提到的-w参数，其具体的参数可以参考man curl

提几个我用到的

stat_format="%{http_code}:%{time_connect}:%{time_starttransfer}:%{time_total}"
stat_format=${stat_format}":%{speed_download}:%{size_download}:%{size_request}"
stat_format=${stat_format}":%{url_effective}"
-w $stat_format

5. 超时控制

-m/--max-time <seconds>
              Maximum time in seconds that you allow the whole operation to take.

--connect-timeout <seconds>
              Maximum time in seconds that you allow the connection to the server to take

6. 指定UA

-A 或者user-agent参数指定，注意需要添加"".

常见的ua有

'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)',

 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)',

 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)',

 'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',

 'Opera/9.27 (Windows NT 5.2; U; zh-cn)',

 'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',

 'Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13 ',

 'Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1 Safari/525.13'

移动端

’Mozilla/5.0 (iPhone 5; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit‘