本原创文章属于《Linux大棚》博客，博客地址为http://roclinux.cn。文章作者为rocrocket。

为了防止某些网站的恶性转载，特在每篇文章前加入此信息，还望读者体谅。

===

[正文开始]

wget_1

wget用英语定义就是the non-interactive network downloader，翻译过来就是非交互的网络下载器。

1 wget都支持什么协议的下载？

wget支持HTTP、HTTPS和FTP协议的下载，其中也包括通过HTTP代理的下载。看起来支持的协议没有你想想的多，但其实这已足够，我相信你很少使用除这些协议之外的协议来进行下载吧。

2 wget有哪些特色之处？简单介绍一下。

wget能够跟踪HTML文件和XHTML文件，从而使得你可以下载整个站点的文件，然后离线阅读。当然这个功能并不是特别常用，因为几乎所有站点都会包含外链，一旦你用wget进行整站的下载，它也会傻傻的去下载外链站点的内容，这样一来，子子孙孙无穷尽也。

wget是个非常遵守Robot Exclusion Standard（robots.txt）标准的工具。

wget支持慢速网络下载和不稳定网络的下载。当因为网络不稳定而导致下载失败时，wget会重试直到把目标文件下载下来为止。

wget支持断点续传功能，当你下载的很大的文件在中途失败时，这项功能会很有用处。

3 对于使用wget选项，有什么建议？

由于wget是使用getopt函数来处理选项和参数的，因此wget既支持长格式的选项，也支持短格式的选项，他们大部分是一一对应的关系。但是我不建议大家使用短选项。

当某个选项有参数时，你甚至可以在短选项和参数之间不加空格。比如-o log可以写成-olog。但是，你知道的，这也是不建议的。

如果你连续使用了多个短选项，且这些短选项不需要加参数，那么可以将他们组合在一起。比如-d -r -c可以写成-drc。恩，这是被建议的。呵呵

4 wget有什么潜规则不？

当你使用wget时，请务必查看/etc/wgetrc文件和家目录下的.wgetrc文件，先搞清楚里面都设置了什么，再来使用wget命令不迟，否则，你早晚会吃大亏的。不是危言耸听哦。

某些选项还可以接受用逗号隔开的参数。比如-X（大写的x）选项，它是用来设定“不希望下载”的目录列表。你可以用逗号把不希望下载的目录一个一个 写上。比如“wget -X wukong , bajie”，这样wget心里就有数了，他知道wukong目录和bajie目录都是不用下载的。其实你也可以在.wgetrc文件中设置“不希望下 载”的目录列表，格式是这样的：

exclude_directories=wukong,bajie

于是，你不必在wget命令上设置，就可以实现“不下载”wukong和bajie目录。

当然，如果某天你下载东西时，发现总有几个目录下载不下来，你可要想到，有可能是其他人设置了.wgetrc造成的哦！当然你还要再去/etc/wgetrc文件中再查看一下，那里也是一个可疑的地方。

还有一个小技巧，也可以避免这种误会（别人设置了exclude_directories，而你却不知道），那就是在你使用wget时，这样写：

wget -r -X ” -X wukong,bajie ftp://localhost

使用-X ”的目的就是去除.wgetrc和/etc/wgetrc的作用，然后再用-X wukong,bajie设置，就可以踏踏实实的保证不下载wukong和bajie目录，而其他目录绝不会受影响。

小总结一下：.wgetrc和-X和/etc/wgetrc的设置都是属于平等关系，三者在使用时会进行并集。而在设置了-X ”时，就完全去掉了.wgetrc和/etc/wgetrc对于目录限制的作用。

5 wget不是只能下单个文件么？怎么能下目录呢？

你也太小看wget了。加上-r选项你试试，这就是传说中的“递归下载”。呵呵

6 wget命令的版本是多少？

使用wget -V（注意是大写的v哦）就可以查看了，或者是–version。我的是1.11.4（Red Hat Modified）

7 我怎么能让wget进入后台执行呢？

使用–background！启动的wget会立即进入后台执行。如果没有使用-o选项设置日志文件的话，缺省是记录在当前目录的wget-log 文件中，其实这个日志就是当初输出到屏幕上的那些东东。更重要的一点是，即使你的远程终端连接被ctrl-D或exit了，也不会影响wget的后台执 行。

有人会问，我使用wget -r ftp://localhost/a &是不是也可以进入后台阿。你可以试试看，这样写不行的。你会发现即使瞬间看到命令提示符了，但也会瞬间被刷新了的进度条所重新覆盖。而且你使用 ctrl-c还无法终止。只能kill进程来杀掉。所以说，如果你想进入后台执行，还是老老实实的使用–background吧！

8 wget在下载网站时如果遇到robots.txt全禁怎么办？

这时候，你可以使用“–execute 选项加参数”，它和把参数放到.wgetrc里的效果是一样的。你使用–execute robots=off就可以躲开robots.txt的追捕喽！

wget_2

上次提到了wget可以避免robots.txt的事情。这篇文章就做个试验，让大家亲身体验。跟着我的思路来走。

1 我们搭建了一个临时的apache-1.3.41服务器，端口号设置成了61212。网页文件所在路径为/home/rocrocket/program/apache-1.3.41-all/htdocs，我们简称为htdocs目录。

2 在htdocs目录中，我们建立一个index.html文件，内容大致如下:

$ cat -n index.html

1  <html> 2          <head> 3                  <title>rocrocket</title> 4          </head> 5          <body> 6                  <ul> 7                          <li><a href=rocrocket-1.html>rocrocket-1</li> 8                          <li><a href=rocrocket-2.html>rocrocket-2</li> 9                  </ul> 10          </body> 11  </html>

通过网页方式访问的话，效果是这样的：

3 类似的建立如下文件：

$ ls -1 index.html robots.txt roc.html rocrocket-1-1.html rocrocket-1-2.html rocrocket-1.html rocrocket-2-1.html rocrocket-2-2.html rocrocket-2.html

根据文件编号，你应该能看出他们之间的调用关系。

4 建立简单的robots.txt文件：

$ cat robots.txt User-agent: * Disallow: rocrocket-2.html

这个文件的内容就是要屏蔽rocrocket-2文件的下载和spider。

5 我们用wget来下载这个测试站点：

wget -r http://my-test.cn:61212/  $ ls -1 index.html robots.txt rocrocket-1-1.html rocrocket-1-2.html rocrocket-1.html

看！下载到的包含了robots.txt文件，但没有包含rocrocket-2及其相关的文件。

可见，robots.txt生效了，wget遵守了robots.txt的规则！

6 我如何突破robots.txt的限制呢？

使用–execute选项就可以，这个选项的作用是将其后的参数模拟“放到.wgetrc中的执行效果”。

$ wget -r --execute robots=off http://jx-nsop-test0.jx:61212/  $ ls -1 index.html rocrocket-1-1.html rocrocket-1-2.html rocrocket-1.html rocrocket-2-1.html rocrocket-2-2.html rocrocket-2.html

看，rocrocket-2系列的文件也都顺利的下载下来了:D

wget_3

当你深入学习wget时，你会发现它的选项实在是太多了，错综复杂乱如麻。今天，我们就针对常用的目录选项展开讨论。

1 -r选项

这个选项用于下载远程的文件夹，但是情况没有那么简单，对于ftp协议下载来讲，你如果使用如下命令下载

wget -r ftp://my.test.server:/home/wupengchong/img

那么，实际在当前目录下会生成my.test.server/home/wupengchong/img目录结构，可见直接使用-r选项，默认会创建一域名和绝对路径组成的目录结构的。这或许不是我们的初衷，继续向下看。

2 -nd选项

即–no-directories。当我们下载远程的数据时，可以要求wget只下载文件，不下载文件夹，所有下载的文件都平铺在当前目录下。

这时，敏锐的读者会问：“如果下载到不同路径的同名文件的话，那用-nd岂不是会造成同名文件覆盖的问题？”。答案是不会的，因为wget在下载文件时，如果当前目录下有同名文件，则会默认在新下载的文件后加上“.1”、“.2” …等标识，以示区别。

3 -x选项

即–force-directories。这个选项和–no-directories是完全相反的。–no-directories是要求绝 对不能下载和创建任何文件夹，同时所有文件都平铺在当前目录中。而–force-directories选项则要求处处都要有文件夹，即使是wget
-x http://fly.srk.fer.hr/home/robots.txt这样下载单独普通文件的命令，也会在当前目录下创建fly.srk.fer.hr/home目录结构，然后将robots.txt文件下载到fly.srk.fer.hr/home里面。

4 -nH选项

即–no-host-directories。大家已经知道了在使用wget -r命令下载目录时，默认会创建一个my.test.server文件夹的。使用-nH选项就是来禁止这种默认行为。

所以，当你用wget -r -nH ftp://my.test.server:/home/wupengchong/img命令下载数据时，会在当前目录下创建home/wupengchong/img目录结构，看，my.test.server文件夹已经不见了。

5 –protocol-directories选项

它的作用是先创建一个以协议名为名称的文件夹，例如：

wget -r –protocol-directories ftp://my.test.server:/home/wupengchong/img

则会创建如下目录结构ftp/my.test.server/home/wupengchong/img

这个选项，对于那些希望通过协议类型来区分数据的同学比较有用。

6 –cut-dirs=number选项

这个选项比较常用，它表示下载数据时，在本地创建目录时，忽略多少层目录结构。

我们拿ftp://ftp.xemacs.org/pub/xemacs/为例，如果只使用-r选项，那么本地会创建ftp.xemacs.org /pub/xemacs/目录结构，如果再加上-nH选项，则留下来的目录结构是pub/xemacs/。此处就是–cut-dirs选项起作用的地方 了。我们看一个表格吧：

只用-r选项   -> ftp.xemacs.org/pub/xemacs/

-nH -> pub/xemacs/

-nH –cut-dirs=1 -> xemacs/

-nH –cut-dirs=2  -> .

–cut-dirs=1      -> ftp.xemacs.org/xemacs/

7 -P选项

即–directory-prefix=prefix，所设置的这个prefix路径，则是用来代替当前目录的，所有本应下载到当前目录的数据都会被下载到prefix所设置的目录中去。

wget_4

使用wget时，会遇到各种突发事件。今天来讲一个。

一个800MB的大文件，在远程用wget下载，到一半时，文件被更名、被删除、被移动了，wget会发现么？ 它会如何抱怨？还是傻傻地顺序读下去，直到读完800MB为止？（你可以随便猜，但真相只有一个…呵呵）

第一步：创建大文件

$ dd if=/dev/zero of=roc-big-file  bs=8192 count=100000

其中if是数据输入源，of是数据输出目标，bs表示每次读写的缓冲区字节数，count是要读取多少次bs。

这条命令就是用来生成一个大小接近800MB的文件，命名为roc-big-file。

第二步：从另一台机器使用wget进行下载，限速在20k吧，要是不限速，刷刷几下就下完了，都来不及测试了该。呵呵

$ wget –limit-rate=20k ftp://yourdomain:/home/wupengchong/test/wgettest/roc-big-file

第三步：这步就是要搞点恶作剧了。我们先更名！

$ mv roc-big-file roc-big-file1

结果没问题，wget继续稳定运行。

第四步：继续恶作剧。我们移动它。

$ mkdir tmpdir

$ mv roc-big-file1 tmpdir/

没问题，稳定运行。

第五步：我们删除它！（拼了，真不信wget能这么鲁棒）

$ cd tmpdir/

$ rm -f roc-big-file1

继续稳定运行…. 只是你看不到这个文件了，从文件所在文件夹的大小也看不到变化了。

结论：

只要不是网络故障、远程文件系统故障或硬件故障，wget的鲁棒性是值得相信的。

其实，真正理解Linux文件系统的同学会知道，这并不是wget的鲁棒性，而是Linux文件系统的鲁棒性保证的。

over~

wget_5

上篇文章，给了大家不少误会，对于明白原理的朋友，不说自明；但对于不太精通Linux系统原理的朋友，上一篇的表述方法刚刚好。

今天我们继续了解wget的心，看看还有哪些体贴的功能，我们平时没有接触到的。

1 -t选项

即–tries=number，用于设置wget下载时重试的次数，当设置为0（数字零）或inf时表示无限次重试。默认的重试次数是20次。

不过wget也不是在什么情况下都会傻傻的重试的，例如在发生“connection refused”或“not found”时，wget会立即退出，不会进行重试。

2 -o选项

即–output-file=logfile，wget运行过程中输出到标准输出的内容都会被写到所设置的logfile文件中。

3 -O选项

即–output-document-file，表示wget下载的所有文件的内容会被依次追加写到所设置的file文件中，而不会创建原本的文件。在下载单独文件时使用-O选项，可以避免wget下载同名文件时默认写到“.1”后缀文件中的问题。

4 -N选项

即–timestamping，表示开启时间戳机制，wget会下载远程时间戳更新的文件。

5 -nc选项

即–no-clobber选项。

在同一个目录中，如果一个文件被多次下载，那么wget的处理方式会取决于几个重要选项，这其中就包括了-nc选项。

当多次下载同一个文件时，本次文件会被覆盖，或者被重写，或者被保护，这都是有可能的。

当使用wget多次下载同一个文件，且不使用-N，-nc或-r时，那么wget会默认在第二次下载时自动在文件名后加上“.1”后缀，第三次下载时加上“.2”后缀，以此类推。

但当我们使用了-nc选项时，wget不会使用“.1/.2”的策略，而是拒绝下载同一文件（即使文件内容是更新的了）。这个功能用于有的网页被同时指向了很多遍，那么使用-nc可以避免多次下载。

当使用wget且使用-r选项，但不使用-N选项或-nc选项时，重新下载同名文件时，当远程文件的修改时间是更新的了，那么wget会选择覆盖当前目录已有的老文件，此时使用-nc可以禁止wget这样做。（但当远程文件的修改时间并不新，那么wget就会拒绝下载。）

当使用wget且使用-N选项时，是否下载同名文件，完全取决于远程文件和本地文件的时间戳以及文件大小。-nc选项是不允许和-N选项同时设置 的。如果你同时使用了-N和-nc选项，会得到这样的错误提示“Can’t timestamp and not clobber old files at the same time.”

6 -c选项

即–continue选项，这就是大名鼎鼎的“断点续传”。无论你之前使用哪个下载工具下载了一半的文件，都可以用wget来继续下载此文件。比如：

wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z

当前目录已有一个ls-lR.Z文件存在，wget将假定这是一个下载了一半的文件，然后提取本地文件的文件大小，并根据此值请求从远程文件的相应文件大小处开始继续下载。

你会发现，其实wget的此断点续传策略是有隐患的，因为如果远程文件的开头部分被进行了修改，wget在进行断点续传时是意识不到这一点的，它只会傻傻的从已传文件大小之后的部分继续下载。所以使用-c选项断点续传之后，务必进行md5校验。

7 –limit-rate=amount选项

此选项适用于限速的，将速度限制在amount bytes/second,  当然也可以用单位k/m来表示，例如–limit-rate=20k将会限制速度在20KB/s。

请注意，wget实现限速的原理是在一次网络读取动作之后sleep一个特定时间段，以让平均的网络读速度降到限制值，这个策略最终会使TCP传输速度降到限制值左右。所以在传输超小文件时，可能无法达到限速的作用。

8 -w选项

即–wait=seconds选项，用于设置wget每两个请求之间间隔的秒数。这个选项很有用处，可以降低远程服务器的负载。你除了可以直接设置秒数，还可以加上m表示分钟、h表示小时、d表示天。

9 –waitretry=seconds选项

用于设置请求重试秒数。wget采用的是线性递增等待的方式，如果你设置的是10秒，那么第一次请求失败后，会等待1秒；第二次请求失败会等待2秒；直到最后达到10秒等待时间为止。所以当到达最后一次时，时间已经过了1+2+…+10=55秒。

over~

wget_others

再转点儿别的

wget 是一个命令行的下载工具。对于我们这些 Linux 用户来说，几乎每天都在使用它。下面为大家介绍几个有用的 wget 小技巧，可以让你更加高效而灵活的使用 wget。

  • $ wget -r -np -nd http://example.com/packages/

这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中，-np 的作用是不遍历父目录，-nd 表示不在本机重新创建目录结构。

  • $ wget -r -np -nd --accept=iso http://example.com/centos-5/i386/

与上一条命令相似，但多加了一个 --accept=iso 选项，这指示 wget 仅下载 i386 目录中所有扩展名为 iso 的文件。你也可以指定多个扩展名，只需用逗号分隔即可。

  • $ wget -i filename.txt

此命令常用于批量下载的情形，把所有需要下载文件的地址放到 filename.txt 中，然后 wget 就会自动为你下载所有文件了。

  • $ wget -c http://example.com/really-big-file.iso

这里所指定的 -c 选项的作用为断点续传。

  • $ wget -m -k (-H) http://www.example.com/

该命令可用来镜像一个网站，wget 将对链接进行转换。如果网站中的图像是放在另外的站点，那么可以使用 -H 选项。

http://linuxtoy.org/archives/wget-tips.html

【转】wget(二)的更多相关文章

  1. Linux下载工具-Wget

    一.安装 进入系统后执行: # yum install wget 二.常用命令使用 以下亲测可用:[文件保存在当前命令执行的文件夹中] 1.wget下载单个文件 # wget url(文件地址,如ht ...

  2. linux 安装一些命令

    一.安装wget命令: debian 或者 ubuntu : sudo apt-get install wget centos : sudo yum -y install wget 二.安装rz.sz ...

  3. 【转】 linux 安装nginx及编译参数详解

    版权声明:本文为博主原创文章,未经博主允许不得转载. 从官网下载一个nginx 的tar.gz 版. 安装方式使用make 安装 第一步:解压 tar -zxvf  nginx-1.7.4.tar.g ...

  4. Zookeeper + Hadoop2.6 集群HA + spark1.6完整搭建与所有参数解析

    废话就不多说了,直接开始啦~ 安装环境变量: 使用linx下的解压软件,解压找到里面的install 或者 ls 运行这个进行安装 yum install gcc yum install gcc-c+ ...

  5. nginx 的安装

    一.必要软件准备1.安装pcre 为了支持rewrite功能,我们需要安装pcre 复制代码代码如下: # yum install pcre* //如过你已经装了,请跳过这一步 2.安装openssl ...

  6. linux+nginx+mysql+php高性能服务器搭建

    1.安装基础包 yum -y install gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freet ...

  7. VSFTP服务——实验

    一.VSFTP 作用:提供文件共享服务,可以应用在互联网中,实现外地登录服务器下载公司文件的功能,不区分客户端,在windows和linux中都是可以使用的 1.安装vsftpd [root@Serv ...

  8. centos7 部署 ELK 日志系统

    =============================================== 2017/12/24_第3次修改                       ccb_warlock 更 ...

  9. centos安装node环境

    一.安装wget yum install -y wget 二.下载node最新的安装包 wget https://nodejs.org/dist/v10.13.0/node-v10.13.0-linu ...

随机推荐

  1. vb代码之-------当窗体BorderStyle属性为0时，添加窗口预览到任务栏

    入吾QQ群183435019 (学习 交流+唠嗑) 有很多时候,我们为了美观,将会自己画一个标题栏,这时候我们会把原来的标题栏取消掉,最简单的方法是吧窗体的BorderStyle设置成为0, 然后自己 ...

  2. Spring+SpringMVC+MyBatis+easyUI整合基础篇

    基础篇 Spring+SpringMVC+MyBatis+easyUI整合基础篇(一)项目简介 Spring+SpringMVC+MyBatis+easyUI整合基础篇(二)牛刀小试 Spring+S ...

  3. css样式中如何设置中文字体？

    代码如下: .selector{ font-family: SimHei,"微软雅黑",sans-serif; }  注意:加上中文名“微软雅黑”是为了兼容opera浏览器,中文字 ...

  4. flask开发框架

    # -*- coding: utf-8 -*- # import fcrm from fcrm import app if __name__ == '__main__': # fcrm.app.run ...

  5. Centos7 Zookeeper

    本文版权归博客园和作者吴双本人共同所有 转载和爬虫请注明原文地址 www.cnblogs.com/tdws 一.写在前面 ZK是一个高效的分布式协调服务,高可用的分布式管理协调框架. 朋友推荐一本书& ...

  6. hihoCoder #1498 : Diligent Robots【数学】

    #1498 : Diligent Robots 时间限制:10000ms 单点时限:1000ms 内存限制:256MB 描述 There are N jobs to be finished. It t ...

  7. Codeforces Round #442 (Div. 2)

    A. Alex and broken contest time limit per test 2 seconds memory limit per test 256 megabytes input s ...

  8. hdu_1027(好吧。。。牛。。。next_permutation也可以水过)

    #include<cstdio> #include<cstring> #include<algorithm> using namespace std; ; int ...

  9. Redis进阶实践之四Redis的基本数据类型

    一.引言    今天正式开始了Redis的学习,如果要想学好Redis,必须先学好Redis的数据类型.Redis为什么会比以前的Memchaed等内存缓存软件使用的更频繁,适用范围更广呢?就是因为R ...

  10. 解决Perhaps you are running on a JRE rather than a JDK?问题

    Maven-No compiler is provided in this environment. Perhaps you are running on a JRE rather than a JD ...