参考资料:

  https://www.cnblogs.com/ftl1012/p/9265699.html

  https://www.cnblogs.com/lsdb/p/7171779.html

  curl和wget都是Linux下常用的下载工具,区别在于,curl可以自定义各种请求参数,所以在模拟web请求方面更擅长;而wget由于支持ftp和递归(recursive)下载,所以在下载文件方面更擅长。类比的话curl好比浏览器,而wget是迅雷。

  因为计网实验的原因接触了wget,之前虽也有所耳闻但是却只知有这个下载工具,不知怎么使用,有什么功能。下面总结一下学到的wget常用的命令,以便日后查阅,有需求时深入学习。

  首先给出最实用的几个命令:

wget -c + URL或者文件名    # 支持断点续传的下载
wget -b + URL或者文件名 # 后台下载
wget -i list # 预先给定URL列表,下载list中URL对应的文件
wget -x -r -A "*.txt" + URL 一般为目录 # 递归的下载目标目录下所有的目录和文件,并在本地创建对应文件目录
wget -nd -r -A "*.txt" + URL 一般为目录 # 递归的下载目标目录下所有的目录和文件,并不在本地创建对应文件目录
wget –x –r –R "*.txt" + URL 一般为目录 # 递归下载除某后缀之外的文件,并创建目录结构
wget –nd –r –R "*.txt" + URL 一般为目录 # 递归下载除某后缀之外的文件,并不创建目录结构
wget –m + URL 一般为目录 # 创建镜像,即完全copy

  这里补充一下递归下载的概念,这是一个很重要的特性。我们经常会听到递归搜索,递归下载。这里的递归指的是在当前目录和所有子目录。如果不使用递归下载,则只会下载当前文件夹下的文件,而忽略当前文件夹下的目录。也就是说子目录和子目录下的文件都不会被下载。

  下面罗列一些wget命令的常用参数:

参数

参数含义

‐‐help

显示 wget 的联机帮助,本表中仅仅给出了部分参数的使用,更详 细的参数使用请查阅联机帮助

‐A

表示仅接受指定的文件类型,如‐A "*.gif"将仅下载 gif 图片,如果 有多个允许可以使用“,”分开

‐b

让 wget 在后台运行,记录文件写在当前目录下"wget‐log"文件中

‐t [nuber of times]

当 wget 无法与服务器建立连接时,尝试连接多少次。比如"‐t 120" 表示尝试 120 次。当这一项为"0"的时候,指定尝试无穷多次直到 连接成功为止

‐c

断点续传,这也是个非常有用的设置,特别当下载比较大的文件 的时候,如果中途意外中断,那么连接恢复的时候会从上次没传 完的地方接着传,而不是又从头开始

‐T [number of sec]

超时时间。如"‐T 120"表示如 120 秒以后远程服务器没有发过来数 据,就重新尝试连接。如果网络速度比较快,这个时间可以设置 的短些

‐w [number of seco]

在两次尝试之间等待多少秒,比如"‐w 100"表示两次尝试之间等待 100 秒

‐Q [byetes]

限制下载文件的总大小不能超过多少,如"‐Q2k"表示不能超过 2K 字节,"‐Q3m"表示不能超过 3M 字节

‐nd

不下载目录结构,把从服务器所有指定目录下载的文件都堆到当 前目录里

‐x

与"‐nd"设置刚好相反,如"wget ‐x http://a.b.c"将创建在当前目录 下创建"a.b.c"子目录,然后按照服务器目录结构一级一级建下去, 直到所有的文件都传完

‐nH

不创建以目标主机域名为目录名的目录,将目标主机的目录结构 直接下到当前目录下

‐‐http‐user=xxx

如果 Web 服务器需要指定用户名和口令,用这两项来设定

‐‐http‐passwd=xxx

 

‐i download_list

下载文件“download_list”中列出的所有 URL

‐k

将链接转换为本地连接

‐‐proxy‐user=xxx

如果代理服务器需要输入用户名和口令,使用这两个选项

‐‐proxy‐passwd=xxx

 

‐r

‐‐recursive

specify recursive download

‐R

指定拒绝的文件类型,如‐R "*.gif"将不下载 gif 图片,如果有多个 不允许,可以使用“,”分开

‐l [depth]

下载远程服务器目录结构的深度,例如"‐l 5"下载目录深度小于或 者等于 5 以内的目录结构或者文件

‐m

做站点镜像时的选项,如果你想做一个站点的镜像

‐np

只下载目标站点指定目录及其子目录的内容

wget介绍和命令总结的更多相关文章

  1. linux中wget未找到命令

    (转)linux中wget未找到命令   转:https://blog.csdn.net/djj_alice/article/details/80407769 在装数据库的时候发现无法使用wget命令 ...

  2. (转)linux中wget未找到命令

    转:https://blog.csdn.net/djj_alice/article/details/80407769 在装数据库的时候发现无法使用wget命令,提示未找到命令,如图所示 那是因为没有安 ...

  3. 03_Linux介绍、命令

    学于黑马和传智播客联合做的教学项目 感谢 黑马官网 传智播客官网 微信搜索"艺术行者",关注并回复关键词"软件测试"获取视频和教程资料! b站在线视频 Linu ...

  4. 关于 ‘--exec’ 参数( find 命令)及介绍 ‘xargs ’命令区别(新版)

    前言: find 命令一直都是系统管理员的常用命令之一, 其参数中 "-exec" 尤其实用.而 "xargs" 命令,针对查询也有属于自己的见解.本文着重讲解 ...

  5. 1.docker介绍、命令、容器、镜像、数据卷、Dockerfile、常用软件安装、推送阿里云

    一.docker介绍 1.docker是什么 一款产品从开发到上线,从操作系统,到运行环境,再到应用配置.作为开发+运维之间的协作我们需要关心很多东西,这也是很多互联网公司都不得不面对的问题,特别是各 ...

  6. USB系列之七:ASPI介绍及命令测试

    在以前的一篇博文<关于构建DOS下编程平台的总结>中曾经介绍了一种在DOS下驱动U盘的方法,我们大致回顾一下.在config.sys中加入两个驱动程序,就可以驱动U盘:device = a ...

  7. docker简单介绍----Dockerfile命令

    DockerFile的组成部署: 下面优先介绍下Dcokerfile的基础指令 一.CMD指令:容器启动时要莫热门运行的命令,如果有多个CMD指定,最后一个生效 使用方法: CMD ["ex ...

  8. 腾讯云ping wget yum 常用命令设置问题

    遇到ping wget yum 命令不能正常使用的情况是因为腾讯云有些配置: root执行如下即可: wget -q http://mirrors.tencentyun.com/install/sof ...

  9. wget常用下载命令

    wget wget是一个从网络上自动下载文件的自由工具,支持通过HTTP.HTTPS.FTP三个最常见的TCP/IP协议下载,并可以使用HTTP代理.wget名称的由来是“World Wide Web ...

随机推荐

  1. 把数据写入txt中 open函数中 a与w的区别

    a: 打开一个文件用于追加.如果该文件已存在,文件指针将会放在文件的结尾. 也就是说,新的内容将会被写入到已有内容之后.如果该文件不存在,创建新文件进行写入. w:  打开一个文件只用于写入.如果该文 ...

  2. 基于 abp vNext 和 .NET Core 开发博客项目 - 集成Hangfire实现定时任务处理

    上一篇文章(https://www.cnblogs.com/meowv/p/12956696.html)成功使用了Redis缓存数据,大大提高博客的响应性能. 接下来,将完成一个任务调度中心,关于定时 ...

  3. BUUCTF WEB

    BUUCTF 几道WEB题WP 今天做了几道Web题,记录一下,Web萌新写的不好,望大佬们见谅○| ̄|_ [RoarCTF 2019]Easy Calc 知识点:PHP的字符串解析特性 参考了一下网 ...

  4. 百万年薪架构师一文整理RabbitMQ、ActiveMQ、RocketMQ、Kafka

    一般来说,大型应用通常会被拆分成多个子系统,这些子系统可能会部署在多台机器上,也可能只是一台机器的多个进程中,这样的应用就是分布式应用.在讨论分布式应用时,很多初学者会把它和集群这个概念搞混,因为从部 ...

  5. Java找零钱算法

    买东西过程中,卖家经常需要找零钱.现用代码实现找零钱的方法,要求优先使用面额大的纸币,假设卖家有足够数量的各种面额的纸币. 下面给出的算法比较简单,也符合人的直觉:把找零不断地减掉小于它的最大面额的纸 ...

  6. ATT&CK如何落地到安全产品

    科普:ATT&CK是什么 ATT&CK的提出是为了解决业界对黑客行为.事件的描述不一致.不直观的问题,换句话说它解决了描述黑客行为 (TTP) 的语言和词库,将描述黑客攻击的语言统一化 ...

  7. 学习scrapy框架爬小说

    一.背景:近期学习python爬虫技术,感觉挺有趣.由于手动自制爬虫感觉效率低,了解到爬虫界有先进的工具可用,尝试学学scrapy爬虫框架的使用. 二.环境:centos7,python3.7,scr ...

  8. Java实现 LeetCode 746 使用最小花费爬楼梯(递推)

    746. 使用最小花费爬楼梯 数组的每个索引做为一个阶梯,第 i个阶梯对应着一个非负数的体力花费值 costi. 每当你爬上一个阶梯你都要花费对应的体力花费值,然后你可以选择继续爬一个阶梯或者爬两个阶 ...

  9. Java实现 LeetCode 374 猜数字大小 II

    375. 猜数字大小 II 我们正在玩一个猜数游戏,游戏规则如下: 我从 1 到 n 之间选择一个数字,你来猜我选了哪个数字. 每次你猜错了,我都会告诉你,我选的数字比你的大了或者小了. 然而,当你猜 ...

  10. Java实现 蓝桥杯VIP 算法训练 平方计算

    问题描述 输入正整数a, m,输出a2%m,其中表示乘方,即a^2表示a的平方,%表示取余. 输入格式 输入包含两个整数a, m,a不超过10000. 输出格式 输出一个整数,即a^2%m的值. 样例 ...