在爬数据的时候很多时候需要下载文件比如压缩文件,音频,视频,图片等等,这些文件通常有一个请求的url,这个时候使用request模块或者urllib模块都很慢,而且很不稳定,这个时候使用wget或者axel等系统工具并结合os模块的system命令就很稳定并且很快 在数据抓取的时候很能加快速度 sudo apt-get install axel 亲测比wget快非常多:) 如果在 Windows平台可以使用迅雷会员下载更快一些, linux上面有 xware desktop…

Axel 是 Linux 平台下的一款 HTTP/FTP 的高速下载工具,支持多线程以及断点续传,对于一些有速度限制的服务器上下载东西时,Axel 的速度就明显比 wget 要快一些 还有另一个基于 wget 的多线程下载工具,multi-threading wget 简称 mwget ,链接,不过速度好像没有 Axel 快 23333333 Fedora 23+ 安装 dnf -y intsall axel CentOS 7.x 安装 CentOS 的 yum 中本来是不包含 axel 这个软…

Axel 是 Linux 下一个不错的HTTP/FTP高速下载工具.支持多线程下载.断点续传,且可以从多个地址或者从一个地址的多个连接来下载同一个文件.适合网速不给力时多线程下载提高下载速度.比如在国内VPS或服务器上下载lnmp一键安装包用Axel就比wget快. CentOS安装Axel: 目前yum源上没有Axel,我们可以到http://pkgs.repoforge.org/axel/下载rpm包安装. 32位CentOS执行下面命令: wget -c http://pkgs.repof…

一般情况,在 Linux 下我们习惯于用 wget 下载,但该工具的缺点就是无法进行多线程下载,所以往往有时候速度不够快.这里介绍的 Axel,是 Linux 下一款不错的 HTTP 或 FTP 高速下载工具.支持多线程下载.断点续传,且可以从多个地址或者从一个地址的多个连接来下载同一个文件,适合网速不给力时多线程下载以提高下载速度.需要注意的是,该软件只有命令行界面. 1.安装 Axel CentOS 安装 Axel 方法:因默认 repo 里没有 Axel,因此需要手动下载安装.到 http…

wget 应该是最常用的下载工具了,但是其不支持多线程下载. axel 安装 epel 源有 axel 的二进制包,可以使用 yum 安装. yum install epel-release yum install axel axel 使用方法 Syntax : axel [OPTIONS] url1 [url2,url3,...] OPTIONS: --max-speed=x, -s x : 设定最大下载速度. --num-connections=x, -n x : 设定并发下载数 --out…

32位CentOS执行下面命令: wget -c http://pkgs.repoforge.org/axel/axel-2.4-1.el5.rf.i386.rpm rpm -ivh axel-2.4-1.el5.rf.i386.rpm 64位CentOS执行下面命令: wget -c http://pkgs.repoforge.org/axel/axel-2.4-1.el5.rf.x86_64.rpm rpm -ivh axel-2.4-1.el5.rf.x86_64.rpm 命令参数: -n…

1.安装: apt-get install axel 2.用法: axel 参数 文件下载地址 3.常用参数: -n 指定线程数 -o 指定文件存储位置(如不指定,默认存在当前位置(pwd)) -q 静默模式 -s 指定每秒的最大比特数(用处是,如果你还在干其它连网的事,不想让这个下载占满带宽,可以通过该参数限制一个最大的速率) 详细的到时看文档慢慢写,先记录基本用法…

今天要下载一下14G左右的文件,用wget约10小时,后来发现linux下有个多线程支持断点续传的下载工具axel,试了一下,下载速度大大增加. 包地址:http://pkgs.repoforge.org/axel/ 安装 下载rpm文件并安装: $ wget http://pkgs.repoforge.org/axel/axel-2.4-1.el6.rf.x86_64.rpm $ rpm -i axel-.el6.rf.x86_64.rpm 主要参数 -n x:启动x个线程下载 -s x:最大…

Axel替代wget 2011年11月10日admin发表评论阅读评论   Linux下用的最多的下载工具莫过于wget和curl,这两个工具虽然堪称经典.但其单线程的速度越来越不能大软件的下载.于是考虑使用多线程下载工具代替这两个经典的工具.从网上搜寻不难发现多线程下载工具N多,这里只说两个.因为个人通过测试,感觉这两个工具无论和性能和下载速度上都堪称上称之作. 本篇幅介绍axel,另外一个工具aira2我会另列一个篇章介绍. Wget http://alioth.debian.org/frs…

[root@superdba ~]# mytgetMytget 0.0.99: A download accelerator for GNU/LinuxUsage: mytget [options]... [URL]...Options:  -b,  --debug          Show the debug message  -c,  --count=num      Set the retry count to [num], no limit when "0", the def…