【wget 下载网页】的更多相关文章

wget 下载网页

如有转载,不胜荣幸.http://www.cnblogs.com/aaron-agu/ wget --http-user=username --http-passwd=password http:/www.***.com/*** -o newname…

解决wget下载文件名乱码的一些方法

在下载用apache或者nginx做的索引目录时,遇到文件名乱码问题.搜索了不少资料,尝试了好几种方案,大家可以结合使用. 一般情况下加上–restrict-file-names=nocontrol参数就可以用了. 其实除了下面方法一和方法二外,还有一个大家可以自由发挥的,我是没有研究透,编码实在太让自己头疼了. 有一个前提,要注意索引目录显示出来的是什么编码,比如有些网站是UTF-8(这个应该比较正规,中文不会出现很大麻烦,可以用方法二搞定),有些是GBK,可能跟文件的编码,或者apache.…

初学shell，今天遇到由wget下载到本地的网页源代码的乱码问题，无聊的写了一个转码的脚本

今天用wget想下载文件,结果下载了一堆本地的index.html文件,一查看全是乱码,然后百度了一下,网页的编码格式大概有三种: 1.utf-8 2.gb2312 3.gbk 要在网页源码中的<head>下的<meta >属性的设置中查看 charset  对应的属性值. 而我的centos的操作系统只识别utf-8格式的,由环境变量LANG保存的配置,我们可以查看一下 echo $LANG  ,系统返回的是:zh_CN.UTF-8 .所以我们需要一个转换编码格式的命令:icon…

wget下载工具

转自于:http://www.jb51.net/LINUXjishu/86326.html 1.使用wget下载单个文件  e.g. wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip #下载文件,并保存在当前目录下 #下载过程显示进度条,当前下载速度,剩余下载时间等 2.使用wget -O 下载并以不同的文件名保存  e.g. wget http://www.centos.bz/download?id=1080 #默认保存在当前目录下的文件…

wget 下载整个网站，或者特定目录

需要下载某个目录下面的所有文件.命令如下 wget -c -r -np -k -L -p www.xxx.org/pub/path/ 在下载时.有用到外部域名的图片或连接.如果需要同时下载就要用-H参数. wget -np -nH -r --span-hosts www.xxx.org/pub/path/ -c 断点续传-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件-nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录-np 递归下载时不搜索上层目录,如wget -c…

Centos下wget下载整个网站，或者目录全部文件

需要下载某个目录下面的所有文件.命令如下 wget -c -r -np -k -L -p www.xxx.org/pub/path/ 在下载时.有用到外部域名的图片或连接.如果需要同时下载就要用-H参数. wget -np -nH -r –span-hosts www.xxx.org/pub/path/ -c 断点续传 -r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件 -nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录 -np 递归下载时不搜索上层目录,如wget…

wget下载整个网站

wget下载整个网站wget下载整个网站可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps , -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载 下来,由于互联网的特性,很有可能你会把整个互联网给下载下来 --,所以要加上 -np这个参数,表示不下载别的站点的链接. -k表示将下载的网页里的链接修改为本地链接.-p获得所以显示网页所需的元素,…

[转]wget 下载整个网站，或者特定目录

FROM : http://www.cnblogs.com/lidp/archive/2010/03/02/1696447.html 需要下载某个目录下面的所有文件.命令如下 wget -c -r -np -k -L -p www.xxx.org/pub/path/ 在下载时.有用到外部域名的图片或连接.如果需要同时下载就要用-H参数. wget -np -nH -r --span-hosts www.xxx.org/pub/path/ -c 断点续传-r 递归下载,下载指定网页某一目录下(包括…

使用 wget 下载需要 cookie 认证的网站

.使用火狐,安装 Export Cookies 插件 2.登录网站,点菜单"工具-Export Cookies..＂,保存 cookies.txt 到自己的文件夹 3.把 cookies.txt 文件名改成 cookie.txt 4.打开终端进入自己的文件夹,输入命令: wget --referer=http://192.168.1.250 --cookies=on --load-cookies=cookie.txt --keep-session-cookies --save-cookies=c…

ubuntu 中wget (下载)命令用法

Linux wget是一个下载文件的工具,它用在命令行下. 对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到本地服务器 1.使用wget下载单个文件 以下的例子是从网络下载一个文件并保存在当前目录 wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip 在下载的过程中会显示进度条,包含(下载完成百分比,已经下载的字节,当前下载速度,剩余下载时间). 2.使用wget -O下载并以不同的文件名保存…