监控网站URL是否正常最常见的方法莫过于wget和curl命令了,这两个命令都是非常强大,参数也非常多,下面列举几个常用的参数. wget  常用命令参数:--spider                                        模拟爬虫的行为去访问网站,但不会下载网页-q --quite                                      安静的访问,禁止输出,类似-o /dev/null-o --output-file=FILE         …

应领导要求,对公司几个主要站点的域名访问情况进行监控.下面分享一个监控脚本,并利用sendemail进行邮件发送. 监控脚本如下:下面是写了一个多线程的网站状态检测脚本,直接从文件中读出站点地址,然后用curl去检测返回码,发现速度非常好,基本几秒钟内就能出结果. [root@bastion-IDC ~]# cat url-monit.sh #!/bin/bash#取出网站数据data=`cat /root/url.list`if [ -z "$data" ];then echo &q…

应领导要求,对公司几个主要站点的域名访问情况进行监控.下面分享一个监控脚本,并利用sendemail进行邮件发送. 监控脚本如下:下面是写了一个多线程的网站状态检测脚本,直接从文件中读出站点地址,然后用curl去检测返回码,发现速度非常好,基本几秒钟内就能出结果. [root@bastion-IDC ~]# cat url-monit.sh #!/bin/bash#取出网站数据data=`cat /root/url.list`if [ -z "$data" ];then echo &q…

#!/bin/bash smail() {mail -s "$1" gjw_apparitor@gmail.com <<EOF$1$2====report time: `date +"%F %T"`current user: `whoami`shell script: `echo $0`====EOF} ssms() {/usr/local/feixin/fetion --mobile=150000000 --pwd=******** --to=1381…

Linux系统下利用wget命令把整站下载做镜像网站 2011-05-28 18:13:01 | 1次阅读 | 评论:0 条 | itokit  在linux下完整的用wget命令整站采集网站做镜像 的命令是及无视网站根目录下的robots.txt限制.并且可以模拟一个正常浏览者的信息下载该网站. C/C++ Code复制内容到剪贴板 wget -m -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.…

利用wget 抓取 网站网页 包括css背景图片 wget是一款非常优秀的http/ftp下载工具,它功能强大,而且几乎所有的unix系统上都有.不过用它来dump比较现代的网站会有一个问题:不支持css文件,它不会自动下载.重新链接css中所指定的图片.这个问题导致的最常见的后果是dump下来的网站看不到背景图片.本文所介绍的这个脚本主要就是用来解决这个缺陷的. 这里简要介绍一下这个脚本的细节:     第3行用于设置要下载的网站的地址.     第10行用于将文件名转换为windows兼容的…

监控网站URL是否正常最常见的方法莫过于wget和curl命令了,这两个命令都是非常强大的,强大到网友查看帮助都无从选择的地步了,今天呢,老男孩老师正好录制Shell编程实战课程,因此,顺便总结了一下和大家分享. 1.1  wget命令 wget命令的参数非常多,至少也有数十个, 但是运维工作中常用的并不多,老男孩老师把最有用的列表如下. wget命令 下载网页或文件 --spider 模拟爬虫的行为去访问网站,但不会下载网页 -q,    --quiet 安静的访问,禁止输出,类似-o /de…

cURL > Docs > Tutorial:  http://curl.haxx.se/docs/httpscripting.html 下载单个文件,默认将输出打印到标准输出中(STDOUT)中,能够通过http.ftp等方式下载文件,也能够上传文件.其实curl远不止前面所说的那些功能,类似的工具还有wget. curl命令使用了libcurl库来实现,libcurl库常用在C程序中用来处理HTTP请求,curlpp是libcurl的一个C++封装,这几个东西可以用在抓取网页.网络监控等方…

shell监控网站是否自动运行并自动重启 #!/bin/bash -T www.baidu.com ];then echo "`date` 网站访问正常!" >> /root/web_monitor.log else echo "`date` 网站访问异常!重启服务" >> /root/web_monitor.log #重启服务脚本 sh /root/restart.sh ];then echo "`date` 重启服务成功&quo…

在做迁徙学习的过程中,需要下载已经训练好的Inception_v3模型,首先我们为了将下载的模型保存到指定的地方,我们需要利用 wget -P 想要保存的目录 模型的网址,例如 wget -P /Volumes/Cu/QianXi_Learning https://storage.googleapis.com/download.tensorflow.org/models/inception_dec_2015.zip 在终端中运行以上代码,会报错:无法建立 SSL 连接 查阅资料之后发现,这是因为…