# -*- coding: utf-8 -*- import os,sys import time import sys import pycurl #URL="http://www.baidu.com" if len(sys.argv) < 2: print "usage: check_url.py URL" sys.exit(2) URL=sys.argv[1] c = pycurl.Curl() c.setopt(pycurl.URL, URL) #连接…

#!/bin/bash/python # -*-coding:utf-8-*- #svn统计不同url代码行数变更脚本,过滤空行,不过滤注释. import subprocess,os,sys,time,re,shutil from optparse import OptionParser #初始化temp文件: FOLDER = "/tmp/temp_cm_svnrtagdiff" #初始化设置私密配置文件: PRIVATE_FILE = "/home/wwl/conf/w…

我们有时候需要对用户输入的网站(URL)进行有效性检查,  代码如下 复制代码 function CheckUrl(str) {    var RegUrl = new RegExp();    RegUrl.compile("^[A-Za-z]+://[A-Za-z0-9-_]+\.[A-Za-z0-9-_%&?/.=]+$");    if (!RegUrl.test(str)) {        return false;    }    return true;} 不止…

下面的内容内容是关于用Python将绝对URL替换成相对URL的内容,应该是对码农有些用途. #!/usr/bin/env python### author : cold night# email : wh_linux@126.com# import pymongoimport refrom StringIO import StringIO conn = pymongo.Connection()db = conn.test def replace_url(): results = db['tes…

python中的URL编码和解码:test.py # 引入urllib的request模块 import urllib.request url = 'https://www.douban.com/j/search?q=刘德华&start=20&cat=1002' print('原来的url为: ' + url) # url编码 safe ='/:?=&' 表示/:?=&不转义 url_encode = urllib.request.quote(url, safe='/:?=…

Jsoup爬虫学习--获取网页所有的图片,链接和其他信息,并检查url和文本信息 此例将页面图片和url全部输出,重点不太明确,可根据自己的需要输出和截取: import org.jsoup.Jsoup; import org.jsoup.helper.Validate; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import java.io…

python抽取指定url页面的title方法 今天简单使用了一下python的re模块和lxml模块,分别利用的它们提供的正则表达式和xpath来解析页面源码从中提取所需的title,xpath在完成这样的小任务上效率非常好,在这里之所以又使用了一下正则表达式是因为xpath在处理一些特殊的页面的时候会出现乱码的情况,当然这不是xpath的原因,而是页面本身编码,跟utf-8转码之间有冲突所致, 这里看代码:     # !/usr/bin/python #-*-coding:utf-8-*-…

https://blog.csdn.net/u010798367/article/details/53008439 今天,项目经理问我一个问题,问我这里有2000个URL要检查是否能正常打开,其实我是拒绝的,我知道因为要写代码了,正好学了点python,一想,python处理起来容易,就选了python,开始把思路想好: 1.首先2000个URL.可以放在一个txt文本内 2.通过python 把内容内的URL一条一条放进数组内 3.打开一个模拟的浏览器,进行访问. 4.如果正常访问就输出正常,…

1.pylint是什么? Pylint 是一个 Python 代码分析工具,它分析 Python 代码中的错误,查找不符合代码风格标准(Pylint 默认使用的代码风格是 PEP 8,具体信息,请参阅参考资料)和有潜在问题的代码.目前 Pylint 的最新版本是 pylint-0.18.1. Pylint 是一个 Python 工具,除了平常代码分析工具的作用之外,它提供了更多的功能:如检查一行代码的长度,变量名是否符合命名标准,一个声明过的接口是否被真正实现等等. Pylint 的一个很大的好…

监控URL的一个值小于规定的值--邮件报警 #!/usr/bin/env python #-*- coding:utf-8 -*- __author__ = 'liudong' import urllib,sys,urllib,json,smtplib from email.mime.text import MIMEText mailto_list=['liudong@researchina.cn'] mail_host="smtp.exmail.qq.com" mail_user=&…