[写在前面] 在用requests库对自己的CSDN个人博客(https://blog.csdn.net/yuzipeng)进行爬取时,发现乱码报错(\xe4\xb8\xb0\xe5\xaf\x8c\xe7\x9),如下图所示: 网上 查找了一些方法,以为是遇到了网站加密处理.后来发现 通过F12还 是能获取网页的元素,那么有什么办法能规避乱码问题呢?答案是:用selenium. [效果如下] [示例代码] # coding=utf-8 # @Auther : "鹏哥贼优秀" # @D

前言 图片或者文件夹下,命名不规范,有中文或者有空格.这个脚本批处理查找,并输出到 txt中方便修改,也可以扩展为 直接脚本删除空格等.目前只用在Windows上,mac没有测试,不知道能不能行,有需要的话,自己修改一下吧.大神勿喷.... 代码 python代码如下: #coding=utf-8 #2015.12.14 windows版本 #查找所有空格名字 或者 空格 # -*- coding: utf-8 -*- #想要去除的空格的话,可以使用 replace(" ","

1.算法:(设查找的数组期间为array[low, high]) (1)确定该期间的中间位置K(2)将查找的值T与array[k]比较.若相等,查找成功返回此位置:否则确定新的查找区域,继续二分查找.区域确定如下:a.array[k]>T 由数组的有序性可知array[k,k+1,……,high]>T;故新的区间为array[low,……,K-1]b.array[k]<T 类似上面查找区间为array[k+1,……,high].每一次查找与中间值比较,可以确定是否查找成功,不成功当前查找

经常需要在 binlog 中查找一些日志信息,于是写了一个简单的脚本.对于非常巨大的 binlog 文件,该脚本可能会速度慢,毕竟还是用的 list,暂时没想到好办法. 详细看代码: #/usr/bin/python #2016-04-12 #search string in the binlogs #usage: #put this file into binlog-dir,exec as: #"python test.py 111 123 update" or #"pyt

requests是python的一个HTTP客户端库,跟urllib,urllib2类似,但比那两个要简洁的多,至于request库的用法, 推荐一篇不错的博文:https://cuiqingcai.com/2556.html 话不多说,先说准备工作: 1,下载需要的库:request,BeautifulSoup( 解析html和xml字符串),xlwt(将爬取到的数据存入Excel表中) 2,至于BeautifulSoup 解析html方法,推荐一篇博文:http://blog.csdn.ne

1,request包基本用法 import requests a=requests.get("http://www.baidu.com")print a.text #以文本形式打印网页源码print a.content#以字节流形式打印print a.status_code #打印状态码print a.url #打印请求的urlprint a.headers #打印头信息print a.cookies #打印cookie信息 2,request的请求与响应 任何时候调用requests

import os ''' 跟据文件名称,后缀查找指定文件 path:传入的路径 filename:要查找的文件名 suffix:要查找的文件后缀 return :返回查找的文件路径 ''' filenamepath = '' def find_file(path, filename, suffix): global filenamepath filelist = os.listdir(path) for i in range(0, len(filelist)): file_path = os.

转载自:https://blog.csdn.net/ywy0ywy/article/details/52733839 python2.7 httplib, urllib, urllib2, requests 库的简单使用 2016年10月04日 14:33:45 阅读数:16825 httplib实现了HTTP协议,是比较底层的实现,一般不直接使用. urllib, urllib2是对httplib的高层封装,urllib2可以接受一个Request类的实例来设置URL请求的headers,ur

python的导入模块:python解释器先检查当前目录下的导入的模块,如果没有找到再检查sys模块中path中的变量(import sys,sys.path),如果没有找到,就会发生错误.可以使用脚本将当前目录加入到sys.path中  >>> import os,sys >>> moudlepath=os.getcwd() >>> moudlepath '/Users/user' >>> sys.path.append(moudl

一.列表查找:从列表中查找指定元素 输入:列表.待查找元素 输出:元素下标或未查找到元素 二.列表查找方式 顺序查找 : 从列表的第一个元素开始遍历,知道找到为止.时间复杂度O(n) 二分查找 :从有序的列表的候选区L[0:n]开始,通过堆待查找的值与候选区中间值进行比较,每次候选区数减少一半,时间复杂度O(logn) 顺序查找 def linear_search(data_set, value): for i in range(range(data_set)): if data_set[i]

输入查找的文件夹路径,要查找的内容关键字(可以指定多个),要查找的文件类型(可以是多个),搜索出符合条件的文件,并记录所有符合条件的行号及行内容. 写的感觉有点冗余,但好歹还能使用^-^,主要是方便手头工作. # coding:utf8 import os from os.path import * # enter the search dir print r"""Search file tool(Ver1.0) dirpath /k keywords [/e fileext

1. 利用字符串的前缀和后缀匹配查找文件 str.startswith() star.endswith() 2.使用fnmatch fnmatch              判断文件名是否符合特定模式 fnmatchchcase    判断文件名是否符合特定模式,不区分大小写 filter               返回输入列表中,符合特定模式的文件名列表 translate            将通配符模式换成正则表达式 fnmatch支持的通配符如下: *               

#!/usr/bin/env python # Version = 3.5.2 import os import time d_path = '/data/media' log_file = 'result.log' def con_chinese(s): """ 包含汉字的返回TRUE :param s: 要判断的字符串 :return: 返回值 """ for c in s: if '\u4e00' <= c <= '\u9fa5

#!/usr/bin/env python # -*- coding: utf-8 -*- #查找IP地址归属地 #writer by keery_log #Create time:2013-10-30 #Last update:2013-10-30 #用法: python chk_ip.py www.google.com |python chk_ip.py 8.8.8.8 |python chk_ip.py ip.txt import signal import urllib import j

1.python使用如下代码查找页面上的元素时, browser.findElement_by_class_name("widget-content nopadding") 报错: selenium.common.exceptions.WebDriverException: Message: u'Compound class names not permitted' python不支持类名中间带有空格,上述类名会被当做2个处理,因此会报错. 2.解决方法如下: browser.find

Request模块参考中文手册:https://requests.readthedocs.io/zh_CN/latest/ Request模块 1.查看pip已装包(模块)的安装信息(模块的路径.版本.模块说明) 语法:pip show 模块名 例子:pip show requests 2.发送请求 当然还有其他的请求方式,就不一一列举了.如:request.post.request.delete等等 # 发送GET请求,不携带参数 request.get("http://www.baidu.c

request的各种方法主要用来处理客户端浏览器提交的请求中的各项参数和选项.如POST,GET最常用的两种请求 官方文档:http://docs.python-requests.org/en/master/user/quickstart/# 安装方法:https://www.cnblogs.com/cheng10/p/9875207.html unittest:https://docs.python.org/3/library/unittest.html 简单小练习:https://www.c

Python要访问一个网页并读取网页内容非常简单,在利用<第14.5节 利用浏览器获取的http信息构造Python网页访问的http请求头>的方法构建了请求http报文的请求头情况下,使用urllib包的request模块使得这项工作变得非常容易,具体语句如下: header = mkhead() req = urllib.request.Request(url=site,headers=header) sitetext = urllib.request.urlopen(req).read(

一: os.listdir(path) 把path目录下的所有文件保存在列表中: >>> import os>>> import re>>> path = "/home/popt/fiile">>> print (os.listdir(path))['Temp.conf', 'del2.py', 'ha.conf.bak', 'ha.conf', 'del.py', 'rename.py']>>>

程序设计思路:1. 利用os.walk()找出所有的文件;2.利用正则找到指定后缀的文件:3.找到需要的txt文件后,通过open().readlines()读取文件中每行数据;4.读取后,保存正则匹配到数据的文件:5.你懂的. #!/usr/bin/env python #coding:utf8 import os import re regtxt = r'.+?\.txt' #扫描对象为txt文件. regcontent = r'what is your name' #列出内容含有'what

今天用wxPython做了一个GUI程序,实现查找指定目录内的相同文件,主要原理是计算文件的md5值(计算前先找出文件大小相同的文件,然后计算这些文件的md5值,而不是所有文件都计算,大大减少了md5的计算量),加入了多线程功能. 以下是其脚本版本(无需安装wxPython) UNIQFile-script.py # -*- coding: gbk -*- ''' Author:@DoNotSpyOnMe Blog: http://www.cnblogs.com/aaronhoo ''' imp