import requests import json ''' json.loads(json_str) json字符串转换成字典 json.dumps(dict) 字典转换成json字符串 ''' # 这是一个ajax发起的get请求,获取一个json对象 r = requests.get("https://m.douban.com/rexxar/api/v2/subject_collection/movie_showing/items?os=ios&for_mobile=1&…

1.测试用例文件TestCase.xlsx 2.编写Python文件进行读取 #!/usr/bin/env python # -*- coding:utf-8 -*- import time import xlrd class ReadExcel: def __init__(self,excel_file): self.excel_file = excel_file self.case_id = 0 #用例ID self.http_method = '' #接口http方法 self.reque…

1 import time,datetime 2 3 time_original = '17/Sep/2012:11:40:00' 4 time_format = datetime.datetime.strptime(time_original, '%d/%b/%Y:%H:%M:%S‘) 5 #这里可以 print time_format 或者 直接 time_format 一下看看输出结果,默认存储为datetime格式 6 time_format = time_format.strftime…

…

JSON字符串用json.dumps, json.loads JSON文件名用json.dump, json.load 由于需要在脚本重启后依旧能够记住之前所使用的列表内容, 故采用json存储列表文件, 经过测试, 如下代码可行. import json def write_json(jlist): # 将bx列表写入json文件 with open('data/bx_list.json', 'w') as f_obj: json.dump(jlist, f_obj) def read_jso…

  最近在微信公众号中看到有人用Python做了一个爬虫,可以将输入的英语单词翻译成中文,或者把中文词语翻译成英语单词.笔者看到了,觉得还蛮有意思的,因此,决定自己也写一个玩玩~~   首先我们的爬虫要能将英语单词翻译成中文,因此,我们就需要一个网站帮助我们做这件事情.于是,我们选定有道词典,网址为: http://dict.youdao.com/ .在该网页中我们输入单词nice,就会出来这个单词的意思,如下图:   针对上述过程,对于熟悉爬虫的读者来说,是不难完成将输入的单词的中文意思从网页…

人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Linux基础入门 小白学 Python 爬虫(4):前置准备(三)Docker基础入门 小白学 Python 爬虫(5):前置准备(四)数据库基础 小白学 Python 爬虫(6):前置准备(五)爬虫框架的安装 小白学 Python 爬虫(7):HTTP 基础 小白学 Python 爬虫(8):网页基…

python爬虫:利用selenium.webdriver获取渲染之后的页面代码! 1 首先要下载浏览器驱动: 常用的是chromedriver 和phantomjs chromedirver下载地址: https://npm.taobao.org/mirrors/chromedriver phantomjs下载地址: http://phantomjs.org/download.html 使用chromedriver要保证有chrome浏览器 2 安装 phantomjs: 将下载好的文件 解压…

http://blog.csdn.net/pipisorry/article/details/47905781 lz提示一点,python3中urllib包括了py2中的urllib+urllib2.[python2和python3的区别.转换及共存 - urllib] 怎样扒网页? 其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器解释才呈现出来的,实质它是一段HTML代码,加 JS.CSS. 如果把网页比作一个人,那么HTML便是他的骨架,J…

一天掌握python爬虫日记: (小爬虫,NO 我们是大蜘蛛 ) 数据抓取: requests:requests 的底层实现其实就是 urllib开源地址:https://github.com/kennethreitz/requests中文文档 API: http://docs.python-requests.org/zh_CN/latest/index.html基本GET请求(headers参数 和 parmas参数):import requests url = "http://www.bai…