# 注意一下 是import urllib.request 还是 form urllib import request 0. urlopen() 语法:urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) 实例0:(这个函数 一般就使用三个参数 url data timeout) *添加的data参数需要使用bytes()方法将参数…

在前面我们总结了urllib库的 urlopen()和Request()方法的使用,在这一小节我们要使用相关的Handler来实现代理.cookies等功能. 写在前面: urlopen()方法不支持代理.cookie等其它的HTTP/GTTPS高级功能,所以要支持这些功能: 使用相关的Handler处理器来创建特定功能的处理器对象 然后调用urllib.request.build_opener()方法使用这些处理器对象,创建自己的opener对象 使用自定义的opener对象,调用open()…

1.异常处理 URLError类来自urllib库的error模块,它继承自OSError类,是error异常模块的基类,由request模块产生的异常都可以通过这个类来处理. from urllib import request, error try: response = request.urlopen('http://cuiqingcai.com/index.htm') except error.HTTPError as e: print(e.reason, e.code, e.heade…

urllib库的总结: 用ProcessOn(安利这个软件,够用了)根据前面的几节内容做了个思维导图. urllib库一共有四个模块: request:它是最基本的模块,可以用来模拟发送请求 error:异常处理模块,如果出现请求错误,我们可以捕获这些异常,然后进行重试或其它操作以保证程序不会意外终止 parse:一个工具模块,提供了URL处理方法,比如拆分.解析.合并等 robotparser:主要用来识别网站的robots.txt文件,然后判断哪些网站可以爬.哪些网站不可以爬,用的比较少.…

requests库相比于urllib库更好用!!! 0.各种请求方式 import requests requests.post('http://httpbin.org/post') requests.put('http://httpbin.org/put') requests.delete('http://httpbin.org/delete') requests.head('http://httpbin.org/get') requests.options('http://httpbin.o…

0.文件上传 import requests files = {'file': open('favicon.ico', 'rb')} response = requests.post("http://httpbin.org/post", files=files) print(response.text) 1.获取cookies import requests response = requests.get("https://www.baidu.com") print…

requests库的总结: 用ProcessOn根据前面的几节内容做了个思维导图:…

专栏目录: Python爬虫与数据分析之python教学视频.python源码分享,python Python爬虫与数据分析之基础教程:Python的语法.字典.元组.列表 Python爬虫与数据分析之进阶教程:文件操作.lambda表达式.递归.yield生成器 Python爬虫与数据分析之模块:内置模块.开源模块.自定义模块 Python爬虫与数据分析之爬虫技能:urlib库.xpath选择器.正则表达式 Python爬虫与数据分析之京东爬虫实战:爬取京东商品并存入sqlite3数据库 Py…

一.常用库 1.requests 做请求的时候用到. requests.get("url") 2.selenium 自动化会用到. 3.lxml 4.beautifulsoup 5.pyquery 网页解析库 说是比beautiful 好用,语法和jquery非常像. 6.pymysql 存储库.操作mysql数据的. 7.pymongo 操作MongoDB 数据库. 8.redis 非关系型数据库. 9.jupyter 在线记事本. 二.什么是Urllib Python内置的Http…

urllib库是Python中一个最基本的网络请求库.可以模拟浏览器的行为,向指定的服务器发送一个请求,并可以保存服务器返回的数据. urlopen函数: 在Python3的urllib库中,所有和网络请求相关的方法,都被集到urllib.request模块下面了,以先来看下urlopen函数基本的使用: from urllib import request resp = request.urlopen('http://www.baidu.com') print(resp.read()) 实际上…