urllib是python内置的处理HTTP请求的库,主要包含以下四个模块 request 模块,是最基本的处理HTTP请求的模块. error 异常处理模块,如果出现请求错误,可以捕获这些错误,保证程序不会意外终止. parse 模块是一个工具模块,提供了处理url的很多方法.拆分,解析,合并等等. robotparser,主要用来识别网站的robots.txt文件,判断哪些网站可以爬取. 一 .发送请求 使用urllib的request模块可以发送请求,并且响应response URLope…