Python爬虫笔记（一）

个人笔记，仅适合个人使用（大部分摘抄自python修行路）

1、爬虫Response的内容

　　便是所要获取的页面内容，类型可能是HTML,Json（json数据处理链接）字符串，二进制数据（图片或者视频）

2、请求方式

　　主要有：GET/POST两种类型常用，另外还有HEAD/PUT/DELETE/OPTIONS
　　GET和POST的区别就是：请求的数据GET是在url中，POST则是存放在头部

　　GET:向指定的资源发出“显示”请求。使用GET方法应该只用在读取数据，而不应当被用于产生“副作用”的操作中，例如在Web Application中。其中一个原因是GET可能会被网络蜘蛛等随意访问

　　POST:向指定资源提交数据，请求服务器进行处理（例如提交表单或者上传文件）。数据被包含在请求本文中。这个请求可能会创建新的资源或修改现有资源，或二者皆有。

HEAD：与GET方法一样，都是向服务器发出指定资源的请求。只不过服务器将不传回资源的本文部分。它的好处在于，使用这个方法可以在不必传输全部内容的情况下，就可以获取其中“关于该资源的信息”（元信息或称元数据）。

　　PUT：向指定资源位置上传其最新内容。

　　OPTIONS：这个方法可使服务器传回该资源所支持的所有HTTP请求方法。用'*'来代替资源名称，向Web服务器发送OPTIONS请求，可以测试服务器功能是否正常运作。

　　DELETE：请求服务器删除Request-URI所标识的资源。

3、请求URL

　　URL，即统一资源定位符，也就是我们说的网址，统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。

　　URL的格式由三个部分组成：
　　第一部分是协议(或称为服务方式)。
　　第二部分是存有该资源的主机IP地址(有时也包括端口号)。
　　第三部分是主机资源的具体地址，如目录和文件名等。

4、请求头

　　包含请求时的头部信息，如User-Agent,Host,Cookies等信息

5、响应状态

　　有多种响应状态，如：200代表成功，301跳转，404找不到页面，502服务器错误

• 1xx消息——请求已被服务器接收，继续处理
• 2xx成功——请求已成功被服务器接收、理解、并接受
• 3xx重定向——需要后续操作才能完成这一请求
• 4xx请求错误——请求含有词法错误或者无法被执行
• 5xx服务器错误——服务器在处理某个正确请求时发生错误 常见代码： 200 OK 请求成功 400 Bad Request 客户端请求有语法错误，不能被服务器所理解 401 Unauthorized 请求未经授权，这个状态代码必须和WWW-Authenticate报头域一起使用 403 Forbidden 服务器收到请求，但是拒绝提供服务 404 Not Found 请求资源不存在，eg：输入了错误的URL 500 Internal Server Error 服务器发生不可预期的错误 503 Server Unavailable 服务器当前不能处理客户端的请求，一段时间后可能恢复正常 301 目标永久性转移 302 目标暂时性转移

6、url.lib

　　Urllib是python内置的HTTP请求库
　　包括以下模块
　　urllib.request 请求模块
　　urllib.error 异常处理模块
　　urllib.parse url解析模块
　　urllib.robotparser robots.txt解析模块

urlopen一般常用的有三个参数，它的参数如下：
urllib.requeset.urlopen(url,data,timeout)

异常处理：

URLError,HTTPError，HTTPError是URLError的子类

URLError里只有一个属性：reason,即抓异常的时候只能打印错误信息，类似上面的例子

HTTPError里有三个属性：code,reason,headers，即抓异常的时候可以获得code,reson，headers三个信息

7、requests

　　Requests是用python语言基于urllib编写的，封装后方便爬虫

　　功能演示

import requests
requests.packages.urllib3.disable_warnings() #https的警告信息去除

response = requests.get("https://www.baidu.com",verify=False) #设置verify = False 否则https请求会失败

print(response.status_code)

#print(response.text)

print(response.cookies)

print(response.cookies.get_dict())

#print(response.content)

print(type(response.content))

print(response.content.decode("utf-8"))

　　六个方法

requests.get()

requests.post("http://httpbin.org/post")

requests.put("http://httpbin.org/put")
requests.delete("http://httpbin.org/delete")
requests.head("http://httpbin.org/get")
requests.options("http://httpbin.org/get")

　　1、get

import requests

requests.packages.urllib3.disable_warnings()

headers = dict()
headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.3387.400 QQBrowser/9.6.11984.400'

'''
payload = {'key1': 'value1', 'key2': 'value2'}
ret = requests.get("http://httpbin.org/get", params=payload)

print (ret.url)
print (ret.text)
'''

url = 'https://github.com'

ret = requests.get('https://www.zhihu.com',verify=False, headers = headers)

print (ret.url)
print (ret.text[:])

get demo

　　json处理

import requests
import json

response = requests.get("http://httpbin.org/get")
print(type(response.text))
print(response.json())
print(json.loads(response.text))
print(type(response.json()))

json

　　同样的在发送post请求的时候也可以和发送get请求一样通过headers参数传递一个字典类型的数据

　　2、post

import requests

payload = {'key1': 'value1', 'key2': 'value2'}
ret = requests.post("http://httpbin.org/post", data=payload)

print (ret.text)

import requests
import json

url1 = 'https://api.github.com/some/endpoint'
url = 'http://httpbin.org/post'
payload = {'some': 'data'}
headers = dict()
headers['content-type'] = 'application/json'
headers['User-Agent'] = 'Mozilla/5.0'
print(headers)

ret = requests.post(url, data=json.dumps(payload), headers=headers)

print (ret.text)
print (ret.cookies.keys)

post demo

　

import requests

response = requests.get("http://www.baidu.com")
print(type(response.status_code),response.status_code)
print(type(response.headers),response.headers)
print(type(response.cookies),response.cookies)
print(type(response.url),response.url)
print(type(response.history),response.history)

Code

　　3、requests高级用法

　　文件上传

　　实现方法和其他参数类似，也是构造一个字典然后通过files参数传递

import requests
files= {"files":open("git.jpeg","rb")}
response = requests.post("http://httpbin.org/post",files=files)
print(response.text)

　　4、获取cookie

import requests

response = requests.get("http://www.baidu.com")
print(response.cookies)

for key,value in response.cookies.items():
    print(key+"="+value)

　　5、会话维持

　　cookie的一个作用就是可以用于模拟登陆，做会话维持

import requests
s = requests.Session()
s.get("http://httpbin.org/cookies/set/number/123456")
response = s.get("http://httpbin.org/cookies")
print(response.text)

　　这是正确的写法，而下面的写法则是错误的

import requests

requests.get("http://httpbin.org/cookies/set/number/123456")
response = requests.get("http://httpbin.org/cookies")
print(response.text)

　　因为这种方式是两次requests请求之间是独立的，而第一次则是通过创建一个session对象，两次请求都通过这个对象访问

　　6、证书验证

　　现在的很多网站都是https的方式访问，所以这个时候就涉及到证书的问题

import requests

response = requests.get("https:/www.12306.cn")
print(response.status_code)

　　默认的12306网站的证书是不合法的，这样就会提示如下错误

　　为了避免这种情况的发生可以通过verify=False
　　但是这样是可以访问到页面，但是会提示：
　　InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings InsecureRequestWarning)

　　解决方法为：

import requests
from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get("https://www.12306.cn",verify=False)
print(response.status_code)

　　这样就不会提示警告信息，当然也可以通过cert参数放入证书路径

　　7、代理设置

import requests

proxies= {
    "http":"http://127.0.0.1:9999",
    "https":"http://127.0.0.1:8888"
}
response  = requests.get("https://www.baidu.com",proxies=proxies)
print(response.text)

　　如果代理需要设置账户名和密码,只需要将字典更改为如下：
　　proxies = {
　　"http":"http://user:password@127.0.0.1:9999"
　　}
如果你的代理是通过sokces这种方式则需要pip install "requests[socks]"
proxies= {
"http":"socks5://127.0.0.1:9999",
"https":"sockes5://127.0.0.1:8888"
}

超时设置

通过timeout参数可以设置超时的时间

认证设置

如果碰到需要认证的网站可以通过requests.auth模块实现

import requests

from requests.auth import HTTPBasicAuth

response = requests.get("http://120.27.34.24:9001/",auth=HTTPBasicAuth("user","123"))
print(response.status_code)

　　当然这里还有一种方式

import requests

response = requests.get("http://120.27.34.24:9001/",auth=("user","123"))
print(response.status_code)

异常处理

关于reqeusts的异常在这里可以看到详细内容：
http://www.python-requests.org/en/master/api/#exceptions
所有的异常都是在requests.excepitons中

从源码我们可以看出RequestException继承IOError,
HTTPError，ConnectionError,Timeout继承RequestionException
ProxyError，SSLError继承ConnectionError
ReadTimeout继承Timeout异常
这里列举了一些常用的异常继承关系，详细的可以看：
http://cn.python-requests.org/zh_CN/latest/_modules/requests/exceptions.html#RequestException

通过下面的例子进行简单的演示

import requests

from requests.exceptions import ReadTimeout,ConnectionError,RequestException

try:
    response = requests.get("http://httpbin.org/get",timout=0.1)
    print(response.status_code)
except ReadTimeout:
    print("timeout")
except ConnectionError:
    print("connection Error")
except RequestException:
    print("error")

　　其实最后测试可以发现，首先被捕捉的异常是timeout,当把网络断掉的haul就会捕捉到ConnectionError，如果前面异常都没有捕捉到，最后也可以通过RequestExctption捕捉到