12月4日学习爬虫007.使用Urllib模块进行简单网页爬取

笔记如下：

1.https是http加强版协议（安全协议）
http(普通网络通信协议)

爬数据 如果爬https发现和理想中的数据不同，可以改为http 直接去掉s即可

2.使用Urllib爬取简单网页：

import urllib.request
#爬到内存中-方法1
data=urllib.request.urlopen("http://www.baidu.com").read().decode("utf-8","ignore")

#爬虫内存中-方法2
url="http://www.baidu.com"
req=urllib.request.Request(url)
data=urllib.request.urlopen(req).read().decode("utf-8","ignore")

#爬到硬盘中

3.网页状态码 (可以看网页是否正常运行，是否被攻击了)
200 正常访问
403 被禁止
404没有找到网页
500对方内部服务器错误

#拿到状态码
file=urllib.request.urlopen("http://www.baidu.com")
print(file.getcode())