python爬虫（2）——编写一个爬虫

一、URL的编码与解码　　

　　在python2中包含的urllib和urllib2，都是接受URL请求相关的模块。但是在python3中，却没有urllib2。实际上urllib2的功能在python3中可以用urllib来实现。

　　通常编码工作，我们使用urllib.parse.urlencode()函数，帮我们将key:value（类似于python的字典）这样的键值对转换成"key=value"这样的字符串，解码工作则可以用unquote()函数来实现。

　　一般的HTTP请求提交数据，需要编码成URL编码格式，然后作为URL的一部分，或者作为参数传到Request对象中。

二、写一个简单的爬虫程序

　　首先我们在cmder中用vim新建一个python文件，我们得目标是下载上海链家的二手房页面。

　　可以在浏览器中打开网站分析一下URL

　　第一页网址是：https://sh.lianjia.com/ershoufang/

　　第二页网址是：https://sh.lianjia.com/ershoufang/pg2/

　　第三页网址是：https://sh.lianjia.com/ershoufang/pg3/

　　............

　　当我们在https://sh.lianjia.com/ershoufang/后面加上"pg1/"时，发现也能得到第一页。可以根据这个规律来写这个爬虫。

 from urllib import request
 
 def HTMLspider(url,startPage,endPage):
 
     #作用：负责处理URL，分配每个URL去发送请求
 
     for page in range(startPage,endPage+1):
         filename="第" + str(page) + "页.html"
 
         #组合为完整的url
         fullurl=url + str(page)
 
         #调用loadPage()发送请求，获取HTML页面
         html=loadPage(fullurl,filename)
 
         #将获取到的HTML页面写入本地磁盘文件
         writePage(html,filename)
 
 def loadPage(fullurl,filename):
 
     response=request.urlopen(fullurl)
     return response.read()
 
 def writePage(html,filename):
     """
     将服务器的响应文件保存到本地磁盘
     其中filename为本地磁盘文件名
     """
     print("正在存储"+filename)
     with open(filename,'wb') as f:
         f.write(html)
 
     print("--"*30)
 
 if __name__=="__main__":
     #输入需要下载的起始页和终止页，注意转换成int类型
     startPage=int(input("请输入起始页："))
     endPage=int(input("请输入终止页："))
 
     url="https://sh.lianjia.com/ershoufang/"
 
     HTMLspider(url,startPage,endPage)
 
     print("下载完成！")

　　当然，这只是一个非常简单的下载页面的小爬虫。但是我们可以看到爬虫工作的基本过程。

三、关于GET请求和POST方法

　　GET请求一般用于我们向服务器获取数据，假如我们用百度搜索一个关键词，我们可以看到在请求部分，http://www.baidu.com/?之后出现一个长长的字符串，这就是包含了我们要查询的关键词，于是我们可以用默认的GET方式来发送请求。GET方式是直接以链接的形式访问的，链接中包含了所有参数。

　　而在发送POST请求时，需要特别注意headers的一些属性：content-length(表单数据长度)，X-Requested-With:XMLHttpRequest(Ajax异步请求)等等。POST不会在网址上显示所有参数，服务器端用Requeste.Form获取提交的数据。

　　“对于一个爬虫工程师，我们必须关注爬虫的来源”