python 简单爬虫（beatifulsoup)

---恢复内容开始---

python爬虫学习从0开始

　　　　第一次学习了python语法，迫不及待的来开始python的项目。首先接触了爬虫，是一个简单爬虫。个人感觉python非常简洁，相比起java或其他面向对象的编程语言，动态语言不需要声明函数或变量类型。python有20年的发展历史，以简洁高效闻名，python最初只是一个马戏团的名字，它的哲学是‘用一种方法完成一件事情’。我第一次使用python时就被它的简洁高效迷住了，相比起c++和java，他简直太棒了。而且现阶段的大数据和人工智能领域，python都有着绝对无可替代的地位。

　　　一、爬虫是什么？

　　　　大数据时代，海量的数据以兆亿级的规模出现，而且每时每刻都在不停的变化，怎样从这么多数据中提取我们所需要的数据，就变得十分的重要，尤其对于一些大企业，数据就是公司发展的命脉。网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。就是爬虫程序会自动沿着制定的URL去爬取有用的数据，搜索引擎就是建立在爬虫基础上的。但是搜索引擎有自身的局限性，只能够通过关键字进行检索，我们需要手动进入相关网页进行筛选。这个时候如果利用爬虫，就能够实现简单的定向抓取。

　　　二、爬虫涉及到的python知识？

　　　　 爬虫经历三个步骤：首先向目标网页发出请求，经服务器返回一个响应html的源码；然后通过beatifulsoup库或者Xpath表达式来对源码进行解析，提取有用信息；最后通过文件保存相关信息，进行数据清洗或分析。

　　　　  我们所需要的环境：IDE的话pycharm就好，个人认为这个是最好的pythonIDE，支持windows以及mac系统。当然你必须先在自己的电脑安装python，具体安装方法百度即可，在这个地方说明的是，python2.7是默认在mac上，不过用就用最新版的吧，python3和python2有区别的。直接用vim写也可以。这里需要使用谷歌浏览器分析源网页html代码。

　　　三、爬取豆瓣网的top250：

　　　　开始之前需要了解谷歌浏览器的操作：

　　　　直接在 更多 选择工具的开发者工具，这里可能需要用到html的知识，其实就是一些标签，如<div>、<a>、<span>等等。（具体学习一下html吧！）然后，单击右键选择标题如《肖申克的救赎》，使用检查命令。可以在右侧Elements里面看到<span class="title">这个标签，中间的中文就是我们需要爬取的电影名字。同样我们还需要爬取的是评分，可以找到<span class="rating_num">这样的标签，当然你也可以爬取一句话评语。

　　　　我用到requests库，当然还有urllib这个库也可以，这个比较繁琐。pycharm中可以直接安装，bash中使用pip3的指令。

　　　　首先，我们需要向目标网页发送下载请求：

　　　　url='https://movie.douban.com/top250'

　　　　res=requests.get(url)

　　　　print(res.status_code)　　　　

　　　　这里可能会有乱码。因为你没有定义下载的html代码的编码格式，在res后面附加一句：res.encoding='UTF-8'，即可。同样网站会有反爬措施，诸如过频繁请求，或者限制，这是需要使用一个user-agent：就在network这个卡的最下面，不过一般使用Mozilla/5.0就可以。定义一个头文件：（复制粘贴就可以）

headers={
'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36',
'Host':'movie.douban.com'
}

替换：res=requests.get(url,headers=headers)

这个时候你的status_code就会是200，200表示正常反馈。400就是不正常。（反爬手段）

　　　　  当然你可以下载html代码自己看看，不过挺杂乱。直接  print(res.text)  就行了。

　　　　　好了，已经获得了网页源码，这个时候就该解析相关数据了：beatifulsoup实例化。

　　　　  soup=BeatifulSoup(res.text,'html.parser')  #建立soup对象。

　　　　  div_list=soup.find_all('div',class_='hd')  #这里的div标签在<li>标签下面，每一个<li>标签都表示一部电影的信息。我们所需要的信息都存在<div class='hd'>里。

　　　　  for each in div_list:

　　　　　　movie=each.find('a').find('span').text.strip()

　　　　　　movie_list.append(movie)

　　　　   movie_list是一个空列表，专门存放电影名字。strip()函数是去除字符串两端的字符，这里是去除空格。但是我们发现，网页貌似有10页面，我们这里利用for循环遍历url。

url变化的只是最后一部分的：

　　　　　movie_list=[]

　　　　　for i in range(0,10):

　　　　　　　　url='http://movie.douban.com/top250?start='+str(i*25)

　　　　　　　　res=......

　　　　　　　　soup=BeatifulSoup(res.text,'html.parser')

　　　　　　　　div_list=soup.find_all('div',class_='hd')　　

　　　　　　　　for each in div_list:

　　　　　　　　　　movie=each.find('a').find('span').text.strip()

　　　　　　　　　　movie_list.append(movie)

　　　　　　return movie_list

　　　　　这样就可以了。简单的爬虫就完成了。　　　　

　　　　   最后我们需要将取得的数据存储。你也可以选择存进mysql，具体涉及pymysql。

　　　　   file='desktop/douban.csv'

　　　　　with open(file,'w+') as f:

　　　　　　　　f.write(movie_list)

　　　　　　　　f.close()

　　　　   csv用文本编辑器打开。也可用excle打开具体百度。