今天利用xpath写了一个小爬虫,比较适合一些爬虫新手来学习。话不多说,开始今天的正题,我会利用一个案例来介绍下xpath如何对网页进行解析的,以及如何对信息进行提取的。

python环境:python3.5

先看看网页的样子

豆瓣电影网站链接

我们下面将要对电影的名字、链接、评分、评价人数和一句话描述这些信息进行提取
1、检查并复制电影名字的xPath信息

电影《肖申克的救赎》的xPath信息如下:
//*[@id=”content”]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]
按照爬虫的代码套路来一波

from lxml import etree
import requests def get_1_name():
'''
爬取豆瓣top250电影的第1个电影的名字
:return:
'''
url = 'https://movie.douban.com/top250' # #豆瓣top250网址
data = requests.get(url).text # #得到html内容
s = etree.HTML(data) # #etree.HTML用来解析html内容
xpath_test = '//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]'+'/text()' # #谷歌浏览器中选中文字,右键检查,复制xpath
title = s.xpath(xpath_test)[0] # #列表只有一个元素
print(title)

  

输出结果:

第六行代码最后加[0],是因为不加的话,返回的则会是一个列表,不好看。
2、对同一页的不同电影名字进行提取
根据《肖申克的救赎》同方法对《霸王别姬》、《这个杀手不太冷》和《阿甘正传》的xPath信息比较:

比较可以发现电影名的xPath信息仅仅li后面的序号不一样,并且和电影名的序号一样,所以去掉序号以后,就可以得到通用的xPath信息

//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]

接下来我们把这一页的电影名字个爬下来

from lxml import etree
import requests
url = 'https://movie.douban.com/top250'
data = requests.get(url).text
s = etree.HTML(data)
title = s.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]/text()')
for movies in title:
print(movies)

输出结果

下面用类似的方法对电影评分进行提取

from lxml import etree
import requests
url = 'https://movie.douban.com/top250'
data = requests.get(url).text
s = etree.HTML(data)
score = s.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/div/span[2]/text()')
for i in score:
print(i)

输出结果为

接下来要做的是输出电影及对应的评分

from lxml import etree
import requests
url = 'https://movie.douban.com/top250'
data = requests.get(url).text
s = etree.HTML(data)
file = s.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]/text()')
score = s.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/div/span[2]/text()')
for i in range(25):
  print("{} {}".format(file[i],score[i]))

输出结果为:

这里我们默认电影名字以及评分都是完整的、正确的信息,这种默认一般情况下是没问题的。但其实是有缺陷的。如果我们少爬了或者多爬了信息,就会发生匹配的错误,那么该怎么避免这种错误呢?
仔细思考下,发现我们若是以电影名字为单位,分别获取对应的信息,那么匹配肯定完全正确。
电影名字的标签肯定在这部电影的框架内,于是我们从电影名字的标签往上找,发现覆盖整部电影的标签,把xPath信息复制下来

//*[@id="content"]/div/div[1]/ol/li[1]

然后我们将整部电影和其他信息的xPath信息进行比较

//*[@id="content"]/div/div[1]/ol/li[1]
//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]
//*[@id="content"]/div/div[1]/ol/li[2]/div/div[2]/div[2]/div/span[2]

不难发现电影名和评分的前半部分与整部电影的前半部分是一样的。那我们就可以这样写xPath的方式来定位信息:

file = s.xpath('//*[@id="content"]/div/div[1]/ol/li[1]')
movies_name = div.xpath('./div/div[2]/div[1]/a/span[1]/text()')
movies_score = div.xpath('./div/div[2]/div[2]/div/span[2]/text()')

在实际的代码中体验一下

from lxml import etree
import requests
url = 'https://movie.douban.com/top250'
data = requests.get(url).text
s = etree.HTML(data)
file = s.xpath('//*[@id="content"]/div/div[1]/ol/li[1]')
for div in file:
movies_name = div.xpath('./div/div[2]/div[1]/a/span[1]/text()')[0]
movies_score = div.xpath('./div/div[2]/div[2]/div/span[2]/text()')[0]
print("{} {}".format(movies_name,movies_score))

输出结果为

上面我们爬取了一部电影的信息,那么怎么爬取这一页的呢?很简单把li后面的[1]去掉就可以了。来看看新的代码

from lxml import etree
import requests
url = 'https://movie.douban.com/top250'
data = requests.get(url).text
s = etree.HTML(data)
file = s.xpath('//*[@id="content"]/div/div[1]/ol/li')
for div in file:
movies_name = div.xpath('./div/div[2]/div[1]/a/span[1]/text()')[0]
movies_score = div.xpath('./div/div[2]/div[2]/div/span[2]/text()')[0]
print("{} {}".format(movies_name,movies_score))

结果为:

其他信息的提取与之类似,就不在细讲了,代码跑一遍

from lxml import etree
import requests
url = 'https://movie.douban.com/top250'
data = requests.get(url).text
s = etree.HTML(data)
file = s.xpath('//*[@id="content"]/div/div[1]/ol/li')
for div in file:
movies_name = div.xpath('./div/div[2]/div[1]/a/span[1]/text()')[0]
movies_score = div.xpath('./div/div[2]/div[2]/div/span[2]/text()')[0]
movies_href = div.xpath('./div/div[2]/div[1]/a/@href')[0]
movies_number = div.xpath('./div/div[2]/div[2]/div/span[4]/text()')[0].strip("(").strip( ).strip(")")
movie_scrible = div.xpath('./div/div[2]/div[2]/p[2]/span/text()')
print("{} {} {} {} {}".format(movies_name,movies_href,movies_score,movies_number,movie_scrible[0]))

  

结果为:

这样我们就对第一页的信息进行了提取,那么我么怎么把所有的页都提取呢?比较一下不同页的URL

第一页:https://movie.douban.com/top250?start=0
第二页:https://movie.douban.com/top250?start=25
第三页:https://movie.douban.com/top250?start=50
第四页:https://movie.douban.com/top250?start=75
......

URL的变化规律很简单,只是start=()的数字不一样,以25为单位递增,所以写个循环就可以了,下面把整个代码跑一下,所有25页的信息全部提取下来。

from lxml import etree
import requests
import time
for a in range(10):
url = 'https://movie.douban.com/top250?start={}'.format(a*25)
data = requests.get(url).text
# print(data)
s = etree.HTML(data)
file = s.xpath('//*[@id="content"]/div/div[1]/ol/li')
for div in file:
movies_name = div.xpath('./div/div[2]/div[1]/a/span[1]/text()')[0]
movies_score = div.xpath('./div/div[2]/div[2]/div/span[2]/text()')[0]
movies_href = div.xpath('./div/div[2]/div[1]/a/@href')[0]
movies_number = div.xpath('./div/div[2]/div[2]/div/span[4]/text()')[0].strip("(").strip( ).strip(")")
movie_scrible = div.xpath('./div/div[2]/div[2]/p[2]/span/text()')
# time.sleep(1)
if len(movie_scrible)>0:
print("{} {} {} {} {}".format(movies_name,movies_href,movies_score,movies_number,movie_scrible[0]))
else:
print("{} {} {} {}".format(movies_name,movies_href,movies_score,movies_number))

  

结果为

这只是一部分截图,整体的包含了250部电影。
注:这里加了个if语句,是因为发现有的电影没有一句话描述。Ok了,这个爬虫很简单,也是我刚开始学习xPath,适合新手学习
---------------------
作者:云南省高校数据化运营管理工程研究中心
来源:CSDN
原文:https://blog.csdn.net/m0_37788308/article/details/80378042
版权声明:本文为博主原创文章,转载请附上博文链接!

零基础爬虫----python爬取豆瓣电影top250的信息(转)的更多相关文章

  1. 一起学爬虫——通过爬取豆瓣电影top250学习requests库的使用

    学习一门技术最快的方式是做项目,在做项目的过程中对相关的技术查漏补缺. 本文通过爬取豆瓣top250电影学习python requests的使用. 1.准备工作 在pycharm中安装request库 ...

  2. python爬取豆瓣电影Top250(附完整源代码)

    初学爬虫,学习一下三方库的使用以及简单静态网页的分析.就跟着视频写了一个爬取豆瓣Top250排行榜的爬虫. 网页分析 我个人感觉写爬虫最重要的就是分析网页,找到网页的规律,找到自己需要内容所在的地方, ...

  3. Python 爬取豆瓣电影Top250排行榜,爬虫初试

    from bs4 import BeautifulSoup import openpyxl import re import urllib.request import urllib.error # ...

  4. Python爬取豆瓣电影top

    Python爬取豆瓣电影top250 下面以四种方法去解析数据,前面三种以插件库来解析,第四种以正则表达式去解析. xpath pyquery beaufifulsoup re 爬取信息:名称  评分 ...

  5. Python爬虫入门:爬取豆瓣电影TOP250

    一个很简单的爬虫. 从这里学习的,解释的挺好的:https://xlzd.me/2015/12/16/python-crawler-03 分享写这个代码用到了的学习的链接: BeautifulSoup ...

  6. python 爬虫&爬取豆瓣电影top250

    爬取豆瓣电影top250from urllib.request import * #导入所有的request,urllib相当于一个文件夹,用到它里面的方法requestfrom lxml impor ...

  7. scrapy爬虫框架教程(二)-- 爬取豆瓣电影TOP250

    scrapy爬虫框架教程(二)-- 爬取豆瓣电影TOP250 前言 经过上一篇教程我们已经大致了解了Scrapy的基本情况,并写了一个简单的小demo.这次我会以爬取豆瓣电影TOP250为例进一步为大 ...

  8. 利用Python爬取豆瓣电影

    目标:使用Python爬取豆瓣电影并保存MongoDB数据库中 我们先来看一下通过浏览器的方式来筛选某些特定的电影: 我们把URL来复制出来分析分析: https://movie.douban.com ...

  9. 第一个nodejs爬虫:爬取豆瓣电影图片

    第一个nodejs爬虫:爬取豆瓣电影图片存入本地: 首先在命令行下 npm install request cheerio express -save; 代码: var http = require( ...

随机推荐

  1. ES6 用Promise对象实现的 Ajax 操作

    下面是一个用Promise对象实现的 Ajax 操作的例子. const getJSON = function(url) { const promise = new Promise(function( ...

  2. C#中关于对out和ref的认识

    1.两者都是按照地址进行传递的.2.ref关键字是的参数按照引用传递的方式进行.他的效果是控制权传递会调用方法是,可以对这个参数进行修改   要使用ref参数,那么方法的定义和调用方法都必须进行显示的 ...

  3. yuan的第二次随笔

    第一题: 计算两数的和与差 设计思路: 1:看题目:主函数与函数声明,知道它要你干什么 2:理解与分析:在main中,定义两个实数a,b;要你求两数的和与差 3:解答:通过调用函数sum_diff,指 ...

  4. Angular新手容易碰到的坑

    在Angular群里回答新手问题一段时间了,有一些Angular方面的坑留在这里备查,希望能对各位有所帮助.这个文章将来会随时更新,不会单独开新章,欢迎各位订阅. Q1.<div ng-incl ...

  5. matplotlib.pyplot展示MNIST图片

    import torch import torch.utils.data as Data import torchvision import torchvision.transforms as tra ...

  6. Xamarin Android 下拉列表

    <Spinner android:id="@+id/spinner" android:layout_width="wrap_content" androi ...

  7. nomad 0.9 新特性

    内容摘自github Affinities and Spread: Jobs may now specify affinities towards certain node attributes. A ...

  8. 通过 JDK 自带的 javap 命令查看 SynchronizedDemo 类的相关字节码信息

    首先切换到类的对应目录执行 javac SynchronizedDemo.java 命令生成编译后的 .class 文件 然后执行 javap -c -s -v -l SynchronizedDemo ...

  9. JS Replace 全部替换字符的用法小结

    script language="javascript">var r= "1\n2\n3\n";//将字母\n替换成分号alert(r.replace(& ...

  10. 【C++】读取参数的类

    在C++程序中,如果我们把程序中的参数都保存在txt文本中,运行时再去读取.这样的好处是,当我们需要调参的时候,不需要每次都重新编译程序,大大提升了效率. 今日分享一份实现以上功能的代码,代码来源:h ...