学习爬虫之路,必经的一个小项目就是爬取豆瓣的TOP250了,首先我们进入TOP250的界面看看。

可以看到每部电影都有比较全面的简介。其中包括电影名、导演、评分等。

接下来,我们就爬取这些数据,并将这些数据制成EXCEL表格方便查看。

首先,我们用requests库请求一下该网页,并返回他的text格式。

请求并返回成功!

接下来,我们提取我们所需要的网页元素。

点击“肖申克救赎”的检查元素。

发现它在div class = "hd" -> span class = "title"里,所以我们import beautifulsoup,来定位该元素。

同时,用相同的方法定位电影的评价人数和评分以及短评。

代码如下:

soup = BeautifulSoup(res.text, 'html.parser')

    names = []
scores = []
comments = []
result = []
#获取电影的所有名字
res_name = soup.find_all('div',class_="hd")
for i in res_name:
a=i.a.span.text
names.append(a) #获取电影的评分
res_scores = soup.find_all('span',class_='rating_num')
for i in res_scores:
a=i.get_text()
scores.append(a) #获取电影的短评
ol = soup.find('ol', class_='grid_view')
for i in ol.find_all('li'): info = i.find('span', attrs={'class': 'inq'}) # 短评
if info:
comments.append(info.get_text())
else:
comments.append("无") return names,scores,comments

Ok,现在,我们所需要的数据都存在三个列表里面,names,scores,comments。

我们将这三个列表存入EXCEL文件里,方便查看。

调用WorkBook方法

wb = Workbook()
filename = 'top250.xlsx'
ws1 = wb.active
ws1.title = 'TOP250'
for (i, m, o) in zip(names,scores,comments):
col_A = 'A%s' % (names.index(i) + 1)
col_B = 'B%s' % (names.index(i) + 1)
col_C = 'C%s' % (names.index(i) + 1)
ws1[col_A] = i
ws1[col_B] = m
ws1[col_C] = o
wb.save(filename=filename)

运行结束后,会生成一个.xlsx的文件,我们来看看效果:

Very Beatuful! 以后想学习之余想放松一下看看好的电影,就可以在上面直接查找啦。

以下是我的源代码:

import requests
from bs4 import BeautifulSoup
from openpyxl import Workbook def open_url(url):
res = requests.get(url)
return res def get_movie(res):
soup = BeautifulSoup(res.text, 'html.parser') names = []
scores = []
comments = []
result = []
#获取电影的所有名字
res_name = soup.find_all('div',class_="hd")
for i in res_name:
a=i.a.span.text
names.append(a) #获取电影的评分
res_scores = soup.find_all('span',class_='rating_num')
for i in res_scores:
a=i.get_text()
scores.append(a) #获取电影的短评
ol = soup.find('ol', class_='grid_view')
for i in ol.find_all('li'): info = i.find('span', attrs={'class': 'inq'}) # 短评
if info:
comments.append(info.get_text())
else:
comments.append("无") return names,scores,comments def get_page(res):
soup = BeautifulSoup(res.text,'html.parser')
#获取页数
page_num = soup.find('span',class_ ='next').previous_sibling.previous_sibling.text
return int(page_num) def main():
host = 'https://movie.douban.com/top250'
res = open_url(host)
pages = get_page(res)
#print(pages)
names =[]
scores = []
comments = []
for i in range(pages):
url = host + '?start='+ str(25*i)+'&filter='
#print(url)
result = open_url(url)
#print(result)
a,b,c = get_movie(result)
#print(a,b,c)
names.extend(a)
scores.extend(b)
comments.extend(c)
# print(names)
# print(scores)
# print(comments)
wb = Workbook()
filename = 'top250.xlsx'
ws1 = wb.active
ws1.title = 'TOP250'
for (i, m, o) in zip(names,scores,comments):
col_A = 'A%s' % (names.index(i) + 1)
col_B = 'B%s' % (names.index(i) + 1)
col_C = 'C%s' % (names.index(i) + 1)
ws1[col_A] = i
ws1[col_B] = m
ws1[col_C] = o
wb.save(filename=filename) if __name__ == '__main__':
main()

生成EXCEL文件还有很多种方法,下次分享Pandas生成EXCEL文件的方法~

Python 爬取豆瓣TOP250实战的更多相关文章

  1. python爬取豆瓣top250的电影数据并存入excle

    爬取网址: https://movie.douban.com/top250 一:爬取思路(新手可以看一下) : 1:定义两个函数,一个get_page函数爬取数据,一个save函数保存数据,mian中 ...

  2. Python爬取豆瓣音乐存储MongoDB数据库(Python爬虫实战1)

    1.  爬虫设计的技术 1)数据获取,通过http获取网站的数据,如urllib,urllib2,requests等模块: 2)数据提取,将web站点所获取的数据进行处理,获取所需要的数据,常使用的技 ...

  3. 零基础爬虫----python爬取豆瓣电影top250的信息(转)

    今天利用xpath写了一个小爬虫,比较适合一些爬虫新手来学习.话不多说,开始今天的正题,我会利用一个案例来介绍下xpath如何对网页进行解析的,以及如何对信息进行提取的. python环境:pytho ...

  4. python爬取豆瓣电影Top250(附完整源代码)

    初学爬虫,学习一下三方库的使用以及简单静态网页的分析.就跟着视频写了一个爬取豆瓣Top250排行榜的爬虫. 网页分析 我个人感觉写爬虫最重要的就是分析网页,找到网页的规律,找到自己需要内容所在的地方, ...

  5. Python爬取豆瓣电影top

    Python爬取豆瓣电影top250 下面以四种方法去解析数据,前面三种以插件库来解析,第四种以正则表达式去解析. xpath pyquery beaufifulsoup re 爬取信息:名称  评分 ...

  6. Python爬取豆瓣指定书籍的短评

    Python爬取豆瓣指定书籍的短评 #!/usr/bin/python # coding=utf-8 import re import sys import time import random im ...

  7. 利用Python爬取豆瓣电影

    目标:使用Python爬取豆瓣电影并保存MongoDB数据库中 我们先来看一下通过浏览器的方式来筛选某些特定的电影: 我们把URL来复制出来分析分析: https://movie.douban.com ...

  8. 基础爬虫,谁学谁会,用requests、正则表达式爬取豆瓣Top250电影数据!

    爬取豆瓣Top250电影的评分.海报.影评等数据!   本项目是爬虫中最基础的,最简单的一例: 后面会有利用爬虫框架来完成更高级.自动化的爬虫程序.   此项目过程是运用requests请求库来获取h ...

  9. Python爬取豆瓣《复仇者联盟3》评论并生成乖萌的格鲁特

    代码地址如下:http://www.demodashi.com/demo/13257.html 1. 需求说明 本项目基于Python爬虫,爬取豆瓣电影上关于复仇者联盟3的所有影评,并保存至本地文件. ...

随机推荐

  1. Day 6 文件属性与命令执行流程

    1. 第一列第一个字符 表示文件类型 rw-r--r--     权限(下周) 4 这个文件被链接次数 root 文件的拥有者(用户) root 文件的拥有组(用户组 ==>家族) 2018 文 ...

  2. POA理论:不要被你的目标欺骗了你

    ![](https://img2018.cnblogs.com/blog/330316/201909/330316-20190922210844977-255725510.jpg) 最近通过<跃 ...

  3. C#使用Oxyplot绘制监控界面

    C#中可选的绘图工具有很多,除了Oxyplot还有DynamicDataDisplay(已经改名为InteractiveDataDisplay)等等.不过由于笔者这里存在一些环境上的特殊要求,.Net ...

  4. 【linux】【Python】python2.7安装pip9.0.1

    Centos7系统默认自带python2.7,但是没有安装pip. [root@localhost docker-elk]# python -V Python 2.7.5 [root@localhos ...

  5. spring框架对于实体类复杂属性注入xml文件的配置

    spring框架是javaWeb项目中至关重要的一个框架,大多web 项目在工作层次上分为持久层.服务层.控制层.持久层(dao.mapper)用于连接数据库,完成项目与数据库中数据的传递:服务层(s ...

  6. LoadRuuner资源监控

    用ipconfig命令查看IP地址的具体方法.初级工程师面试常面临的问题:网址:http://url.cn/5BaDWvB本机IP:172.0.0.1localhostipconfig命令c查看本机I ...

  7. 生产环境轻量级dns服务器dnsmasq搭建文档

    dnsmasq搭建文档 一.生产环境域名解析问题 之前生产环境设备较少,是通过维护master(192.168.1.1)设备的hosts文件实现的.每次新增设备后,需要在master的hosts文件中 ...

  8. windows环境下搭建python虚拟环境及离线移植

    以python3.6为例 ①安装virtualenv: #pip安装之后在D:\Python36\Scripts目录下可以看到多了一个virtualenv.exe可执行文件pip install vi ...

  9. vscode中自动补全<?php?>

    方法引用自百度知道的一个回答: 但是他这个我用着需要优化一下,我的代码是: "PHP":{ "prefix": "php", "b ...

  10. 一个selenium简单案例自动添加数据

    //本来想着用execl来录入数据的,但是为了尽快完成所以直接搞了个数组 package aldtest; import org.openqa.selenium.*; import org.openq ...