Python 爬取豆瓣TOP250实战
学习爬虫之路,必经的一个小项目就是爬取豆瓣的TOP250了,首先我们进入TOP250的界面看看。
可以看到每部电影都有比较全面的简介。其中包括电影名、导演、评分等。
接下来,我们就爬取这些数据,并将这些数据制成EXCEL表格方便查看。
首先,我们用requests库请求一下该网页,并返回他的text格式。
请求并返回成功!
接下来,我们提取我们所需要的网页元素。
点击“肖申克救赎”的检查元素。
发现它在div class = "hd" -> span class = "title"里,所以我们import beautifulsoup,来定位该元素。
同时,用相同的方法定位电影的评价人数和评分以及短评。
代码如下:
soup = BeautifulSoup(res.text, 'html.parser') names = []
scores = []
comments = []
result = []
#获取电影的所有名字
res_name = soup.find_all('div',class_="hd")
for i in res_name:
a=i.a.span.text
names.append(a) #获取电影的评分
res_scores = soup.find_all('span',class_='rating_num')
for i in res_scores:
a=i.get_text()
scores.append(a) #获取电影的短评
ol = soup.find('ol', class_='grid_view')
for i in ol.find_all('li'): info = i.find('span', attrs={'class': 'inq'}) # 短评
if info:
comments.append(info.get_text())
else:
comments.append("无") return names,scores,comments
Ok,现在,我们所需要的数据都存在三个列表里面,names,scores,comments。
我们将这三个列表存入EXCEL文件里,方便查看。
调用WorkBook方法
wb = Workbook()
filename = 'top250.xlsx'
ws1 = wb.active
ws1.title = 'TOP250'
for (i, m, o) in zip(names,scores,comments):
col_A = 'A%s' % (names.index(i) + 1)
col_B = 'B%s' % (names.index(i) + 1)
col_C = 'C%s' % (names.index(i) + 1)
ws1[col_A] = i
ws1[col_B] = m
ws1[col_C] = o
wb.save(filename=filename)
运行结束后,会生成一个.xlsx的文件,我们来看看效果:
Very Beatuful! 以后想学习之余想放松一下看看好的电影,就可以在上面直接查找啦。
以下是我的源代码:
import requests
from bs4 import BeautifulSoup
from openpyxl import Workbook def open_url(url):
res = requests.get(url)
return res def get_movie(res):
soup = BeautifulSoup(res.text, 'html.parser') names = []
scores = []
comments = []
result = []
#获取电影的所有名字
res_name = soup.find_all('div',class_="hd")
for i in res_name:
a=i.a.span.text
names.append(a) #获取电影的评分
res_scores = soup.find_all('span',class_='rating_num')
for i in res_scores:
a=i.get_text()
scores.append(a) #获取电影的短评
ol = soup.find('ol', class_='grid_view')
for i in ol.find_all('li'): info = i.find('span', attrs={'class': 'inq'}) # 短评
if info:
comments.append(info.get_text())
else:
comments.append("无") return names,scores,comments def get_page(res):
soup = BeautifulSoup(res.text,'html.parser')
#获取页数
page_num = soup.find('span',class_ ='next').previous_sibling.previous_sibling.text
return int(page_num) def main():
host = 'https://movie.douban.com/top250'
res = open_url(host)
pages = get_page(res)
#print(pages)
names =[]
scores = []
comments = []
for i in range(pages):
url = host + '?start='+ str(25*i)+'&filter='
#print(url)
result = open_url(url)
#print(result)
a,b,c = get_movie(result)
#print(a,b,c)
names.extend(a)
scores.extend(b)
comments.extend(c)
# print(names)
# print(scores)
# print(comments)
wb = Workbook()
filename = 'top250.xlsx'
ws1 = wb.active
ws1.title = 'TOP250'
for (i, m, o) in zip(names,scores,comments):
col_A = 'A%s' % (names.index(i) + 1)
col_B = 'B%s' % (names.index(i) + 1)
col_C = 'C%s' % (names.index(i) + 1)
ws1[col_A] = i
ws1[col_B] = m
ws1[col_C] = o
wb.save(filename=filename) if __name__ == '__main__':
main()
生成EXCEL文件还有很多种方法,下次分享Pandas生成EXCEL文件的方法~
Python 爬取豆瓣TOP250实战的更多相关文章
- python爬取豆瓣top250的电影数据并存入excle
爬取网址: https://movie.douban.com/top250 一:爬取思路(新手可以看一下) : 1:定义两个函数,一个get_page函数爬取数据,一个save函数保存数据,mian中 ...
- Python爬取豆瓣音乐存储MongoDB数据库(Python爬虫实战1)
1. 爬虫设计的技术 1)数据获取,通过http获取网站的数据,如urllib,urllib2,requests等模块: 2)数据提取,将web站点所获取的数据进行处理,获取所需要的数据,常使用的技 ...
- 零基础爬虫----python爬取豆瓣电影top250的信息(转)
今天利用xpath写了一个小爬虫,比较适合一些爬虫新手来学习.话不多说,开始今天的正题,我会利用一个案例来介绍下xpath如何对网页进行解析的,以及如何对信息进行提取的. python环境:pytho ...
- python爬取豆瓣电影Top250(附完整源代码)
初学爬虫,学习一下三方库的使用以及简单静态网页的分析.就跟着视频写了一个爬取豆瓣Top250排行榜的爬虫. 网页分析 我个人感觉写爬虫最重要的就是分析网页,找到网页的规律,找到自己需要内容所在的地方, ...
- Python爬取豆瓣电影top
Python爬取豆瓣电影top250 下面以四种方法去解析数据,前面三种以插件库来解析,第四种以正则表达式去解析. xpath pyquery beaufifulsoup re 爬取信息:名称 评分 ...
- Python爬取豆瓣指定书籍的短评
Python爬取豆瓣指定书籍的短评 #!/usr/bin/python # coding=utf-8 import re import sys import time import random im ...
- 利用Python爬取豆瓣电影
目标:使用Python爬取豆瓣电影并保存MongoDB数据库中 我们先来看一下通过浏览器的方式来筛选某些特定的电影: 我们把URL来复制出来分析分析: https://movie.douban.com ...
- 基础爬虫,谁学谁会,用requests、正则表达式爬取豆瓣Top250电影数据!
爬取豆瓣Top250电影的评分.海报.影评等数据! 本项目是爬虫中最基础的,最简单的一例: 后面会有利用爬虫框架来完成更高级.自动化的爬虫程序. 此项目过程是运用requests请求库来获取h ...
- Python爬取豆瓣《复仇者联盟3》评论并生成乖萌的格鲁特
代码地址如下:http://www.demodashi.com/demo/13257.html 1. 需求说明 本项目基于Python爬虫,爬取豆瓣电影上关于复仇者联盟3的所有影评,并保存至本地文件. ...
随机推荐
- 使用 Nginx 部署前后端分离项目,解决跨域问题
前后端分离这个问题其实松哥和大家聊过很多了,上周松哥把自己的两个开源项目部署在服务器上以帮助大家可以快速在线预览(喜大普奔,两个开源的 Spring Boot + Vue 前后端分离项目可以在线体验了 ...
- [Advanced Python] 15 - "Metaclass": ORM
From: 使用元类 动态创建类 与静态语言最大的不同,就是函数和类的定义,不是编译时定义的,而是运行时动态创建的. 一 .type()动态创建 我们说class的定义是运行时动态创建的: 而创建cl ...
- 最新2019Pycharm破解教程,附激活码!
本教程仅用作个人学习,请勿用于商业获利,造成后果自负!!! Pycharm安装 在这插一个小话题哈,Pycharm只是一个编译器,并不能代替Python,如果要使用Python,还是需要安装Pytho ...
- 浅谈 Vector
目录 浅谈Vector 1.容器基本操作 2.vector 初始化 3.vector的赋值与swap 4.vector的增删改除 1.增加元素 2.访问元素 3.删除元素 4.元素的大小 浅谈Vect ...
- java-toString()、(String)、String.valueOf 的区别
Object x = new Integer(1218); System.out.println((String)x); 如上代码编译通过,运行时报错: java.lang.ClassCastExce ...
- Hadoop点滴-外围概念
有句话说的好“大数据胜于好算法” 硬盘存储容量在不断提升的同时,访问速度(硬盘数据读取速度)却没有同步增长:1990年,访问全盘需要5分钟,20年后,需要2.5小时 不同的业务大数据,存储在一套HDF ...
- 手把手创建gulp
这几天安装gulp踩了不少坑,现在讲解一个入门的案例解析: ==首先大家要确保node.npm.npx.gulp安装是否成功 == 这些安装都是傻瓜式安装,大家可以找到相应的教材. 创建一个自己的文件 ...
- Flask基础(03)-->创建第一个Flask程序
# 导入Flask from flask import Flask # 创建Flask的应用程序 # 参数__name__指的是Flask所对应的模块,其决定静态文件从哪个地方开始寻找 app = F ...
- 实现一个3D图片轮播插件 —— 更新版
前言: 前段时间写下了之前那篇 3D图片轮播效果,后来发现了 Pedro Botelho 写的jquery.gallery.js ,于是重新修改了自己的这个图片轮播,使之可以成为一个插件来使用 ...
- 针对于ECMA5Script 、ECMAScript6、TypeScript的认识
什么是ECMAScript.什么又是ECMA? Ecma国际(Ecma International)是一家国际性会员制度的信息和电信标准组织.1994年之前,名为欧洲计算机制造商协会(European ...