工欲善其事,必先利其器,我们首先得了解beautifulsoup的使用,这其实是一个比较简单的东西

  BeautifulSoup的基本使用语法规则

  • .find() 使用示例
    soup.find('a')。那么会返回在soup包含的源代码中,遇到的第一个<a>...</a>标签内容对象。
    soup.find('a', id='next')。那么会返回在soup包含的源代码中,遇到的第一个有属性为id,值为next的<a>对象,比如<a id="next">...</a>。(不只可以用id,大部分其他的属性都可以直接使用,比如src、name。 值得注意的是,class这个属性因为是Python关键字,不能直接使用,所以在BS里面,使用class_='...'进行代替 )
    find返回的结果,依然可以继续使用find()或者find_all()方法。如果找不到指定的内容,find会返回None

  • .find_all()使用示例
    soup.find_all('a')。那么会返回在soup包含的源代码中,遇到的所有<a>...</a>标签内容的可迭代对象(我们可以把它看成一个 list 或者数组)
    soup.find_all('a', class_='next')。那么会返回在soup包含的源代码中,遇到的所有属性为class,值为next的<a>的 可迭代对象,比如<a class="next">...</a>。(语法和find也一样,class也不能直接写)
    find_all返回的“list”中的单个对象 依然可以继续使用find()或者find_all()方法。如果找不到指定的内容,find_all会返回一个空的“list”。

  • 获取元素的某个属性
    soup['src],这样我们就能取出soup对象的src属性了。如果该属性不存在,那么程序会报错。

  • 获取元素中的所有文本
    soup.text,假设soup对象为<div>你好<a>复联</a></div>,那么这个操作返回字符串是你好复联

首先我们获得html的源码,然后保存到文件中,使用beautiful读出来解析:

import  requests
from bs4 import BeautifulSoup
url="https://movie.douban.com/cinema/later/chengdu/"
douban_req = requests.get(url)
# print(douban_req.content.decode('utf-8')) #输出获得的内容
#防止被服务器封掉ip,也减轻服务器压力,保存到本地 file_douban = open("douban.html","wb") # 写入文件
file_douban.write(douban_req.content)
file_douban.close()
# 以只读的方式打开文件
file_open=open("douban.html","rb")
html = file_open.read()
file_open.close()
#解析
soup = BeautifulSoup(html,"lxml") # 初始化BeautifulSoup
print(soup.find("link",href="https://img3.doubanio.com/f/shire/52c9997d6d42db58eab418e976a14d5f3eff981e/css/douban.css"))

将所有的电影信息输出

#解析
soup = BeautifulSoup(html,"lxml") # 初始化BeautifulSoup
all_movie=soup.find("div",id="showing-soon",class_="tab-bd") # 获得整个板块
for each_mobie in all_movie.find_all("div",class_="item"):
print(each_mobie)

效果图:

接下来我们对每个具体电影进行切割分析

我们可以看到首先电影的简单信息都在<ul>  </ul>中,因此根据find,和find_all来获得信息

import  requests
from bs4 import BeautifulSoup
url="https://movie.douban.com/cinema/later/chengdu/"
douban_req = requests.get(url)
# print(douban_req.content.decode('utf-8')) #输出获得的内容
#防止被服务器封掉ip,也减轻服务器压力,保存到本地 file_douban = open("douban.html","wb") # 写入文件
file_douban.write(douban_req.content)
file_douban.close()
# 以只读的方式打开文件
file_open=open("douban.html","rb")
html = file_open.read()
file_open.close()
#解析
soup = BeautifulSoup(html,"lxml") # 初始化BeautifulSoup
all_movie=soup.find("div",id="showing-soon",class_="tab-bd") # 获得整个板块
for each_mobie in all_movie.find_all("div",class_="item"):
title=each_mobie.find("a",class_="")#标题名字
ule_title = title["href"]
ul_information = each_mobie.find_all("li",class_="dt")
time =ul_information[0].text
opera = ul_information[1].text
country =ul_information[2].text
people = each_mobie.find("li",class_="dt last").text
trailer= each_mobie.find("a",class_="trailer_icon")
print("电影链接:",title.text )
print(ule_title)
print(time)
print(opera)
print(people)
if trailer is None:
print("暂时没有预告片")
else:
print("预告片:",trailer["href"])
print("")

效果:

自己也可以增加别的元素,如把海报照片保存下来等,其实都是同样的操作。

具体可参考大佬链接:https://www.jianshu.com/p/c64fe2a20bc9

如果数据保存成html或者csv格式:https://www.jianshu.com/p/011abdcee7e4

BeautifulSoup解析豆瓣即将上映的电影信息的更多相关文章

  1. python3爬取豆瓣排名前250电影信息

    #!/usr/bin/env python # -*- coding: utf-8 -*- # @File : doubanmovie.py # @Author: Anthony.waa # @Dat ...

  2. 003.[python学习] 简单抓取豆瓣网电影信息程序

    声明:本程序仅用于学习爬网页数据,不可用于其它用途. 本程序仍有很多不足之处,请读者不吝赐教. 依赖:本程序依赖BeautifulSoup4和lxml,如需正确运行,请先安装.下面是代码: #!/us ...

  3. Scrapy项目 - 实现豆瓣 Top250 电影信息爬取的爬虫设计

    通过使Scrapy框架,掌握如何使用Twisted异步网络框架来处理网络通讯的问题,进行数据挖掘和对web站点页面提取结构化数据,可以加快我们的下载速度,也可深入接触各种中间件接口,灵活的完成各种需求 ...

  4. python爬虫实战 获取豆瓣排名前250的电影信息--基于正则表达式

    一.项目目标 爬取豆瓣TOP250电影的评分.评价人数.短评等信息,并在其保存在txt文件中,html解析方式基于正则表达式 二.确定页面内容 爬虫地址:https://movie.douban.co ...

  5. 如何用Python在豆瓣中获取自己喜欢的TOP N电影信息

    一.什么是 Python Python (蟒蛇)是一门简单易学. 优雅健壮. 功能强大. 面向对象的解释型脚本语言.具有 20+ 年发展历史, 成熟稳定. 具有丰富和强大的类库支持日常应用. 1989 ...

  6. Python爬虫入门 之 如何在豆瓣中获取自己喜欢的TOP N电影信息

    什么是爬虫 按照一定规则自动的获取互联网上的信息(如何快速有效的利用互联网上的大量信息) 爬虫的应用 搜索引擎(Google.百度.Bing等搜索引擎,辅助人们检索信息) 股票软件(爬取股票数据,帮助 ...

  7. 豆瓣电影信息爬取(json)

    豆瓣电影信息爬取(json) # a = "hello world" # 字符串数据类型# b = {"name":"python"} # ...

  8. Scrapy项目 - 数据简析 - 实现豆瓣 Top250 电影信息爬取的爬虫设计

    一.数据分析截图(weka数据分析截图 ) 本例实验,使用Weka 3.7对豆瓣电影网页上所罗列的上映电影信息,如:标题.主要信息(年份.国家.类型)和评分等的信息进行数据分析,Weka 3.7数据分 ...

  9. requests结合xpath爬取豆瓣最新上映电影

    # -*- coding: utf-8 -*- """ 豆瓣最新上映电影爬取 # ul = etree.tostring(ul, encoding="utf-8 ...

随机推荐

  1. 关于maven的repositories

    在maven repositories视图中,有local repositories和global repositories两种. local repositories是本地的库,默认目录在C:\Us ...

  2. redis缓存穿透-解决方案

    上面的解决方案个人觉得时有误的,因为就算缓存了value的null值,后面的接口请求还是会判断走数据库,所以看解决方案二 解决方案二: https://blog.csdn.net/muyi_amen/ ...

  3. The Preliminary Contest for ICPC Asia Nanchang 2019 B. Fire-Fighting Hero

    题目:https://nanti.jisuanke.com/t/41349 思路:dijkstra最短路径 先以 fire-fighting hero为起点 跑一遍dijkstra 建立 起点 p 并 ...

  4. noi.ac NA534 【猫】

    一眼暴力DP 再一眼决策单调性? 打个表以为是四边形不等式?? 最后发现是斜率优化??? 于是成功写了个假斜率优化真四边形不等式拿了\(80\) 设\(f[i][j]\)表示有\(i\)个工作人员出发 ...

  5. 【CF750E】New Year and Old Subsequence

    题目大意:给定一个长度为 N 的字符串,定义一个字串是"好的",当且仅当字串中含有一个 "2017" 的子序列,且不含有 "2016" 的子 ...

  6. Spring MVC 设置UTF-8编码

    按照需求选其中之一即可吧. 修改读取参数时候的编码: 在web.xml中: 添加一个过滤器(filter),注册 org.springframework.web.filter.CharacterEnc ...

  7. Rest_Framework简介

    Web应用模式 在开发Web应用中,有两种应用模式:前后端不分离和前后端分离 前后端不分离 前后端不分离通俗来讲就是不区分前端和后端,浏览器请求时服务器直接返回页面,其示意图如下 前后端分离 前后端分 ...

  8. printf计算参数是从右到左压栈的(a++和++a的压栈的区别)

    一.问题 c++代码: #include <iostream> #include <stdio.h> using namespace std; int main(){ ; co ...

  9. Atcoder Regular Contest 066 F genocide【JZOJ5451】

    题目 分析 \(s[i]\)表示a前缀和. 设\(f[i]\)表示做完了1~i的友谊颗粒的最优值(不一定选i),那么转移方程为 \[f[i]=max\{f[i-1],max\{f[j]-s[i]+s[ ...

  10. python3.6+selnium3+IE11问题及解决方法

    环境:python3.6+selnium3+IE11+win7 一.输入框输入字符很慢,大概5秒输入一个字符 解决方法:把IEDriverServer.exe替换成32位的 二.用例异常后不继续执行剩 ...