2_爬豆瓣电影_ajax动态加载
爬豆瓣
什么是 AJAX ?
AJAX 是一种在无需重新加载整个网页的情况下,能够更新部分网页的技术。
AJAX = Asynchronous JavaScript and XML(AJAX = 异步 JavaScript 和 XML。)。
AJAX 不是新的编程语言,而是一种使用现有标准的新方法。
AJAX 是一种用于创建快速动态网页的技术。
通过在后台与服务器进行少量数据交换,AJAX 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。
传统的网页(不使用 AJAX)如果需要更新内容,必需重载整个网页面。
动态加载的数据
通过另一个单独的请求请求到的数据
如果我们要对一个陌生的网站进行指定数据的爬取?
首先要明确爬取的数据在该网站是否为动态加载的
如何判断?
- 浏览器中按F12打开开发者工具,然后点击Network下的All
- 刷新网页,可以看到很多请求,直接找到第一个点击
- 然后在Response里按ctrl+F全局搜索
- 在全局搜索框中输入网页中的任意标题或者比较容易辨认的文字或者数字
- 如果可以查到,证明不是动态加载的,反之就是动态加载
是:通过浏览器抓包工具实现全局搜索,定位动态加载数据对应的数据包,从数据包中提取请求的url和请求参数。
不是:就可以直接将浏览器地址栏中的网址作为我们requests请求的url。
首先我们通过浏览器随机进入豆瓣主页的一个分类,下面我这个网址是代表着(热门电视剧)分类:
https://movie.douban.com/tv/#!type=tv&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0
我们往下翻,发现没有下一页,而是四个字:加载更多,我们点击它后,又加载出了一些电视剧,那我们观察一下此时网页的url变成了:
https://movie.douban.com/tv/#!type=tv&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=20
变化就在于最后的start=0变成了start=20,而且整张页面并没有重新加载,页面最下方就加载出了数据,那么我们可以判断这些新加载出来的数据肯定是AJAX动态加载的了。
上面说了动态加载的数据是另一个单独的请求请求到的数据,现在我们就把它找出来。
- 在浏览器中按F12打开开发者工具
- 点击Network下的XHR(XHR就是 XMLHttpRequest 对象,也就是ajax功能实现所依赖的对象),这样我们就能看到AJAX发出的请求
- 点击第二行的clear(一个小圆圈中间有个反斜杠)方便我们观察在点击加载更多后发出了什么请求
果然我们发现了一个请求,点击它,可以看到里面有Headers和Response
Response下返回的是json数据,我们打开json在线解析工具https://www.json.cn/,然后解析,会发现这些数据就是我们点击加载更多后新加载出来的数据
而我们观察一下page_limit:和page_start:
page_limit=20&page_start=0(页面初始时),此时页面共有20部电视剧
page_limit=20&page_start=20(第一次点击加载更多时),此时页面共有40部电视剧
page_limit=20&page_start=40(第二次点击加载更多时),此时页面共有60部电视剧
由此得出结论,从page_start开始,加载page_limit个电视剧
而Headers下有
- type:tv
- tag:热门
- sort:recommend
- page_limit:20
- page_start:20
以及Request URL,Request URL则包含着这些参数
那我们就直接请求去掉参数的Request URL,然后请求时再把参数加上,这样参数可以动态化。
以下为完整代码:
import requests url = 'https://movie.douban.com/j/search_subjects'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36'
}
page_start = input('您想从第几部电影开始获取:')
page_limit = input('您想一次获取多少部电影:')
#url里携带的参数
dic = {
'type': 'tv',
'tag': '热门',
'sort': 'recommend',
'page_limit': page_limit,
'page_start': page_start,
}
response = requests.get(url=url,params=dic,headers=headers)
page_text = response.json()#json返回的是序列化好的实例对象
print(page_text)#page_text是一个字典,数据在字典键值对中的值里面 for dic in page_text['subjects']:
_title = dic['title']
_rate = dic['rate']
print(_title+_rate)
https://movie.douban.com/j/search_subjects?type=tv&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=20
2_爬豆瓣电影_ajax动态加载的更多相关文章
- 爬虫--selenuim和phantonJs处理网页动态加载数据的爬取
1.谷歌浏览器的使用 下载谷歌浏览器 安装谷歌访问助手 终于用上谷歌浏览器了.....激动 问题:处理页面动态加载数据的爬取 -1.selenium -2.phantomJs 1.selenium 二 ...
- selenuim和phantonJs处理网页动态加载数据的爬取
一.图片懒加载 什么是图片懒加载? 案例分析:抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -* ...
- 爬虫开发6.selenuim和phantonJs处理网页动态加载数据的爬取
selenuim和phantonJs处理网页动态加载数据的爬取阅读量: 1203 动态数据加载处理 一.图片懒加载 什么是图片懒加载? 案例分析:抓取站长素材http://sc.chinaz.com/ ...
- 6-----selenuim和phantonJs处理网页动态加载数据的爬取
动态数据加载处理 一.图片懒加载 什么是图片懒加载? 案例分析:抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding ...
- 爬虫——爬取Ajax动态加载网页
常见的反爬机制及处理方式 1.Headers反爬虫 :Cookie.Referer.User-Agent 解决方案: 通过F12获取headers,传给requests.get()方法 2.IP限制 ...
- 爬虫再探实战(三)———爬取动态加载页面——selenium
自学python爬虫也快半年了,在目前看来,我面临着三个待解决的爬虫技术方面的问题:动态加载,多线程并发抓取,模拟登陆.目前正在不断学习相关知识.下面简单写一下用selenium处理动态加载页面相关的 ...
- Scrapy 框架 使用 selenium 爬取动态加载内容
使用 selenium 爬取动态加载内容 开启中间件 DOWNLOADER_MIDDLEWARES = { 'wangyiPro.middlewares.WangyiproDownloaderMidd ...
- Python+Selenium爬取动态加载页面(2)
注: 上一篇<Python+Selenium爬取动态加载页面(1)>讲了基本地如何获取动态页面的数据,这里再讲一个稍微复杂一点的数据获取全国水雨情网.数据的获取过程跟人手动获取过程类似,所 ...
- Python+Selenium爬取动态加载页面(1)
注: 最近有一小任务,需要收集水质和水雨信息,找了两个网站:国家地表水水质自动监测实时数据发布系统和全国水雨情网.由于这两个网站的数据都是动态加载出来的,所以我用了Selenium来完成我的数据获取. ...
随机推荐
- 前端学做 PPT
前端学做 PPT 公司做技术分享.年终总结都需要用到ppt. 要快速.省事的做出高质量的 ppt,一方面需要熟练使用制作 ppt 的工具,另一方面得知道用工具做成什么样子才是好作品.前者比较简单,后者 ...
- day01 File类_Lambda
File类 File类的每一个实例可以表示硬盘(文件系统)中的一个文件或目录(实际上表示的是一个抽象路径) 使用File可以做到: 1:访问其表示的文件或目录的属性信息,例如:名字,大小,修改时间等等 ...
- maven项目(引入依赖失败, pom.xml 报错\爆红)
引入项目过程中,idea引入磁盘的某个的maven项目 这里以springboot项目以例子,发现pom.xml 的依赖大面积爆红,springboot的版本依赖也报错了,然后发现下面有进度条在下载, ...
- centos 8及以上安装mysql 8.0
本文适用于centos 8及以上安装mysql 8.0,整体耗时20分钟内,不需要FQ 1.环境先搞好 systemctl stop firewalld //关闭防火墙 systemctl disab ...
- Docker非root用户使用
Docker 用户管理 安装Docker后docker相关命令都需要加上sudo才能执行,这里为特定用户添加下权限 Docker群组 不过一般安好docker后该群组已创建 sudo groupadd ...
- Ubu18远程登录密匙设置
Ubu18设置远程密匙登录 相关文件 /etc/ssh/sshd_config 注意vscode使用博客园插件需要进行端口转发,在vscode端口处设置41385 本地生成密匙,任选一种,这里只介绍第 ...
- axios&spring前后端分离传参规范总结
前后端分离开发的场景下,开发人员的工作内容更加专注与专业,但是也产生了一些额外的沟通成本.比如:本文中为大家说明的前后端参数传递与接受方法.本文主要是面对前端使用axios,后端使用Spring进行参 ...
- GitHub 主页美化设置教程
GitHub profile设置教程 早些时候逛GitHub,就发现别人的主页特别的精美,当时没有空研究,前几天得空给安排了一下 先看一下成品 贴一个github上一个男人的主页 下面这个是我的 果然 ...
- 5.23 NOI 模拟
$5.23\ NOI $模拟 \(T1\)简单的计算几何题 \(zjr:\)我当时没改,那么自己看题解吧 倒是有个简单的随机化方法(能获得\(72pts,\)正确性未知)\(:\) 随机两条切椭圆的平 ...
- flutter系列之:flutter架构什么的,看完这篇文章就全懂了
目录 简介 Flutter的架构图 embedder engine Flutter framework Widgets Widgets的可扩展性 Widgets的状态管理 渲染和布局 总结 简介 Fl ...