错误的思路是这样的:发送一个访问页面的请求过去,得到一个html页面,然后我要的数据全都在这上面.后来发现不是这样的,也猜到可能是页面加载之后还有js代码的ajax的异步加载,那么问题来了?我是不是要等到这些ajax请求结束之后,我才能拿到数据呢?我怎么判断有没有结束?我要等多久合适呢?嗯,仔细向下,还有个问题是,发送的post请求过去,又没有浏览器渲染,谁去执行这些js代码呢?   实际上是这样的:发送一个访问页面的请求过去,上面可能有我要的数据,也可能没有,如果没有,那就看看是不是要发另外的…

声明:我写的所有文章都是发在博客园的,我看到其他复制粘贴过去的 连个出处也不写,直接打上自己的水印...真是没的说了. 前言:前段时间搞了一些爬视频的项目,代码都写好了,这里写文章那就在来重新分析一遍吧.有不好的地方 莫见怪 : ) 环境:python2.7 + win10 开始先说一下,访问youtube需要科学上网,请自行解决,最好是全局代理. ok,现在开始,首先打开网站观察 网站很干净清爽,这次做的是基于关键字搜索来爬那些相关视频,这样就能很好的分类了,若输入中文搜索,那结果也一般都是国…

使用 puppeteer 爬取链家房价信息 目录 使用 puppeteer 爬取链家房价信息 页面结构 爬虫库 pupeteer 库 实现 打开待爬页面 遍历区级页面 方法一 方法二 遍历街道页面 遍历分页 业务信息 成果保存 代码优化 成果展示 此文记录了使用 puppeteer 库进行动态网站爬取的过程. 页面结构 地址 链家的历史成交记录页面在这里,它是后台渲染模式,无法通过监听和模拟 xhr 请求来快速获取,只能想办法分析它的页面结构,进行元素提取. 页面通过分页进行管理,例如其第二页链…

水平有限,仅供参考. 如图所示,汽车之家的车辆详情里的数据做了反爬对策,数据被CSS伪类替换. 观察 Sources 发现数据就在当前页面. 发现若干条进行CSS替换的js 继续深入此JS 知道了数据与规则,剩下的交给PYTHON. def repliceStr(browser,textJs,Js): _config_pos=textJs.find("return '.") JsSplit=textJs[_config_pos:_config_pos+70] ClassHead=re.…

之前就有网友在博客里留言,觉得webmagic的实现比较有意思,想要借此研究一下爬虫.最近终于集中精力,花了三天时间,终于写完了这篇文章.之前垂直爬虫写了一年多,webmagic框架写了一个多月,这方面倒是有一些心得,希望对读者有帮助. webmagic的目标 一般来说,一个爬虫包括几个部分: 页面下载 页面下载是一个爬虫的基础.下载页面之后才能进行其他后续操作. 链接提取 一般爬虫都会有一些初始的种子URL,但是这些URL对于爬虫是远远不够的.爬虫在爬页面的时候,需要不断发现新的链接. URL…

缘起 写了多年的程序,鲜有产出物,于是最近打算做个不可说的东西来祭奠逝去的青春.数据,是一个程序的起点,我们没有数以亿计的用户,无法让活跃用户给我们产生数据,那就只能去别人的站点上借点数据了.这个功能一般我们称之为爬虫. 框架 首先我们确认语言选用Java,接下去是框架选择,因为是自己玩的项目,也不需要去分析太多的优劣,我们要的是一个比较简单快捷的方案,于是就拍脑袋敲定web magic了. webmagic 的目标 一般来说,一个爬虫包括几个部分: 页面下载 页面下载是一个爬虫的基础.下载页面…

开发环境 基础语法那章的内容我是在Docker容器中玩的,但是真正做项目的时候,没有IDE的强大辅助功能来协助的话是很累人的一件事.因此从本文中,我选择使用Jetbrain的Pycharm这个IDE来开发.调试代码.IDE的好处多多,比如: 强大的智能提示 强大的断点调试 性能追踪 方便好用的各种插件 各种自定义配置 需求 为了实践Python,最先想到的就是要完成一个爬虫程序,大概需求如下: 实施 可配置化我本身是计划通过DI(Dependency Injection)这个技术来完成,不过查了…

phantomjs 设置ip 方法1: service_args = [ '--proxy=%s' % ip_html, # 代理 IP:prot (eg:192.168.0.28:808) '--proxy-type=http', # 代理类型:http/https '--load-images=no', # 关闭图片加载(可选) '--disk-cache=yes', # 开启缓存(可选) '--ignore-ssl-errors=true' # 忽略https错误(可选) ] driver…

一.函数对象  函数名就是存放了函数的内存地址,存放了内存地址的变量都是对象,即 函数名 就是 函数对象  函数对象的应用 1. 可以直接被引用  fn = cp_fn 2 .可以当作函数参数传递 computed(cp_fn, 100, 20) 3. 可以作为函数的返回值  get_cp_fn(cmd): return add 4. 可以作为容器类型的元素  method_map: 对应关系中的值 函数名存放的就是函数的地址,所以函数名也是对象,称之为函数对象 a= def fn(): num…

今日内容 '''函数四个组成部分函数名:保存的是函数的地址,是调用函数的依据函数体:就是执行特定功能的代码块函数返回值:代码块执行的结果反馈函数参数:完成功能需要的条件信息​1.函数的概念2.函数的定义3.从函数的组成部分来详解介绍重点:定义函数的思想''' 函数 ​'''函数:>>> 重复利用的工具>>> 可以完成特定功能的代码块,函数就是存放代码块的容器'''​ 定义函数的语法 函数四部分 '''1. 函数名:使用该函数的依据2. 函数体:完成功能的代码块3. 返回…