解决Cookie有效期,页面间Cookie传递 解決大规模,长期有效采集. 之前做一个项目,要采集招聘网站的职位信息,智联,拉钩,中华英才,BOOS,大街网,写完了前4个,大街网数据加载方式是AJAX,高高兴兴写完了,关机睡觉. 第二天早上,XXXXX,大街网失效了,原因是COOKIE具有有效时间,大概10分钟.然后有了这篇文章. 整体思路: 1,开始采集前,先请求一个URL拿到COOKIE. 2,更新会话COOKIE. 3,启动主爬虫采集.大量采集时,不需要每次都请求URL获取COOKIE再更…