公司有个爬取的需求,要求持续性爬取,需要永久性地挂载到目标网站上,每天爬一次里面的数据.数据有下载表格的,我通过ui自动化点击拿到数据:还有一部分数据是几乎所有的图片信息,信息量近百万,这部分用scrapy.最后,决定什么时候爬取,爬取哪一天的,要通过请求来处理,所以需要搭建一个服务器,这个我用的flask.开始服务器监听,同时启动ui自动化挂载,这个用到协程. 一.flask + 协程 总的逻辑在这里. from gevent import monkey monkey.patch_all()…