先介绍下背景:由于工作需要,前段时间又写了一段爬虫去获取和更新一些数据.之前爬虫主要用Scrapy框架批量爬取一些页面数据,或者用Gevent调用目标站点的接口.偶然看到了Tornado,听说这个框架很强大,所以打算这次爬虫用Tornado试试.不足之处,欢迎指正. 总的来说,Tornado是Python里面一个轻量的异步非阻塞的框架,性能非常不错,最新版本的异步协程是基于Python内置的asyncio来实现(老版本用装饰器实现异步).Tornado可以用来做Web服务,或者利用其异步功能,完…