多线程爬虫 进程线程回顾 进程 系统中正在运行的一个应用程序 1个CPU核心1次只能执行1个进程,其他进程处于非运行状态 N个CPU核心可同时执行N个任务 线程 进程中包含的执行单元,1个进程可包含多个线程 线程可使用所属进程空间(1次只能执行1个线程,阻塞) 锁:防止多个线程同时使用共享空间 GIL:全局解释锁 执行通行证,仅此1个,拿到了通行证可执行,否则等 应用场景 多进程:大量的密集的计算 多线程:I/O密集 爬虫:网络I/O 写文件:本次磁盘I/O 案例:使用多线程爬取 百思不得其姐…

本项目实现了获取stack overflow的问题,语言使用python,框架scrapy框架,选取mongoDB作为持久化数据库,redis做为数据缓存 项目源码可以参考我的github:https://github.com/corolcorona/spider_scrapy 1.创建一个scrapy项目 在创建的目录下执行命令:scrapy startproject 项目名 这样就创建好了一个名为spider_scrapy的项目, 创建成功后,项目会产生以下文件 常用到的: settings…