目的意义 基础爬虫分5个模块,使用多个文件相互配合,实现一个相对完善的数据爬取方案,便于以后更完善的爬虫做准备. 这里目的是爬取200条百度百科信息,并生成一个html文件,存储爬取的站点,词条,解释. 本文思路来源书籍.其代码部分来源书籍.https://book.douban.com/subject/27061630/ 功能模块 主文件:爬虫调度器,通过调用其他文件中的方法,完成最终功能实现. 其他文件:URL管理器,HTML下载器,HTML解析器,数据存储器. 设计思路 定义SpiderM