一.Beta阶段目标回顾 1.为了解决Alpha阶段线程异常泛滥的问题,我们需要一个线程池. 2.为了爬取得到的文件正确可用,我们需要一个异常清理器. 3.为了不间断爬取,管理员不必频繁运行程序点,我们需要实现动态爬取. 以上的三个主要目标在Beta开发阶段都得到了实现,除此以外,因为我们本次开发模式是“集市”,根据其他相关小组的需求我们还额外实现了两个主要功能: 1.视频链接的大量爬取. 2.基于祖先网页的专门爬取. 二.更新内容 1 新增功能 1.1 动态爬取 在Alpha阶段中,如果在爬…