1. 网站和页面的权重 这个是咱们都知道的,网站和页面的权重越高的话,蜘蛛一般会匍匐的越深,被蜘蛛录入的页面也更多一些.可是一个新的网站,权重到达1的话是相对简单的,可是假如想要把权重再网上添加则会越来越难. 2.页面的更新度和更新频率 蜘蛛每次匍匐网站的时分都会把这些页面的数据保存在数据库中,下次蜘蛛再次匍匐此网站的时分则会与前次匍匐的数据进行对比,假如页面与前次的页面是相同的,这就阐明网页没有更新,这样的页面蜘蛛会削减抓取的频率,乃至不抓取.相反的,假如页面有更新,或许有新的链接的话,蜘蛛会