google搜索引擎爬虫爬网站原理 一.总结 一句话总结:从几个大站开始,然后开始爬,根据页面中的link,不断爬 从几个大站开始,然后开始爬,根据页面中的link,不断加深爬 1.搜索引擎和数据库检索的区别是什么? 数据库索引类似分类目录,分类目录是人工方式建立网站的索引,全文搜索是自动方式建立网页的索引 分类目录则是通过人工的方式收集整理网站资料形成数据库的,比如雅虎中国以及国内的搜狐.新浪.网易分类目录.另外,在网上的一些导航站点,也可以归属为原始的分类目录,比如“网址之家”(http:/…