面试某软,被面试官问道:你做爬虫.知不知道非常多站点下都有个robots文件? 答曰:不知. 于是面试官给我演示了一遍~ 遂卒.首战慘败. 下来查了维基百科.基本了解robots.https://zh.wikipedia.org/wiki/Robots.txt 比方必应搜索www.bing.com的根文件夹下有这么一个文件:http://www.bing.com/robots.txt,其内容例如以下: User-agent: msnbot-media Disallow: / Allow: /sh…