【关键词:robot.txt,sitemap,User-Agent,Disallow,Allow】
[声明:摘自Wikipedia]
 
1. 定义:robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。有些搜索引擎会遵守这一规范,而其他则不然。通常搜索引擎会识别这个元数据,不索引这个页面,以及这个页面的链出页面。
2.要求:
   0.robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。
   1.robots.txt的文件名应统一为小写。
    (因:一些系统中的URL是大小写敏感的) 
   2.robots.txt应放置于网站的根目录下。
   3.如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么:
    可以将自定的设置合并到根目录下的robots.txt;
    或者使用robots元数据(Metadata,又称元数据)。
   4.目录末尾有与没有斜杠“/”表示的是不同的URL
    (因:robots.txt是用字符串比较来确定是否获取URL)
   5.robots.txt允许使用类似"Disallow: *.gif"这样的通配符
   6.其他的影响搜索引擎的行为的方法包括使用robots元数据
<meta name="robots" content="noindex,nofollow" /> 
3.示例:
   1.允许所有机器人:
     User-agent: *
Disallow:
-----or↓-----
User-agent: *
Allow:/  
   2.仅允许特定的机器人:(name_spider用真实名字代替)
    User-agent: name_spider 
Allow: 
   3.拦截所有的机器人:
    User-agent: * 
Disallow: /
4.禁止所有机器人访问特定目录:
    User-agent: *
    Disallow: /
    cgi-bin/
    Disallow: /images/
    Disallow: /tmp/
    Disallow: /private/

5.仅禁止坏爬虫访问特定目录(BadBot用真实的名字代替):

    User-agent: BadBot
    Disallow: /private/

6.禁止所有机器人访问特定文件类型:

    User-agent: *
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.inc$
Disallow: /*.css$
////////////////////////
Sitemap:
    Sitemap
指令被几大搜索引擎支持(包括Google、Yahoo、Bing和Ask),指定了网站Sitemaps文件的位置。Sitemaps文件包含了网站页面所在的URL的一个列表。Sitemap指令并不受User-agent指令的限制,所以它可以放在robots.txt文件中的任意位置。唯一要注意的就是要使用网站地图指令,<sitemap_location>,并将URL的"location"值换成网站地图的地址。[编写方法参考:https://www.sitemaps.org/index.html]  
   Sitemap: <http://www.example.com/sitemap.xml>;
///////////////////////

Crawl-delay指令

几大抓取工具支持Crawl-delay参数,设置为多少秒,以等待同服务器之间连续请求:

User-agent: * 

Crawl-delay: 10
//////////////////////

Allow指令

一些大的Crawlers支持一项Allow指令,可以抵消先前Disallow指令。比如Googlebot
//////////////////////

虽然robots.txt是最为广泛接受的方法,但也可以与robots META标签一起使用。robots META标签主要是针对一个独立的页面设置,与其他的META标签(如使用的语言、页面的描述、关键词等)一样,robots META标签也是放在页面的HEAD标签中,专门用来告诉搜索引擎robots如何抓取该页的内容。注

<head> <meta name="robots" content="noindex,nofollow" /></head>
/////////////////////
常见robot:
  Googlebot 
   

/////////////////////
参考文献:

  1. 使用robots.txt文件阻止或删除网页 (HTML). Google网站站长工具帮助. [2012-10-16].
  2. 2.02.1完全指南:如何写好WordPress博客的robots.txt文件 (HTML). The Observing Mind. [2013-02-14].
  3. Jerri L.Ledord著马煜译. 搜索引擎优化宝典. : 257.
  4. How can I reduce the number of requests you make on my web site? (HTML). Yahoo! Slurp. [2007-02-08].
  5. MSNBot is crawling a site too frequently (HTML). Troubleshoot issues with MSNBot and site crawling. [2007-02-08].
  6. 如何拦截Googlebot(谷歌网站站长工具帮助)(简体中文)

SEO之robots.txt的更多相关文章

  1. SEO优化-robots.txt解读

    一.什么是robots.txt robots.txt 文件由一条或多条规则组成.每条规则可禁止(或允许)特定抓取工具抓取相应网站中的指定文件路径. 通俗一点的说法就是:告诉爬虫,我这个网站,你哪些能看 ...

  2. 网站SEO优化之Robots.txt文件写法。

    作为网站开发者或网站管理员一定知道网站对搜索引擎的优化有多重要,好的网站不仅要有漂亮的界面,良好的用户体验,还要有较高的更新频率.要被百度.google这样的搜索引擎大量收录,才能增加网站展示量,访问 ...

  3. dedecms 蜘蛛抓取设置 robots.txt

    我们可以用robots.txt屏蔽蜘蛛文件来跟蜘蛛来达成一个协议,但现在很少注重,其实用好robots.txt屏蔽蜘蛛文件,能给你的网站提高权重,接下来重庆SEO讲一下robots.txt屏蔽蜘蛛文件 ...

  4. robots.txt文件配置和使用方法详解

    robots.txt文件,提起这个概念,可能不少站长还很陌生:什么是robots.txt文件?robots.txt文件有什么作用?如何配置robots.txt文件?如何正确使用robots.txt文件 ...

  5. 转载robots.txt的学习

    转载原地址: http://www.monring.com/seo/aspdotseo-robot.html 在国内,robots.txt文件,对于用户来说他是个可有可无的东西,也不会有人去看.但对于 ...

  6. 网站之robots.txt文件

    一.robots.txt是什么?   robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分,或者指定搜索引擎只收录指定的内容. 当一个搜索引擎(又称搜索 ...

  7. Robots.txt 不让搜索引擎收录网站的方法

    有没有担心过自己的隐私会在强大的搜索引擎面前无所遁形?想象一下,如果要向世界上所有的人公开你的私人日记,你能接受吗?的确是很矛盾的问题,站长们大都忧虑“如何让搜索引擎收录的我的网站?”,而我们还是要研 ...

  8. robots.txt使用和优化技巧

    一.利于网站优化的robots.txt使用技巧 1.在线建站提供方便之路.当我们将域名解析到服务器,可以访问站点了,可是这个时候站点还没有布局好,meta标签还一塌糊涂.乳沟此时的站点被 搜索引擎蜘蛛 ...

  9. 远端WEB服务器上存在/robots.txt文件

    解决方案: 1. 可直接删除(可参考:http://zh.wikipedia.org/wiki/Robots.txt) ,但不利于SEO等 2. 修改Web服务器配置 可以通过Web服务器(如Apac ...

随机推荐

  1. 【Spring】—— 自动装配

    一.Spring中装配bean的方式 1.在XML中显式配置 2.在Java中进行显式配置 3.隐士的bean发现机制和自动装配 二.自动装配示例 1.在需要装配到其他bean中的类中加入@Compo ...

  2. jquery Ajax get()/post()

    get()/post()是通過http get/post向服務器請求數據的. http get vs post: get:向指定資源獲取數據 post項指定資源提交數據. get是向遠程服務器的獲取數 ...

  3. jquery 選擇器

    jquery 選擇器有: 元素選擇器: $("p")選擇所有<p> $("p.intro")選擇所有class=“intro”的<p> ...

  4. js 錯誤

    try{ //需要被檢測是否拋出錯誤 } catch(err) { //錯誤處理代碼 } try.catch成對出現 throw:拋出錯誤 當錯誤發生時,javascript引擎停止運行,并生成一個錯 ...

  5. APICloud之封装webApp

    注册用户 https://www.apicloud.com/ 使用步骤 进入开发控制台 创建应用 选择webApp 根据自己的情况填写信息,然后创建即可 应用创建后的界面 端设置 app界面设置 证书 ...

  6. 【Linux】MGR部署脚本

    脚本没有完善,现在只有上半部分的基础环境搭建 [准备条件] 1.三个节点的防火墙关闭 2.原有mysql卸载删除 3.文件夹名字: mgr 所有的源码包都放在mgr的文件夹下 4.文件位置: /roo ...

  7. POJ1860(Currency Exchange)

    题意: 给出一张各种货币交换的网络,问在网络中交换原有的货币,问货币能否增值? 解析: 判断是否存在正环即可  用spfa  负环和正环的判定方法一样  如果一个点的进队次数超过n次 则存在环 代码如 ...

  8. day11 作用域

    返回值可以任何类型,返回可以是函数,返回函数还可以再被调用仅仅返回函数是无法运行的.要运行需要加上()没有返回值的时候,默认返回值为空,None def test1(): print("in ...

  9. Shebang(#!)[转]

    原博文 使用Linux或者unix系统的同学可能都对#!这个符号并不陌生,但是你真的了解它吗? 首先,这个符号(#!)的名称,叫做"Shebang"或者"Sha-bang ...

  10. HNOI2018滚粗记

    day 0 最近发现机房的人都有些焦虑(除了一些神犇)自己也被影响地紧张起来 唉,不知道是不是一种好的心态,紧张是必然的... 随便打了点板子(\(FFT,SA,LCT\)) 很棒一个都没考 day ...