【关键词:robot.txt,sitemap,User-Agent,Disallow,Allow】
[声明:摘自Wikipedia]
 
1. 定义:robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。有些搜索引擎会遵守这一规范,而其他则不然。通常搜索引擎会识别这个元数据,不索引这个页面,以及这个页面的链出页面。
2.要求:
   0.robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。
   1.robots.txt的文件名应统一为小写。
    (因:一些系统中的URL是大小写敏感的) 
   2.robots.txt应放置于网站的根目录下。
   3.如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么:
    可以将自定的设置合并到根目录下的robots.txt;
    或者使用robots元数据(Metadata,又称元数据)。
   4.目录末尾有与没有斜杠“/”表示的是不同的URL
    (因:robots.txt是用字符串比较来确定是否获取URL)
   5.robots.txt允许使用类似"Disallow: *.gif"这样的通配符
   6.其他的影响搜索引擎的行为的方法包括使用robots元数据
<meta name="robots" content="noindex,nofollow" /> 
3.示例:
   1.允许所有机器人:
     User-agent: *
Disallow:
-----or↓-----
User-agent: *
Allow:/  
   2.仅允许特定的机器人:(name_spider用真实名字代替)
    User-agent: name_spider 
Allow: 
   3.拦截所有的机器人:
    User-agent: * 
Disallow: /
4.禁止所有机器人访问特定目录:
    User-agent: *
    Disallow: /
    cgi-bin/
    Disallow: /images/
    Disallow: /tmp/
    Disallow: /private/

5.仅禁止坏爬虫访问特定目录(BadBot用真实的名字代替):

    User-agent: BadBot
    Disallow: /private/

6.禁止所有机器人访问特定文件类型:

    User-agent: *
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.inc$
Disallow: /*.css$
////////////////////////
Sitemap:
    Sitemap
指令被几大搜索引擎支持(包括Google、Yahoo、Bing和Ask),指定了网站Sitemaps文件的位置。Sitemaps文件包含了网站页面所在的URL的一个列表。Sitemap指令并不受User-agent指令的限制,所以它可以放在robots.txt文件中的任意位置。唯一要注意的就是要使用网站地图指令,<sitemap_location>,并将URL的"location"值换成网站地图的地址。[编写方法参考:https://www.sitemaps.org/index.html]  
   Sitemap: <http://www.example.com/sitemap.xml>;
///////////////////////

Crawl-delay指令

几大抓取工具支持Crawl-delay参数,设置为多少秒,以等待同服务器之间连续请求:

User-agent: * 

Crawl-delay: 10
//////////////////////

Allow指令

一些大的Crawlers支持一项Allow指令,可以抵消先前Disallow指令。比如Googlebot
//////////////////////

虽然robots.txt是最为广泛接受的方法,但也可以与robots META标签一起使用。robots META标签主要是针对一个独立的页面设置,与其他的META标签(如使用的语言、页面的描述、关键词等)一样,robots META标签也是放在页面的HEAD标签中,专门用来告诉搜索引擎robots如何抓取该页的内容。注

<head> <meta name="robots" content="noindex,nofollow" /></head>
/////////////////////
常见robot:
  Googlebot 
   

/////////////////////
参考文献:

  1. 使用robots.txt文件阻止或删除网页 (HTML). Google网站站长工具帮助. [2012-10-16].
  2. 2.02.1完全指南:如何写好WordPress博客的robots.txt文件 (HTML). The Observing Mind. [2013-02-14].
  3. Jerri L.Ledord著马煜译. 搜索引擎优化宝典. : 257.
  4. How can I reduce the number of requests you make on my web site? (HTML). Yahoo! Slurp. [2007-02-08].
  5. MSNBot is crawling a site too frequently (HTML). Troubleshoot issues with MSNBot and site crawling. [2007-02-08].
  6. 如何拦截Googlebot(谷歌网站站长工具帮助)(简体中文)

SEO之robots.txt的更多相关文章

  1. SEO优化-robots.txt解读

    一.什么是robots.txt robots.txt 文件由一条或多条规则组成.每条规则可禁止(或允许)特定抓取工具抓取相应网站中的指定文件路径. 通俗一点的说法就是:告诉爬虫,我这个网站,你哪些能看 ...

  2. 网站SEO优化之Robots.txt文件写法。

    作为网站开发者或网站管理员一定知道网站对搜索引擎的优化有多重要,好的网站不仅要有漂亮的界面,良好的用户体验,还要有较高的更新频率.要被百度.google这样的搜索引擎大量收录,才能增加网站展示量,访问 ...

  3. dedecms 蜘蛛抓取设置 robots.txt

    我们可以用robots.txt屏蔽蜘蛛文件来跟蜘蛛来达成一个协议,但现在很少注重,其实用好robots.txt屏蔽蜘蛛文件,能给你的网站提高权重,接下来重庆SEO讲一下robots.txt屏蔽蜘蛛文件 ...

  4. robots.txt文件配置和使用方法详解

    robots.txt文件,提起这个概念,可能不少站长还很陌生:什么是robots.txt文件?robots.txt文件有什么作用?如何配置robots.txt文件?如何正确使用robots.txt文件 ...

  5. 转载robots.txt的学习

    转载原地址: http://www.monring.com/seo/aspdotseo-robot.html 在国内,robots.txt文件,对于用户来说他是个可有可无的东西,也不会有人去看.但对于 ...

  6. 网站之robots.txt文件

    一.robots.txt是什么?   robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分,或者指定搜索引擎只收录指定的内容. 当一个搜索引擎(又称搜索 ...

  7. Robots.txt 不让搜索引擎收录网站的方法

    有没有担心过自己的隐私会在强大的搜索引擎面前无所遁形?想象一下,如果要向世界上所有的人公开你的私人日记,你能接受吗?的确是很矛盾的问题,站长们大都忧虑“如何让搜索引擎收录的我的网站?”,而我们还是要研 ...

  8. robots.txt使用和优化技巧

    一.利于网站优化的robots.txt使用技巧 1.在线建站提供方便之路.当我们将域名解析到服务器,可以访问站点了,可是这个时候站点还没有布局好,meta标签还一塌糊涂.乳沟此时的站点被 搜索引擎蜘蛛 ...

  9. 远端WEB服务器上存在/robots.txt文件

    解决方案: 1. 可直接删除(可参考:http://zh.wikipedia.org/wiki/Robots.txt) ,但不利于SEO等 2. 修改Web服务器配置 可以通过Web服务器(如Apac ...

随机推荐

  1. Delphi中的Sender:TObject对象解析

    Delphi中的Sender:TObject对象解析 procedure TForm1.Button1Click(Sender: TObject); begin end; 解析:Procedure是过 ...

  2. java.util.concuttent Callable Future详解

    在传统的多线程实现方式中(继承Thread和实现Runnable)无法直接获取线程执行的返回结果,如果需要获取执行结果,就必须通过共享变量或者使用线程通信的方式来达到效果,这样使用起来就比较麻烦. 从 ...

  3. 【Java】 内部类

    [Java]内部类 可以将一个类的定义放在另一个类的定义内部,这就是内部类. 使用内部类的的原因主要有三点: 内部类方法可以访问该类定义所在的作用域中的数据,包括私有的数据. 内部类可以对同一个包中的 ...

  4. js對象

    js聲明一個數據,即使沒有賦值,也是創建了一個對象: js的所有數據都是對象,對象裡面有屬性也有方法,屬性方法是對象中的成員: 訪問對象的屬性:objectname.屬性名 訪問對象的方法:objec ...

  5. pgm终

    这里罗列一些看完此书后遗留的问题: 常用 model 通过 BP/LBP 重新审视 inference 部分 Lauritzen algorithm/Lauritzen-Spiegelhalter a ...

  6. VMware下Centos7快速搭建vsftpd

    最简单快捷的实现ftp的功能,不考虑安全问题. 1.配置防火墙和selinux vi /etc/selinux/config # This file controls the state of SEL ...

  7. 2015 HIAST Collegiate Programming Contest D

    You have been out of Syria for a long time, and you recently decided to come back. You remember that ...

  8. [hgoi#2019/2/16t3]psolve

    题目描述 Dustar有n道题目要做.他的月薪是m元. 由于题目是一流的难题,所以Dustar不得不找个人来帮(代)助(替)他写作业. 找人写作业不是免费的,但是他们能保证在一个月内做出任何题目.每做 ...

  9. Elasticsearch基础知识要点QA

    前言:本文为学习整理实践他人成果的记录型博客.在此统一感谢各原作者,如果你对基础知识不甚了解,可以通过查看Elasticsearch权威指南中文版, 此处注意你的elasticsearch版本,版本不 ...

  10. A1084. Broken Keyboard

    On a broken keyboard, some of the keys are worn out. So when you type some sentences, the characters ...