简介 网站所有者使用/robots.txt文件向网站机器人提供有关其网站的说明;这称为 Robots Exclusion Protocol.它的工作原理是这样的:robot 想要访问一个网站URL,比如http://www.example.com/welcome.html.在此之前,它首先检查http://www.example.com/robots.txt,并找到: User-agent: * Disallow: / “User-agent:*”表示此部分适用于所有 robot . “Disa…

Paste.deploy 与 WSGI, keystone 小记 名词解释: Paste.deploy 是一个WSGI工具包,用于更方便的管理WSGI应用, 可以通过配置文件,将WSGI应用加载起来. keystone 是 openstack的各模块之间调用时候采取的认证,主要方式是在WSGI接口下增加filter,对调用者做身份验证. Paste.deploy 详细介绍: paste.deploy 通过 loadapp(configPath)来启动WSGI应用, 其中configPath 包含…

MySql  简单 小记 以备查看 1.sql概述 1.什么是sql? 2.sql发展过程? 3.sql标准与方言的关系? 4.常用数据库? 5.MySql数据库安装? 2.关键概念 表结构----------->类的属性 一行------------->一个对象 3.建库代码 1.create database 数据库名 2.带字符集 3.带校验规则 collate 验证规则 create database 数据库名 character set utf8 collate utf8_gener…

Git简~介 Git是一个分布式版本控制系统,其他的版本控制系统我只用过SVN,但用的时间不长.大家都知道,分布式的好处多多,而且分布式已经包含了集中式的几乎所有功能.Linus创造Git的传奇经历就不再赘述,直接记录git命令吧! 文章会尽量按照使用git的顺序来记录,不定时的更新,版面可能会较为杂乱. 你的计算机上是否有Git? windows版本的安装: Git下载 ,下载之后双击安装即可. 仓库怎么创建? 仓库(repository),即是一个项目,你要对这个项目进行版本管理.使用如下命…

广州PostgreSQL用户会技术交流会小记 2015-9-19 今天去了广州PostgreSQL用户会组织的技术交流会 分别有两个session 第一个讲师介绍了他公司使用PostgreSQL-X2的情况 第二个讲师介绍了PostgreSQL里面的一些执行计划分析 我个人比较关注第一个session,因为涉及到真正的应用案例 网上有对PostgreSQL-X2的简短介绍,我先转载过来 转载:http://francs3.blog.163.com/blog/static/405767272012…

     一直以来的自我感觉:自己是个记性偏弱的人.反正从小读书就喜欢做笔记(可自己的字写得巨丑无比,尼玛不科学呀),抄书这事儿真的就常发生俺的身上. 因为那时经常要背诵课文之类,反正为了怕自己忘记,所以一边抄书一边背书.延伸到现在就变成做读书笔记,把书中喜欢的段落和句子都记录下来,偶尔穿插自己的感受,所以读书小记是我的最爱,不过只有好书才值得这么做(遇到一本好书本身就是件幸福的事情,且读且珍惜).      PS:我会告诉你其实笔记在某些关键时刻就变身为“小超”木 :)        在未婚之…

Paypal支付小记 *:first-child { margin-top: 0 !important; } body>*:last-child { margin-bottom: 0 !important; } /* BLOCKS =============================================================================*/ p, blockquote, ul, ol, dl, table, pre { margin: 15px 0…

网站 robots.txt 文件编写 Intro robots.txt 是网站根目录下的一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容. 当一个搜索机器人(有的叫搜索蜘蛛或爬虫)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt ,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围: 如果该文件不存在,那么搜索机器人就沿着链接抓取. robots.txt 必须放置在一个站点的根目录下,而且文件名必须…

Robots.txt - 禁止爬虫 robots.txt用于禁止网络爬虫访问网站指定目录.robots.txt的格式采用面向行的语法:空行.注释行(以#打头).规则行.规则行的格式为:Field: value.常见的规则行:User-Agent.Disallow.Allow行. User-Agent行 User-Agent: robot-name User-Agent: * Disallow和Allow行 Disallow: /path Disallow: # 空字符串,起通配符效果,全禁止 A…

1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档,命名为robots.txt放在网站的根目录下即可.robots.txt写法如下:User-agent: *Disallow:或者User-agent: *Allow: /2如果我们禁止所有搜索引擎访问网站的所有部分的话robots.txt写法如下:User-agent: *Disallow: /3如果我们需要某一个搜索引擎的抓取的话,比如百度,禁止百度索引我们的网站的话robots.txt写法如下:User-agent…