User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: YandexBot/3.0
Disallow: /
User-agent: coccocbot-web/1.0
Disallow: /
User-agent: linkdexbot/2.0
Disallow: /
User-agent: DotBot/1.1
Disallow: /
User-Agent: YisouSpider
Disallow: /
User-Agent: MJ12bot
Disallow: /
User-Agent: BOT
Disallow: /
User-Agent: CrawlDaddy
Disallow: /
User-Agent: ApacheBench
Disallow: /
User-Agent: Swiftbot
Disallow: /
User-Agent: AhrefsBot
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: WinHttp
Disallow: /
User-Agent: EasouSpider
Disallow: /
User-Agent: HttpClient
Disallow: /
User-Agent: YYSpider
Disallow: /
User-Agent: jaunty
Disallow: /
User-Agent: oBot
Disallow: /
User-Agent: Linguee Bot
Disallow: /
User-Agent: Bytespider
Disallow: /
User-Agent: BLEXBot
Disallow: /
User-Agent: CompSpyBot
Disallow: /
User-Agent: Exabot
Disallow: /
User-Agent: ZoominfoBot
Disallow: /
User-Agent: ExtLinksBot
Disallow: /
User-Agent: AlphaBot
Disallow: /
User-Agent: perl
Disallow: /
User-Agent: Wget
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: Python
Disallow: /
User-Agent: mail.RU
Disallow: /
User-Agent: ApacheBench
Disallow: /
User-Agent: Swiftbot
Disallow: /
User-Agent: AhrefsBot
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: WinHttp
Disallow: /
User-Agent: EasouSpider
Disallow: /
User-Agent: HttpClient
Disallow: /
User-Agent: YYSpider
Disallow: /
User-Agent: jaunty
Disallow: /
User-Agent: oBot
Disallow: /
User-Agent: Linguee Bot
Disallow: /
User-Agent: Bytespider
Disallow: /
User-Agent: BLEXBot
Disallow: /
User-Agent: CompSpyBot
Disallow: /
User-Agent: Exabot
Disallow: /
User-Agent: ExtLinksBot
Disallow: /
User-Agent: AlphaBot
Disallow: /
User-Agent: perl
Disallow: /
User-Agent: Wget
Disallow: /
User-Agent: ZmEu
Disallow: /
User-Agent: Python
Disallow: /
User-Agent: mail.RU
Disallow: /
User-Agent: Go-http-client
Disallow: /

User-agent: *
Disallow: /admin/
Disallow: /adminlogin/
Disallow: /log/
Disallow: /update/
Disallow: /history/
Disallow: /test/
Disallow: /data/

都是一些无效的爬虫访问

网站迁移服务器后CPU、内存飙升，设置robots.txt 问题的更多相关文章

  1. 购买 Linux VPS 服务器后简单的安全设置

    我们在购买了 Linux 系统的 VPS 或服务器后,一般的商家都会给你一个 root 权限的账号,并且默认的密码不会太长,这是很不安全的.经常有客户因为弱口令而被黑客暴力破解密码导致 VPS 服务器 ...

  2. dedecms 蜘蛛抓取设置 robots.txt

    我们可以用robots.txt屏蔽蜘蛛文件来跟蜘蛛来达成一个协议,但现在很少注重,其实用好robots.txt屏蔽蜘蛛文件,能给你的网站提高权重,接下来重庆SEO讲一下robots.txt屏蔽蜘蛛文件 ...

  3. phpcms 网站迁移服务器

    相信很多人不知道怎么去把PHPCMS V9进行搬家 在本地测试好的phpcms v9网站需要搬到服务器上,可以用以下方法: 1.上传所有的程序文件(如果主机支持压缩包在线解压,那么就打成zip的包,f ...

  4. 闰秒导致MySQL服务器的CPU sys过高

    今天,有个哥们碰到一个问题,他有一个从库,只要是启动MySQL,CPU使用率就非常高,其中sys占比也比较高,具体可见下图. 注意:他的生产环境是物理机,单个CPU,4个Core. 于是,他抓取了CP ...

  5. robots.txt网站爬虫文件设置

    目录: 什么是robots.txt robots.txt使用误区 robots.txt使用技巧 什么是robots.txt? robots.txt是搜索引擎中访问网站的时候要查看的第一个文件.Robo ...

  6. WordPress迁移服务器后报Nginx404的问题

    Wordpress迁移服务器后,只有主页能打开,其它页面都显示404 页面无法访问. 出现这个问题是因为我的Wordpress之前用的服务器是apache+PHP组合,换了服务器后变成了Nginx+P ...

  7. robots.txt防止向黑客泄露网站的后台和隐私

    为了不让搜索引擎索引网站的后台页面或其它隐私页面,我们将这些路径在robots.txt文件中禁用了.但矛盾的是,robots.txt文件任何人都可以访问,包括黑客.为了禁止搜索引擎,我们把隐私泄露给了 ...

  8. IIS设置文件 Robots.txt 禁止爬虫

    robots.txt用于禁止网络爬虫访问网站指定目录.robots.txt的格式采用面向行的语法:空行.注释行(以#打头).规则行.规则行的格式为:Field: value.常见的规则行:User-A ...

  9. python glances来监控linux服务器CPU 内存 IO使用

    什么是 Glances? Glances 是一个由 Python 编写,使用 psutil 库来从系统抓取信息的基于 curses 开发的跨平台命令行系统监视工具. 通过 Glances,我们可以监视 ...

随机推荐

  1. Python技法：实现简单的递归下降Parser

    1. 算术运算表达式求值 在上一篇博文<Python技法:用re模块实现简易tokenizer>中,我们介绍了用正则表达式来匹配对应的模式,以实现简单的分词器.然而,正则表达式不是万能的, ...

  2. iNeuOS工业互联网操作系统，数据点、设备和业务的计算与预警

    目       录 1.      概述... 2 2.      概念解释... 2 3.      数据点的计算与预警... 2 4.      设备的计算与预警... 3 5.      业务的 ...

  3. Masa Blazor自定义组件封装

    前言 实际项目中总能遇到一个"组件"不是基础组件但是又会频繁复用的情况,在开发MASA Auth时也封装了几个组件.既有简单定义CSS样式和界面封装的组件(GroupBox),也有 ...

  4. GO 语言入门（一）

    GO 语言入门(一) 本文写于 2020 年 1 月 18 日 Go 由 Google 工程师 Robert Griesemer,Rob Pike 和 Ken Thompson 设计的一门编程语言,第 ...

  5. Sharding JDBC案例实战

    基础分库 以下实例基于shardingsphere 4.1.0 + SpringBoot 2.2.5.RELEASE版本 依赖导入: <properties> <project.bu ...

  6. 思科，华为l2tp组网，家庭宽带，公司内网数据分离

    拓扑 简介 办公网使用专线接入,拥有固定IP地址,网络出口使用防火墙做NAT,下联交换机接入服务器,办公电脑等,旁挂思科路由器做L2TP LNS 家庭宽带使用ADSL线路,华为路由器做拨号设备与DHC ...

  7. 好客租房57-props深入（4props的默认值）

    1给props设置默认值 //导入react     import React from 'react'     import ReactDOM from 'react-dom'     import ...

  8. Numpy的一些操作

    1.什么是Numpy 简单来说: Numpy(Numerical Python)是一个开源的Python科学计算库,用于快速处理任意维度的数组. Numpy支持常见的数组和矩阵操作.对于同样的数值计算 ...

  9. HCNP Routing&Switching之VRRP基础

    前文我们了解了链路高可用技术链路聚合相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16279078.html:今天我们来聊一聊另一种高可用技术,网关高 ...

  10. 面试常问的dubbo的spi机制到底是什么？

    前言 dubbo是一款微服务开发框架,它提供了 RPC通信 与 微服务治理 两大关键能力.作为spring cloud alibaba体系中重要的一部分,随着spring cloud alibaba在 ...