小网工.
  • 首页
  • 建站经验
  • 云服务器
    • 腾讯云
    • 阿里云
  • WordPress
  • 技术教程
  • 运维管理
  • 实用工具
没有结果
查看所有结果
小网工.
  • 首页
  • 建站经验
  • 云服务器
    • 腾讯云
    • 阿里云
  • WordPress
  • 技术教程
  • 运维管理
  • 实用工具
没有结果
查看所有结果
小网工.
没有结果
查看所有结果
首页 建站经验

nginx配置robots.txt 禁止所有蜘蛛访问

作者王耍耍
2022年6月7日

最近分析内部反代服务器的时候发现 Nginx 日志的上面有 BingBot,感觉内部的一些服务还是比较敏感的。不适合出现在搜索引擎里面的,于是通过在反代服务器上面添加一个 robots.txt 文件禁止爬取内部的服务器。

操作方法很差简单,打开要屏蔽蜘蛛的配置文件,在server {} 块中添加下面的配置:

第一种方法:

    location =/robots.txt {
        default_type text/html;
        add_header Content-Type "text/plain; charset=UTF-8";
        return 200 "User-Agent: *nDisallow: /";
    }

第二种方法:

下面任选其一,需要先在目录里面写好 Robotx.txt 文件,配置文件很多个的话,可以都引用一个 Robotx.txt

location /robots.txt { root /home/www/html/;  }

在线测试robots.txt是否生效

可以到百度、Bing 、谷歌等站长后台更新并提交。

robots.txt文件生成工具:http://tool.chinaz.com/robots/

其他网站参考:

https://www.tmall.com/robotx.txt

https://www.qq.com/robotx.txt

标签: Nginxrobotx
王耍耍

王耍耍

网络工程师、博客爱好者。

相关内容

Nginx 配置内容安全策略CSP(Content-Security-Policy)

Nginx 配置内容安全策略CSP(Content-Security-Policy)

2022年6月18日
Nginx性能优化之开启 OCSP Stapling

Nginx性能优化之开启 OCSP Stapling

2020年12月24日
Centos7下部署Zabbix监控系统

Centos7下部署Zabbix监控系统

2019年8月13日
destoon公司/商铺模板配置伪静态规则

Nginx 常用命令

2019年5月18日
下一篇
WordPress 清理 Head 非必要标签

WordPress 清理 Head 非必要标签

发表评论 取消回复

您的电子邮箱地址不会被公开。 必填项已用*标注

阿里云新用户限量特惠 好用不贵

代金券领取

最新内容

Nginx 配置内容安全策略CSP(Content-Security-Policy)

Nginx 配置内容安全策略CSP(Content-Security-Policy)

2022年6月18日
国内镜像源下载速度评测 阿里源、清华源、华为源对比

国内镜像源下载速度评测 阿里源、清华源、华为源对比

2020年2月6日
红米 AC2100 安装 OpenWRT 教程

红米 AC2100 安装 OpenWRT 教程

2021年11月5日
CentOS 7 修改默认的 SSH 登录端口

CentOS 7 修改默认的 SSH 登录端口

2021年5月6日
  • 关于我们
  • 联系我们
  • 隐私政策
  • 版权声明

Copyright © 2019 - 2022 小网工. All Rights Reserved.  渝ICP备17001054号-4

没有结果
查看所有结果
  • 首页
  • 建站经验
  • 云服务器
    • 腾讯云
    • 阿里云
  • WordPress
  • 技术教程
  • 运维管理
  • 实用工具
转到手机版