nginx配置robots.txt 禁止所有蜘蛛访问最近分析内部反代服务器的时候发现 Nginx 日志的上面有 BingBot,感觉内部的一些服务还是比较敏感的。不适合出现在搜索引擎里面的,于是通过在反代服… 阅读全文nginx配置robots.txt 禁止所有蜘蛛访问