我们网站上线后,往往会有不少爬虫及应用来抓取内容,有些是出于收录的好意,比如百度、谷歌,但也有的是恶意的爬虫,它们有时会影响网站性能,妨碍正常的用户访问。这时我们可以使用nginx的block配置来达到阻塞某些访问的目的。
新建blockagent.conf,内容如下:
#block http agent
if ($http_user_agent ~* (HTMLParser|Scrapy)){
return 403;
}
在你的nginx路由配置里引入些blockagent.conf
include blockagent.conf;
重启nginx,生效配置
sudo nginx -s reload
之后如果nginx发现访问的agent是TMLParser或Scrapy的话,就会返回403状态,使我们后面的应用不响应此请求,从而不影响正常的用户访问。
新建blockip.conf,内容如下:
#block ips
deny 183.3.152.18;
deny 111.5.74.12;
在你的nginx路由配置里引入些blockip.conf
include blockip.conf;
重启nginx,生效配置
sudo nginx -s reload
之后如果nginx发现访问的ip是183.3.152.18或111.5.74.12的话,就会返回403状态,使我们后面的应用不响应此请求,从而不影响正常的用户访问。
感谢您的阅读!
如果看完后有任何疑问,欢迎拍砖。
欢迎转载,转载请注明出处:http://www.yangrunwei.com/a/29.html
邮箱:glowrypauky@gmail.com
QQ: 892413924