nginx block agent or ip

作者:杨润炜
日期:2016/2/23 12:08

我们网站上线后,往往会有不少爬虫及应用来抓取内容,有些是出于收录的好意,比如百度、谷歌,但也有的是恶意的爬虫,它们有时会影响网站性能,妨碍正常的用户访问。这时我们可以使用nginx的block配置来达到阻塞某些访问的目的。

Block Agent

新建blockagent.conf,内容如下:

  1. #block http agent
  2. if ($http_user_agent ~* (HTMLParser|Scrapy)){
  3. return 403;
  4. }

在你的nginx路由配置里引入些blockagent.conf

  1. include blockagent.conf;

重启nginx,生效配置

  1. sudo nginx -s reload

之后如果nginx发现访问的agent是TMLParser或Scrapy的话,就会返回403状态,使我们后面的应用不响应此请求,从而不影响正常的用户访问。

Block Ip

新建blockip.conf,内容如下:

  1. #block ips
  2. deny 183.3.152.18;
  3. deny 111.5.74.12;

在你的nginx路由配置里引入些blockip.conf

  1. include blockip.conf;

重启nginx,生效配置

  1. sudo nginx -s reload

之后如果nginx发现访问的ip是183.3.152.18或111.5.74.12的话,就会返回403状态,使我们后面的应用不响应此请求,从而不影响正常的用户访问。

感谢您的阅读!
如果看完后有任何疑问,欢迎拍砖。
欢迎转载,转载请注明出处:http://www.yangrunwei.com/a/29.html
邮箱:glowrypauky@gmail.com
QQ: 892413924