nginx block agent or ip

我们网站上线后，往往会有不少爬虫及应用来抓取内容，有些是出于收录的好意，比如百度、谷歌，但也有的是恶意的爬虫，它们有时会影响网站性能，妨碍正常的用户访问。这时我们可以使用nginx的block配置来达到阻塞某些访问的目的。

Block Agent

新建blockagent.conf，内容如下：

#block http agent
if ($http_user_agent ~* (HTMLParser|Scrapy)){
   return 403;
}

在你的nginx路由配置里引入些blockagent.conf

include blockagent.conf;

重启nginx，生效配置

sudo nginx -s reload

之后如果nginx发现访问的agent是TMLParser或Scrapy的话，就会返回403状态，使我们后面的应用不响应此请求，从而不影响正常的用户访问。

Block Ip

新建blockip.conf，内容如下：

#block ips
deny 183.3.152.18;
deny 111.5.74.12;

在你的nginx路由配置里引入些blockip.conf

include blockip.conf;

重启nginx，生效配置

sudo nginx -s reload

之后如果nginx发现访问的ip是183.3.152.18或111.5.74.12的话，就会返回403状态，使我们后面的应用不响应此请求，从而不影响正常的用户访问。