利用nginx配置，拒绝指定user-agent访问

各位站长可能遇到过，在站点日志文件中，会发现MJ12bot相关的好多访问日志。而且是批量访问。这个东东，一般网上都说建议屏蔽掉该蜘蛛。修改robots，或许它会乖乖听话，不再抓了。但是，谁有能确定哪，万一它耍流氓呢？那么我们就可以利用服务器配置来禁止它访问了。

我们日志文件中，记录知道它MJ12bot是存在于user-agent中的，

那么我们就利用配置文件，屏蔽它，一劳永逸。

nginx配置如下：

放到站点配置文件server下面即可。

if ($http_user_agent ~ MJ12bot) {

      return 403;

}

哦了，就是如此简单。

上面的代码，nginx没问题，apache的服务器手里目前没有，而且，相对的，对apache的配置不是非常熟悉，就不盲打了，可以直接百度apache禁止指定user-agent

用好http_user_agent还可以针对搜索引擎进行优化，

比如搜索引擎蜘蛛，我们让它阅读非ssl页面，访客阅读访问ssl证书页面。

各位，自行拓展吧