利用nginx配置,拒绝指定user-agent访问
2018-05-30 03:14
阅读:2,270
各位站长可能遇到过,在站点日志文件中,会发现MJ12bot相关的好多访问日志。而且是批量访问。这个东东,一般网上都说建议屏蔽掉该蜘蛛。修改robots,或许它会乖乖听话,不再抓了。但是,谁有能确定哪,万一它耍流氓呢?那么我们就可以利用服务器配置来禁止它访问了。
我们日志文件中,记录知道它MJ12bot是存在于user-agent中的,
那么我们就利用配置文件,屏蔽它,一劳永逸。
nginx配置如下:
放到站点配置文件server下面即可。
if ($http_user_agent ~ MJ12bot) {
return 403;
}
哦了,就是如此简单。
上面的代码,nginx没问题,apache的服务器手里目前没有,而且,相对的,对apache的配置不是非常熟悉,就不盲打了,可以直接百度apache禁止指定user-agent
用好http_user_agent还可以针对搜索引擎进行优化,
比如搜索引擎蜘蛛,我们让它阅读非ssl页面,访客阅读访问ssl证书页面。
各位,自行拓展吧
文章来自:站素材的技术文章模块,转载请注明文章出处。
文章标题:利用nginx配置,拒绝指定user-agent访问
文章链接:https://www.zhansucai.com/blog/3.html
文章标题:利用nginx配置,拒绝指定user-agent访问
文章链接:https://www.zhansucai.com/blog/3.html