屏蔽一些国外或国内5118、桔子SEO的蜘蛛

下面介绍屏蔽国外一些网站分析平台的蜘蛛的方法。

有些网站蜘蛛爬起来比百度、谷歌还要勤快，频繁的爬取会增加服务器的一定负荷，对于服务器性能吃紧的小伙伴非常适用。

国外常见非搜索引擎蜘蛛列表：

SemrushBot
DotBot
MegaIndex.ru
MauiBot
AhrefsBot
MJ12bot
BLEXBot

一、robots.txt协议修改(以上7个蜘蛛都遵守robots协议)

User-agent: SemrushBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: MauiBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: BLEXBot
Disallow: /

二、宝塔等防火墙增加UA黑名单

在宝塔防火墙中增加如上UA头，或者批量导入，格式如下：

["SemrushBot","DotBot","MegaIndex.ru","MauiBot","AhrefsBot","MJ12bot","BLEXBot"]

国内5118和桔子这类爬虫影响力有限，这里暂不处理。