> 做站经验技巧 > 屏蔽一些国外或国内5118、桔子SEO的蜘蛛

屏蔽一些国外或国内5118、桔子SEO的蜘蛛

下面介绍屏蔽国外一些网站分析平台的蜘蛛的方法。

有些网站蜘蛛爬起来比百度、谷歌还要勤快,频繁的爬取会增加服务器的一定负荷,对于服务器性能吃紧的小伙伴非常适用。

国外常见非搜索引擎蜘蛛列表:

SemrushBot
DotBot
MegaIndex.ru
MauiBot
AhrefsBot
MJ12bot
BLEXBot

一、robots.txt协议修改(以上7个蜘蛛都遵守robots协议)

User-agent: SemrushBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: MauiBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: BLEXBot
Disallow: /


二、宝塔等防火墙增加UA黑名单

在宝塔防火墙中增加如上UA头,或者批量导入,格式如下:

["SemrushBot","DotBot","MegaIndex.ru","MauiBot","AhrefsBot","MJ12bot","BLEXBot"]

 

屏蔽一些国外或国内5118、桔子SEO的蜘蛛

 

国内5118和桔子这类爬虫影响力有限,这里暂不处理。

 

屏蔽一些国外或国内5118、桔子SEO的蜘蛛:等您坐沙发呢!

发表评论

表情
还能输入210个字