网站首页 SEO优化正文

.htaccess规则教程:伪静态规则屏蔽蜘蛛爬取的方法

作为网站管理员,我们经常希望彻底屏蔽搜索引擎蜘蛛爬虫的抓取,特别是一些垃圾蜘蛛,它们既不会为我们的网站带来流量,还会增加服务器的负担,导致网站打开速度变慢。下面是一种彻底屏蔽某些搜索引擎蜘蛛的方法。


方法一:通过修改网站根目录[文]下的.htaccess文件[章]来实现。如果该文件不存在,[来]可以手动创建.htacce[自]ss文件并放置在网站根目录[e]下。



<IfModule mod_rewrite.c>RewriteEngine On# 屏蔽蜘蛛RewriteCond %{HTTP_USER_AGENT} "SemrushBot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu" [NC]RewriteRule !^robots\.txt$ - [F]</IfModule>


如果要屏蔽特定的蜘蛛,只需[5]将其名称添加到`Rewri[8]teCond`行的括号中。[s]请注意,默认情况下,一些未[e]知的蜘蛛已经被屏蔽,如需屏[o]蔽其他蜘蛛,请按规则添加相[技]关的名称。


以下是一些常见蜘蛛的名称:[术]

- Google蜘蛛:goog[网]lebot

- 百度蜘蛛:baiduspi[文]der

- 百度手机蜘蛛:baidub[章]oxapp

- Yahoo蜘蛛:slurp[来]

- Alexa蜘蛛:ia_ar[自]chiver

- MSN蜘蛛:msnbot

- Bing蜘蛛:bingbo[e]t

- Altavista蜘蛛:s[5]cooter

- Lycos蜘蛛:lycos[8]_spider_(t-re[s]x)

- Alltheweb蜘蛛:f[e]ast-webcrawle[o]r

- Inktomi蜘蛛:slu[技]rp

- 有道蜘蛛:YodaoBot[术]和OutfoxBot

- 热土蜘蛛:Adminrts[网]pider

- 搜狗蜘蛛:sogou spider

- SOSO蜘蛛:sososp[文]ider

- 360搜蜘蛛:360spi[章]der


通过这种方法,我们可以有效地屏蔽特定的搜索引擎蜘蛛爬取我们的网站。希望这篇文章能为您提供有关屏蔽蜘蛛的方法和相关名称的信息。

发表评论:

287

文章数

50641

阅读数

4

评论