网站首页 百度SEO正文

站长派开通cloudflare后,百度站长平台的robots功能无法使用

近日站长派发现一个问题,即在网站开通cloudflare后,百度站长平台的robots功能无法使用。


具体情况如下:


1. 站长派开通了cloudfl[文]are后,使用百度站长平台[章]的robots功能时,收到[来]以下提示:

   您的服务器配置[自]有误

   百度暂时无法连[e]接您的服务器,请检查服务器[5]的设置,确保您网站的服务器[8]能被正常访问。错误码:50[s]0


2. 根据提示显示,似乎是网站的[e]服务器出现问题。但此时网站[o]可以正常打开,并且使用站长[技]平台的“抓取诊断”功能时,[术]提示网站抓取也正常进行。


3. 鉴于上述问题,站长派将该情[网]况提交至反馈中心。次日收到[文]反馈如下:

   您好,近期工具[章]内部调整中,无法正常使用,[来]很抱歉给您带来不便,我们会[自]尽快优化,感谢您的反馈。


4. 反馈中提到功能“无法正常使[e]用”。于是,对另一个未开通[5]cloudflare的网站[8]进行测试,结果提示:您的R[s]obots文件已生效。


由此可以看出,并非百度站长[e]平台的Robots功能不能[o]使用,而是对于开通了clo[技]udflare的网站无法抓[术]取或识别其中的Robots[网]文件。可以将其视为一个BU[文]G,并希望官方人员能尽早修[章]复该功能。


一、什么是Cloudfla[来]re?


简单来说,Cloudfla[自]re是一家国外著名的CDN[e]加速服务商。它提供免费和付[5]费的加速和网站保护服务。站[8]长派正是使用了Cloudf[s]lare的免费加速和网站保[e]护服务。具体的设置方法大家[o]可以直接访问Cloudfl[技]are的官网进行了解。因为[术]整个设置过程属于傻瓜式操作[网],因此站长派在此不再做具体[文]说明。


二、百度站长平台的Robo[章]ts功能是做什么的?


实际上,这个功能是用来检测[来]网站的robots文件并测[自]试网址是否被阻止抓取的。具[e]体如下:



1. robots.txt文件可[5]以告诉百度哪些页面可以被抓[8]取,哪些页面不可以被抓取。[s]

2. 您可以通过Robots工具[e]创建、校验和更新您的rob[o]ots.txt文件,或查看[技]您网站的robots.tx[术]t文件在百度中是否生效。

3. 目前,Robots工具支持48K的文件内容检测,请确保您的robots.txt文件不要过大,并且目录最长不超过250个字符。

发表评论:

287

文章数

50641

阅读数

4

评论