一、什么是抓取异常?
对于普通用户在互联网上可以正常访问的内容,Baiduspider不能正常访问和抓取的情况是抓取的例外。
二、异常爬行对网站有什么影响?
对于内容量大、不能正常抓取的网站,搜索引擎会认为网站在用户体验上存在缺陷,降低对网站的评价。在抓取、索引和权重方面,都会受到一定程度的负面影响,终影响到网站从百度获得的流量。
三、什么是服务器连接异常?
服务器连接异常有两种情况:一是网站不稳定,百度pider在尝试连接时暂时无法连接到您网站的服务器;二是百度pider一直无法连接到您网站的服务器。
服务器连接异常的原因通常是您的网站服务器太大和过载。您的网站也可能运行不正常。请检查网站的web服务器(如Apache、IIS)是否正常安装和运行,并使用浏览器检查主页面是否可以正常访问。您的网站和主机也可能会阻止Baiduspider的访问。你需要检查网站和主机的防火墙。
四、网络运营商异常是什么?
有两种网络运营商:电信和联通。百度pider无法通过电信或网通访问您的网站。如果发生这种情况,您需要联系网络服务提供商,或购买空间与二线服务或CDN服务。
五、什么是DNS例外?
当Baiduspider无法解析您网站的IP时发生DNS异常。可能是您网站的IP地址有误,或者域名服务商已经禁止了Baiduspider。请使用whois或host检查您网站的IP地址是否正确和可解析。如果没有,请联系域名注册商更新您的IP地址。
六、什么是IP阻塞?
IP封锁:限制网络的退出IP地址,禁止IP段的用户访问内容。
此设置仅在您的网站不希望百度pider访问时才需要。如果您希望百度pider访问您的网站,请检查百度pider IP是否错误地添加到相关设置中。你的网站所在的空间服务提供商也有可能禁止百度IP。此时,您需要联系服务提供商以更改设置。
七、什么是行动单位禁令?
UA是用户代理。服务器通过UA识别访客的身份。当一个网站访问一个指定的UA并返回一个异常页面(如403500)或跳转到另一个页面时,称为UA阻塞。
此设置仅在您不希望Baidu pider访问您的网站时才需要。如果你想百度皮德访问你的网站,是否有百度皮德鲁在用户代理相关设置并及时修改它。
八、什么是死链?
页面无效,无法向用户提供任何有价值信息的页面为死链接,包括协议死链和内容死链。
协议死链:页面的TCP协议状态/HTTP协议状态清楚地表示出死链,如404、403、503状态等。
内容死链:服务器返回的状态是正常的,但内容已被更改为不存在的、已被删除或需要权限的信息页,与原始内容无关。
对于死链,建议将死链提交百度站长平台死链工具进行处理,使搜索引擎更快地找到死链,减少死链对用户和搜索引擎的负面影响。
九、什么是异常跳跃?
将网络请求重定向到另一个位置是一个跳转。异常跳转指以下情况
一、当前页面为无效页面(内容已被删除、死链等),直接跳转到上一个目录或首页,百度建议站长删除无效页面的入口超链接
注:如果长期跳转到其他域名,如在网站上更改域名,百度建议使用301跳转协议进行设置。
十、还有哪些例外情况?
对于百度推荐人的例外情况:网页返回的行为与百度推荐人的正常内容不同。
对于Baidu-UA的例外:网页返回Baidu-UA的行为与页面的原始内容不同。
JS跳转异常:网页加载了百度无法识别的JS跳转代码,用户通过搜索结果进入网页后跳转。
意外阻塞造成的压力过大:百度会根据网站规模、访问量等信息自动设置合理的抓取压力。但在压力控制异常等异常情况下,服务器会根据自身负载进行保护意外闭锁。在这种情况下,请在返回码中返回503(意思是“服务不可用”),以便百度蜘蛛在一段时间内再次尝试获取链接。如果该网站处于空闲状态,则将成功获取该网站。