INSIGHTS & SHARING / 观点与分享

网站建设过程中那些情况可能会导致死链接

开发经验 阅读 1006

新手站长在网站建设的时候,因为一些操作,导致正常的网站无法被搜索引擎爬虫访问,进而使搜索引擎认为该页面是死链接。除了页面无法打开,一下的几个点都可以导致网站死链的产生。


以下小编就给出一些死链的产生情况,本次文章素材来自百度公开课搜索引擎课程,具备相对的权威性。其他搜索引擎同样可以参考该篇文章来进行设置。


减少死链的产生,是从事SEO工作工作者必修课。

HTTP/HTTPS设置不当引起死链

问题场景:

1.HTTP可访问 ,HTTPS不可访问

2.HTTP不可访问 ,HTTPS可访问

建议:

整站行为一致,保证所有的URL正常访问,另外百度方面不建议HTTP与HTTPS共生。

封禁引起死链


问题场景:

1.用户可以正常访问,爬虫不能。(爬虫抓取的是错误的页面)

一些网站因为特殊性,导致用户可以正常访问,但是当爬虫访问时,却返回一个错误的页面。


2.PC端可访问,搜索引擎APP不能访问

搜索引擎爬虫可以访问PC端页面,但是不能访问APP。百度官方的公开课说到这个APP访问,暗指是支持APP内访问的一个分析,来作为一个综合评估参考。所以,不屏蔽百度APP对网站的访问。


3.DNS封禁

有些特定的DNS服务商会封禁搜索引擎爬虫来抓取域名的内容。这种在少数,毕竟目前主流域名厂商,已经主流的DNS厂商都没有做DNS封禁。


4.服务器站点策略封禁

有些服务器自带的安全策略会屏蔽百度蜘蛛的抓取,这种情况会产生死链(网页URL链接,但是无内容)。当这种情况在整个网站出现,会导致搜索引擎判断网站为一个劣质网站。会被降权。


建议:

合理的使用站长资源工具,来诊断站点是否能正常抓取

识别百度爬虫(双向DNS解析认证)解除封禁

对spider不公开内容设置robots协议封禁/设置死链,导致返回404

不建议使用额外的技术手段封禁百度爬虫。

对百度APP可以访问

DNS变更引起死链


问题场景:

站点更新DNS解析,将域名的IP变更,IP1变为IP2,中间有时间差。

当站点的更换域名解析的IP后,因为有些DNS并不能做到立即响应解析(一般为24小时)。我们拿24小时为例,中间有曾时间差,导致搜索引擎蜘蛛无法抓取,会评定为死链。

这个时候可以预留4-5天的缓存期,让爬虫来更新这个DNS


建议:

更换DNS后,使用站长资源平台工具来抓取测试,查看网站是否能正常抓取。

不建议频繁更换DNS的IP,如必须变更请,给爬虫抓取预留缓冲时间。


本文来自推来客官网,转载请注明原文地址:
https://www.99hyw.cn/experience/7503.html

NINE REASONS TO CHOOSE US

选择推来客,九大优势

从开发效果到后续服务,
把每一份信任,落到实处。

01 / 效果

效果做到满意为止

认真打磨每一个细节,用实际效果回应您的期待。

02 / 价值

高性价比

让投入回到业务价值,兼顾品质、功能与开发成本。

03 / 技术

专业技术团队

理解业务需求,以专业技术推进项目落地。

04 / 经验

10年+运营经验

长期深耕开发与运营,让经验成为项目的底气。

05 / 积累

成品项目多

丰富的项目积累,为不同场景提供更多成熟参考。

06 / 费用

无任何增加费用

费用明晰透明,合作过程清楚放心。

07 / 口碑

行业良好的口碑

用交付与服务积累认可,珍惜每一次客户推荐。

08 / 售后

完善的售后机制

项目交付后持续提供服务,让系统使用更安心。

09 / 交付

源码交付,自主掌握

项目源码完整交付,后续维护与迭代自主掌握。

我们的服务

软件系统开发

围绕业务流程,提供软件系统设计与开发服务。

小程序开发

结合使用场景,提供小程序设计与功能开发服务。

高端网站建设

结合品牌展示与业务需求,提供网站设计与建设服务。

物联网 / API 对接

连接设备与业务系统,提供接口集成与数据对接服务。

SELECTED WORK

推荐案例,让想法落地

更多项目案例

在线客服

扫码联系客服

3985758

回到顶部