网站死链的正确处理方法

来源:猎优云seo公司 发布时间:2019-02-18 11:30

  网站死链怎么处理比较好?我们都知道网站死链会直接影响到网站的抓取收录和流量转化,所以对于死链都特别重视,对于排查出的死链,都会及时的删除或者做跳转设置或者设置禁止抓取等,那么这些措施有没有效果呢?正确处理网站死链的方法是什么?
网站死链的正确处理方法
  下面为您展示几个关于死链的问题及Baiduspider工程师给的答复。
 

  一、问:robots屏蔽对阻止百度抓取死链是否有效

 
  答:当然有效,百度严格遵守robots协议,若发现百度依然抓取,先确认是否为Baiduspider,若确认,可以通过反馈中心进行投诉。
 
  参考文档:《如何识别为百度spider》
 
  1、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
 
  2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
 
  3、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
 

  二、问:已被百度抓取的死链,可以通过robots屏蔽的方式让百度删除吗?

 
  答:不建议你这样做,比较快而有效的方法是通过百度站长平台死链提交工具进行处理
 

  三、问:我已经通过死链工具进行提交了,可是通过日志发现百度还是在抓我们的死链

 
  答:您提交规则后,spider为了验证链接是否真的死掉,需要抓一部分回来验证。
 

  四、问:百度对死链的抓取,对正常文章抓取的影响会有多大。

 
  答:这个没有统一的标准,如果你没有设置robots也没有向百度提交,死链量还特别巨大的时候,有可能会占用你网站大量抓取配额,导致正常内容无法抓取。如果仅仅是spider为了验证死链规则抓一部分,那么对正常内容不会造成影响。
 

  五、问:百度对死链的要求是什么?怎么设置死链效果比较好?

 
  答:目前百度支持协议死链、内容死链和跳转死链,其中效果好的是协议死链。
 
  参考文档:《百度标准死链官方文档》
 
  1、协议死链:
 
  协议死链是指通过HTTP协议状态码明确表示网页已无阅读价值。HTTP协议状态码很多,但百度协议死链首推404,即未找到文件。请尽量不要用其它状态码来代表死链。
 
  2、内容死链:
 
  内容死链主要是由网站自身变化引起的,网页可以正常打开未发生跳转,但页面内容对爬虫来说没有收录价值,对用户来说也没有参考价值,如帖子被删除、内容已转移、空间被关闭、信息已过期、交易已关闭等。在这样无有价值信息的网页上,网站应该在明显位置直接给予提示文字,如:
 
  ·页面不存在(网页不存在)
 
  ·内容已转移
 
  ·帖子已删除
 
  ·域名过期或出售
 
  ·空间被关闭
 
  ·网站要备案
 
  ·信息已过期
 
  ·交易已关闭
 
  3、跳转死链
 
  跳转死链是指网站将无阅读价值的页面统一跳转到某一个页面,如前一级目录面、首页等等,跳转前后的两个网页主体内容不同,不存在可替代的关系。除了404协议死链和内容死链外,站长还需要向百度提交跳转死链。
 

  六、问:百度站长平台是否有工具帮助我们发现网站内的未知死链?

 
  答:可以通过链接分析工具中的死链分析功能,还有抓取异常工具进行发现分析