请选择 进入手机版 | 继续访问电脑版

开启辅助访问

搜搜推

搜索
搜搜推 搜搜推 SEO技术分享 查看内容

网页不收录,有可能是邀请码设置惹的祸

2017-1-20 14:11| 发布者: admin| 查看: 1276| 评论: 0|来自: 百度站长平台

  前方高能——本篇文章是攻城狮们根据日常收到的case整理而来,亲自编写,希望站长亲们给个好评哦!

  平台攻城狮近日接到了百度内部用户的反馈,说lvshi.baidu.com站点的收录情况比较差,希望协助追查原因。


  攻城狮追查的过程如下:

  首先通过site语法检索,发现收录量确实比较少,只有11条,而且还发现一部分是死链数据。

  然后根据用户反馈的部分url,检测发现这批链接在2016年12月26日当天已经就已经抓取回来了,首次抓取上是没有问题;

  http://lvshi.baidu.com/help/about/story

  http://lvshi.baidu.com/help/about/contact

  http://lvshi.baidu.com/help/user/guide

  http://lvshi.baidu.com/help/user/question

  http://lvshi.baidu.com/help/user/feedback

  http://lvshi.baidu.com/help/cooperation/provider

  http://lvshi.baidu.com/goods?categoryid=1

  http://lvshi.baidu.com/goods/33

  紧接着发现这批网页都被百度爬虫判定为空短页面,从网页库中获取当时的抓取页面,检查发现这些页面抓取回来的内容是一样的,都是提示让输入邀请码。


  被百度爬虫判断为空短页面,肯定是不能被百度搜索收录的。

  有站长可能会问,那等网站全部开放后,是不是就可以收录了呢?对于百度爬虫来说,当对一个网站抓取后发现大面积都是低值的空短页面时,爬虫会认为这个站点的整体价值比较低,那么在后面的抓取流量分布上会降低,。这里学院君再次强调一下,不要让爬虫给站点画上不优质的标签哦,后果很严重!

  那么该如何避免呢?方法其实比较简单,网站在邀请测试阶段使用robots封禁就可以。

  QQ    豫ICP备14010400号-2  

网络推广方案网络推广方法网络推广案例平台. © 2001-2019

GMT+8, 2019-9-20 03:44 , Processed in 0.101936 second(s), 22 queries 搜搜推.

返回顶部