SEO实验2：百度站长平台抓取诊断工具能否收录二级URL

在上一次SEO实验中，由于考虑不够周全，没办法判断百度蜘蛛是通过百度站长平台抓取诊断工具来的，还是网站站内入口或者是站外入口。这次我改进了实验方案，新搞了一批完全没有入口的页面，如果这些页面被蜘蛛抓取到或者被索引的话，就能锁定只能是由百度抓取诊断工具派出的蜘蛛自发抓取的。文章质量还可以，因为是抓取的zero大神的SEO前线论坛的贴子作为文章内容，原创度和价值性都比较高。

在抓取诊断工具显示完成后，我立马去下载了网站日志，果然找到了一只百度蜘蛛的身影，如图1：

图1：百度抓取诊断工具派来的蜘蛛

和百度站长平台抓取诊断工具上显示的时间一对比，时间刚好吻合（服务器日志的时间比实际抓取时间晚8个小时），如图2：

图2：百度站长平台抓取诊断工具显示的抓取信息

一切就绪，接下来的几天，我会持续查看日志，如果再也没有百度蜘蛛来抓取这些页面的话，说明百度抓取诊断工具只能抓取当前URL而不会顺着这些URL再去爬第二层，间接证明了想利用该工具来加快文章收录速度的想法是不成立的。

欢迎关注本次SEO实验，可以把这个页面分享出去，让更多的SEO同行知道，加入我们SEO实验室群，跟我们一起用实际案例来证明一些SEO观点。

如果只是我一个人在进行本次SEO实验，所测试的数据样本太小，不足以有说服力，所以在此诚邀一起测试的朋友。如果你对这个测试有兴趣，请加SEO实验室群：159845134，点击一键加群。

如果你对本次SEO实验有什么看法或者建议，欢迎在下面的评论框留言告诉我，我会立即收到通知的。

-----------------------以下是实验过程记录-----------------------

6月24日：没有新的百度蜘蛛来抓取二级URL，日志显示还只有23号那一次百度站长平台抓取诊断工具派出的蜘蛛；

6月25日：仍然没有新的蜘蛛来抓取这一批页面

6月26日：有两条蜘蛛抓取记录，都是首页

2014-06-30：终于有蜘蛛抓取内页的记录了！可惜的是抓取过后并没有收录。

我贴一段日志出来吧:

6月23日到7月6日的百度蜘蛛日志大图：

6月23日到7月6日的百度蜘蛛日志完整图，可以在新窗口打开看大图：

本次SEO实验结论

1、百度抓取诊断工具的确能起到加快文章收录的作用；

2、百度抓取诊断工具在抓取诊断页面时，也会抓取该页面的下一级URL。

这一点可以从6月30日的日志可以看出来，被抓取的seo-215.html页面，完全没有入口，也没有外链，除了我自己，没人知道这个文件放在哪里。百度蜘蛛到抓取到，只有一种可能，那就是从抓取诊断工具来的。

在和痞子瑞等大神的交流过程中，痞子瑞大神说“抓完一个页面，二层URL自然进入大环，序列排在什么位置，什么时候抓，基本就是权重决定的。新URL肯定都会进抓取大环的，至于spider什么时候调度到抓你的，是另外的问题。”

上面的实验的结果，应该算是痞子瑞大神这些话的最有力的佐证了。