成都SEO小五曾经一度认为Robots.txt屏掉蜘蛛之后，百度和Google只会抓取robots.txt分析之后，不会再对页面内容进行抓取和分析。

看下面的服务器日志记录说明

具体的太不好截图了。我只说以下几个观察结果正式换官方域名之后

第一天：Google立即开始抓Robots.txt文件。百度来首页看了就退了。

第二天：Google图片蜘蛛抓了20个左右的图，Google开始抓文章，百度没来。

第三天：Google图片蜘蛛抓图翻倍，Google抓文章翻倍，百度来抓了一个图

第四天：Google图片抓取稳定，文章抓取稳定，网站修改一些代码。Google抓取速度和频率下降。百度图片蜘蛛抓到10多个图

第五天-网站上线解除蜘蛛当天：Google图片抓取稳定，文章抓取稳定，问答有社会化的性能，抓取比文章好。百度依然只抓图。

搜索结果中Google和百度依然没有。

第N天：网站上线后一天：Google抓取增加不少，Alexa来抓了10多个页，百度开始抓取一些页面。

个人拙见：Google会抓取页面进后台进行处理分析。而百度是比较自觉的。

图片蜘蛛比文章蜘蛛更快。

手上的工具不行。得找个更细化分析的工具。感觉有些东西不是很准确。

还要说明一个悲剧的事。网站上线时间正好是百度大K的22号前1天。

个人觉得这对网站有一定的影响，加上刚开始几天修改页面比较多。而且反复改了几次标题。

最后形成网站被K也是意料之中的事。

后面我把工具升级一下做个更完整的分析出来。

成都SEO小五嚎2句: 本文是(成都SEO小五)辛苦弄出来的，转载成都SEO小五原创的请保留链接: 分享Google SEO的一个小经验:Robots屏掉之后Google依然会抓取，3Q

Tags：

转载请标注：SEO三人行——小五博客