Robots.txt一个需要注意的细节

欢迎您访问我爱IT技术网，今天小编为你分享的电脑教程是建站经验系列之：【Robots.txt一个需要注意的细节】，下面是详细的分享！

Robots.txt一个需要注意的细节

　　今天终于把困扰我半个月的问题解决了，但是也因为这么问题使我的网站被降权了，主关键字排名被K。所以今天我写出来希望能给有同样问题的站长们一个解答，少走一些弯路。我的网站从2月份上线，从3月份开始就每天坚持原创+伪原创6-9篇。两个月的坚持得到了不错的回报，网站权重挺高，发布文章一般半小时内收录，并且能够获得一个不错的排名，偶尔从一篇文章就能带来几百的IP。

　　但是好景不长，在4月底的时候忽然发现百度开始不收录我写的文章了，同时谷歌也停止收录，我想到是不是我在robots.txt禁止了目录的抓取，但是查看了robots.txt并没有禁止抓取，出现这样的问题让我很是诧异。观察了几天一直都是这个问题，一直持续到5月13号，我通过谷歌网站管理员工具实验室中的“像googlebot一样抓取”发现，文章目录提示收到robots.txt拒绝，但是我的确没有禁止过这个目录。

　　一直找不到原因，在百度也没查找到相关资料，问了几个人，他们认为可能是服务器原因，因为蜘蛛爬行太过频繁，因此占用大量服务器资源，所以空间商禁止了蜘蛛抓取我的那个目录，但空间商一口否认。我也因此换了个空间，换到一个vps主机，并且使用一个备用域名进行调试，用抓取工具测试时提示抓取成功，问题的确没有出现。于是我把我的主域名解析上去，但是令我吃惊的是依然提示收到robots.txt限制。

　　这样就排除了空间商的问题，在昨天晚上我仔细观察了一下robots.txt与谷歌管理员工具，发现我的robots.txt里的确禁止了/taobao/目录，而我的文章目录为/taobaozixun/。我联想到是否是因为在文章目录中有/taobao字样的关系，在谷歌抓取权限测试中，果然发现这个问题：

　　测试结果

　　网址 Googlebot Googlebot-Mobile

　　http://www.fintb.com/taobaozixun/

　　阻止访问第 21 行：Disallow: /taobao

　　检测为目录;具体文件可能有不同限制

　　果然我的联想没有错，于是我去掉了对/taobao/目录的限制，第二天再次测试问题也终于解决了。这个问题困扰了我半个月，同时在百度大更新的时候一直无法抓取，同时更换了一次服务器，导致网站关键字排名被K，权重下降，不过权重会在我恢复更新之后慢慢上来，这也让我学到一个知识。同时希望能对大家有所帮助!

以上所分享的是关于Robots.txt一个需要注意的细节，下面是编辑为你推荐的有价值的用户互动：

　　相关问题：如何写一个合理的robots.txt文件

　　答：robots.txt文件的写法 User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符 Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录 Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录 Disallow: /require/ 这里定义... >>详细

　　相关问题：如何写一个合理的robots.txt文件

　　答：robots.txt文件的写法 User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符 Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录 Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录 Disallow: /require/ 这里定义... >>详细

　　相关问题：网站这个robots.txt要不要删?

　　答：这个可以删除的，这是一个协议，搜索引擎蜘蛛访问网站时查看的第一个文件，这个文件将会告诉蜘蛛哪些可以抓取索引，哪些不可以。 百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收... >>详细