时间:2016-03-27 14:13 来源: 我爱IT技术网 作者:佚名
robots.txt可以说是每个seoer都非常熟悉的，但是在seoer活动的地方都能够见到一些讨论robots.txt的话题，其中就包含了robots到底能不能屏蔽百度蜘蛛。
之所以，淮安润明seo此时写也此文也将是澄清seoer们的疑问。
说到robots.txt就不得不提起外链，外链是每个seoer都建设过的，一个网站包含了许许多多的url，比如频道页面以及内容页面等等，很多seoer在外链建设以及宣传网站的时候都会在外站留下自己网站的url链接，那么在此时如果将robots.txt文件中设置禁止收录的网页，这些网站就仍然会被搜索引擎爬取，这并不是搜索引擎通过我们自己的网站来爬取，而是通过外站的信息爬行到我们留下的url，从而搜索引擎又会随着url检测到我们网站的目录，当发现在我们设置的robots.txt文件中禁止了该url，搜索引擎蜘蛛则不会再对内容进行抓取，所以这点是可以放心的。
关于此问题，lee也给予了回复，见下图：
lee表示，建入索引和显示，百度搜索结果中展示的仅代表其他网站对您自己网站网页的描述
本文由淮安网站建设：http://www.runmingseo.com/原创发布，转载请注明出处
- 评论列表（网友评论仅供网友表达个人看法，并不表明本站同意其观点或证实其描述）
-