robots.txt文件中应该屏蔽哪些目录

欢迎您访问我爱IT技术网，今天小编为你分享的电脑教程是建站经验系列之：【robots.txt文件中应该屏蔽哪些目录】，下面是详细的分享！

robots.txt文件中应该屏蔽哪些目录

　　一个合格的网站，必须在根目录下包含一下robots.txt文件，这个文件的作用对所有运营网站的朋友来说并不陌生，网上也提供了很多制作robots.txt文件的方法和软件，可谓相当方便。但是，你真的知道网站的robots.txt文件设置是否合理，哪些文件或者目录需要屏蔽、哪些设置方法对网站运营有好处?

　　那下面带着这些疑问，笔者会进行详细的解答，希望对新手站长朋友们有所帮助，老鸟勿喷。

　　一、什么是robots.txt

　　笔者引用百度站长工具中后段话来解释。搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文

以上所分享的是关于robots.txt文件中应该屏蔽哪些目录，下面是编辑为你推荐的有价值的用户互动：

　　相关问题：如何使用robots.txt文件屏蔽一个文件夹内的所有东西

　　答：下面的正确，如果是屏蔽一个文件夹的话，是需要加上斜杠的补充一点，设置好ROBOTS后，蜘蛛还是照常抓取，应该文件生效大概在一个月左右吗，所以不需要急。 >>详细

　　相关问题：robots.txt怎么屏蔽根目录文件

　　答：User-agent: *Disallow: /search.htmlDisallow: /index.php?Disallow: /help/Disallow: /404.htmlDisallow: /bbs/?fromuid=Disallow: /bbs/?fromuser=Disallow: /bbs/space-usernameDisallow: /sns/link.php?Disallow: /sns/network.php?Disallo... >>详细

　　相关问题：网站robots.txt文件一般禁止那些目录

　　答：http://www.google.com/support/webmasters/bin/answer.py?hl=cn&answer=156449google的详细参考文件~你可以看看~ 莫默得答案是错误的~~robots.txt是放在根目录的~他是给搜索引擎说明那些可以搜索，那些不能搜索出来，如果不设置的话后台会曝光~... >>详细