欢迎您访问我爱IT技术网，今天小编为你分享的电脑教程是建站经验系列之：【利用robots文件做seo优化，让蜘蛛更好的抓取网站】，下面是详细的分享！
利用robots文件做seo优化，让蜘蛛更好的抓取网站
robots文件存在于网站根目录，是用来告诉百度蜘蛛那些应该抓取，那些不应该抓取。正确使用robots文件有助于做好seo优化，robots文件的核心词汇就是allow和disallow用法。百度官网是认可这个文件的，在百度站长平台上也有robots这个栏目，点击进入，就可以看到你网站robots文件是否编写正确了。
百度robots文件使用说明
1、robots.txt可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。
2、您可以通过Robots工具来创建、校验、更新您的robots.txt文件，或查看您网站robots.txt文件在百度生效的情况。
3、Robots工具暂不支持https站点。
4、Robots工具目前支持48k的文件内容检测，请保证您的robots.txt文件不要过大，目录最长不超过250个字符。
上图我给的一个例子中，disallow语句有问题，原因是把英文的冒号写成了中文的冒号。
当然直接输入网站根目录加上robtots.txt文件也可以
User-agent:* 是用来置顶那些搜索引擎蜘蛛可以抓取的，一般默认设置
Disallow:/category?s=* 搜索结果页面和分类目录搜索结果页面，这里没必要再次抓取。
Disallow:/wp-admin/ Disallow:/wp-content/ Disallow:/wp-includes/ 这三个目录是系统目录，一般都是屏蔽蜘蛛抓取
Disallow:feed Disallow:/comments/feed 订阅链接
Disallow:/?p=* 文章短链接，会自动301跳转到长连接
例如，朱海涛博客之前就被收录过短连接
Disallow:comment-page-*
Disallow: page/
Disallow: feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: page/
Sitemap: http://www.stcash.com/sitemap.xml
来源：校赚网朱海涛(微信：81433982),原创文章如转载，请注明
以上所分享的是关于利用robots文件做seo优化，让蜘蛛更好的抓取网站，下面是编辑为你推荐的有价值的用户互动：
相关问题：如果robots文件把网站所有页面都做禁止抓取，那百...
答：楼主您好： 首选回答您的问题，屏蔽掉百度搜索引擎蜘蛛以后，日志上应该还是有记录的，因为百度对于robots处理是有一段时间的，日志应该还是有的因为您屏蔽了百度其他搜索引擎并没屏蔽，就算屏蔽了百度，百度每天还是会访问网站根目录下的robots... >>详细
相关问题：如何利用robots文件来提高SEO优化效率
答：设置好禁止被抓取的页面，如相似的页面，加上网站地图链接，蜘蛛抓取网站首先看的就是robots文件 >>详细
相关问题：查看我们的网站www.hke123.com的robots文件，发现...
答：您好，首先：屏蔽网站的图片不会对网站优化造成影响的。 若您做互联网营销的话建议不要屏蔽图片，这样可以让别人在搜索关于培训的搜到关于贵公司的信息。 【建议】可以把不相干的页面屏蔽一下。 这样可以在减少搜索引擎工作量的同时，减少站内链... >>详细
- 评论列表（网友评论仅供网友表达个人看法，并不表明本站同意其观点或证实其描述）
-