欢迎您访问我爱IT技术网，今天小编为你分享的电脑教程是建站经验系列之：【Robots.txt的写法和利用百度站长平台工具自动生成】，下面是详细的分享！
Robots.txt的写法和利用百度站长平台工具自动生成
百度站长平台提供了一个很好的robots.txt自动生成工具，利用它我们可以很方便的写出robots.txt，通过robots.txt阻止搜索引擎收录你不想要被收录的页面及目录，还可以阻止及引导蜘蛛爬行更多的页面，减少蜘蛛的爬行量，提高蜘蛛的爬行效率，有效的提升更多的页面被收录。
前面我们介绍了通过IIS日志分析让你更好的了解网站运行情况，可以通过IIS日志查询到蜘蛛爬行中返回404状态的页面，这里我们可以用robots.txt禁止蜘蛛爬行。百度站长平台注册及网站验证方法这里就不说了，下面讲讲Robots工具的使用方法：
通过上图可以看到，蜘蛛返回404状态的页面都是网站改版前使用的网址，现在都不存在了，但是搜索引擎数据库还保存有记录，所以每天蜘蛛还是会来抓取这个页面的数据的，还有的时候是蜘蛛顺着别的网站上面留下的外链爬过来的。下面我们演示怎样将通过光年SEO日志分析软件生成的日志报告中显示的404状态不存在的页面都屏蔽掉，不让蜘蛛抓取。
首先登陆百度站长平台，点击左边菜单的“Robots工具”进入Robots自动生成界面。然后将上图中404状态的页面路径整理后复制到Robots工具输入框中。
User-agent底下选择“所有”，状态选择“不允许抓取”，输入路径后点击后面的“创建”，上图我们测试了两个路径，分别是目录和一个文件，可以一下子输入多个路径，建议先在记事本里面将网址整理好再提交，一行一个路径。
点击“创建”以后，可以看到，底下的robots.txt内容中出现的代码，而且百度站长平台Robots工具有一个好处就是，不论你是多层目录还是网站单文件页面，它都自动识别后排序生成，不会造成单页面和目录顺序错乱造成蜘蛛抓取robots.txt的时候出现错误，所以我们大不必担心格式问题了。
将所有需要屏蔽的页面或路径都生成以后，点击底下的“下载”，然后将robots.txt上传到网站根目录就可以了。
小提示：robots.txt上传以后，我们可以通过robots检测工具来实验一下robots.txt是否有效或者有什么错误，CHINAZ、SEOWHY、爱站等网站都有相关工具的。
建议用一个记事本收集404状态页面，然后整理存档，每次发现IIS日志中有新的404页面出现，就在以前的存档里面查找一下是否有重复，没有重复就可以直接添加到robots.txt文件中了。
以上所分享的是关于Robots.txt的写法和利用百度站长平台工具自动生成，下面是编辑为你推荐的有价值的用户互动：
相关问题：百度站长工具有什么用？
答：百度站长平台推出的一款站长工具。百度站点索引量查询工具明确列出了每天的收录量，及变化量。 分析网站的外链、索引量、搜索词、页面优化建议、抓取异常的页面、压力反馈等。[ 外链分析 分析你网站外链的一个很好的工具，并且能分析这些外链给... >>详细
相关问题：robots.txt的写法
答：robots.txt的写法是做seo的人员必须知道的（什么是robots.txt），但该如何写，禁止哪些、允许哪些，这就要我们自己设定了。 百度蜘蛛是一机器，它只认识数字、字母和汉字，而其中robots.txt就是最重要也是最开始和百度“对话”的内容。 当我们的网... >>详细
相关问题：百度只收录首页，robots.txt写法对吗？
答：只想收录首页？ allow /index.php 这样不可以么? 其他全Disallow: /*.php$ 查看原帖>> >>详细
- 评论列表（网友评论仅供网友表达个人看法，并不表明本站同意其观点或证实其描述）
-