欢迎您访问我爱IT技术网，今天小编为你分享的电脑教程是建站经验系列之：【robots.txt的详细写法之wordpress博客（一）】，下面是详细的分享！
robots.txt的详细写法之wordpress博客（一）
今天回顾检查近期的收录结果，发现搜索引擎还是始终收录3月中发的那篇测试文章，而新的页面，无论原创还是伪原创一概不收录，仔细一检查发现是后台的sitemap插件有设置问题，已经修改好。然后突然发现自己的robots.txt写法似乎存在问题。
User-agent: *
Disallow:Sitemap: http://www.isongxia.com/sitemap.xml.gz
使用Wordpress搭建的博客，利用robots.txt文件限制搜索引擎抓取部分目录及文件，网上此类的学习帖非常之多。@老乐的写法我认为比较不错。
最简单的严格写法
User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=
允许所有蜘蛛访问，限制以“wp-”开头的目录及文件，限制抓取.php文件、.inc文件、.js文件、.css文件，限制抓取搜索结果。Disallow: /wp-* 会连同附件目录一起限制抓取，如果想让搜索引擎抓取附件中的内容，将第三行的 # 号注释去掉。Allow 不是所有搜索引擎都支持。
@宋夏的写法
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: http://www.isongxia.com/sitemap.xml.gz
允许所有搜索引擎抓取，逐一列举需要限制的目录，限制抓取搜索结果。包含sitemap.xml地址(这一项viki中有专门的说明，但Google管理员工具会提示‘检测到无效的 Sitemap 引用’，有效性尚有争议)。
robots.txt的详细写法之wordpress博客(二)：http://www.isongxia.com/robots-txt-2.html
【宋夏的网络推广成长博客】
以上所分享的是关于robots.txt的详细写法之wordpress博客（一），下面是编辑为你推荐的有价值的用户互动：
相关问题：如何编写WordPress博客的robots.txt
答：嗯，给你一个示范： User-agent: * 表示允许所有的搜索引擎爬行； Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins Disallow: /wp-content/themes 下面2句是这里是允许爬行网站地图文件 Sitemap: http://www.wanli... >>详细
相关问题：robots.txt 和 WordPress 博客中如何使用
答：via 维基百科为什么要使用 robots.txt可能很多人都巴不得搜索引擎收录越多越好，为什么我们还禁止搜索引擎收录我们某些内容呢？第一是防止 Spider 去访问一些无关的页面，造成服务器的压力，第二，可以防止搜索引擎索引一些重复的页面，使网站的... >>详细
相关问题：如何利用robots.txt对wordpress博客进行优化
答：使用robots.txt需要注意的几点地方： 1、指令区分大小写，忽略未知指令，下图是本博客的robots.txt文件在Google管理员工具里的测试结果; 2、每一行代表一个指令，空白和隔行会被忽略; 3、“#”号后的字符参数会被忽略; 4、有独立User-agent的规则... >>详细
- 评论列表（网友评论仅供网友表达个人看法，并不表明本站同意其观点或证实其描述）
-