欢迎您访问我爱IT技术网，今天小编为你分享的电脑教程是建站经验系列之：【从淘宝屏蔽百度说起 如何让网站不被抓取】，下面是详细的分享！
从淘宝屏蔽百度说起 如何让网站不被抓取
上周五，北方网在第一时间报道了关于淘宝屏蔽百度蜘蛛爬虫抓取的消息，立刻引起了业界的广泛关注。这一事件被普遍认为与百度发力C2C同淘宝构成直接竞争有关，另有分析也认为这与阿里巴巴近日将淘宝与阿里妈妈业务整合的举措亦存在关系，阿里巴巴希望就此截断淘宝网店的免费流量来源从而吸引网店商家选择自家的阿里妈妈广告推广。
在众多媒体对这一新闻的报道中，多次提到“robots.txt”这个技术名词。比如在证实淘宝屏蔽百度时提到的“淘宝网已经开始屏蔽百度蜘蛛爬虫。淘宝在网站根目录下的robots.txt文件中设置相关命令，禁止百度蜘蛛获取网页信息。”并给出了URL为http://www.taobao.com/robots.txt的链接截图予以证明。
那么，这个“robots.txt”是什么呢?
robots.txt(小写字母)是一种存放在一些网站的服务器根目录下的ASCII编码的文
以上所分享的是关于从淘宝屏蔽百度说起 如何让网站不被抓取，下面是编辑为你推荐的有价值的用户互动：
相关问题：怎样让淘宝客链接不被百度抓取？怎样继续做淘客
答：这样做是不可以的，现在JS和iframe对于搜索引擎来说已经很容易抓取了 >>详细
相关问题：到底是百度禁止收录淘宝，还是taobao屏蔽百度，不...
答：是淘宝屏蔽了不让百度收录 为了各自的利益而战 >>详细
相关问题：百度会不会抓取淘宝的店铺，怎么做会让他抓取的？
答：这个就看你的是什么网店啦，如果是独立网店，是可以的，淘宝的不行，因为淘宝禁止了百度蜘蛛爬去！拍拍的也可以！开网店选择管理软件的时候需要选择一些比较正规的！甩手掌柜就可以很好的管理你的网店，还可以跨平台管理。拍拍亚马逊都不在话下！ >>详细
- 评论列表（网友评论仅供网友表达个人看法，并不表明本站同意其观点或证实其描述）
-