欢迎您访问我爱IT技术网，今天小编为你分享的电脑教程是建站经验系列之：【教你察看日志中蜘蛛的访问行为】，下面是详细的分享！
教你察看日志中蜘蛛的访问行为
网站日志，是服务器端自动生成的一个文本记录，详细记载了网站的访问详情，做为站长的你，如果是需要察看访问统计数据，那用51.la或者百度统计工具就可以了，但是如果你想察看各搜索引擎的蜘蛛是否准时来爬行自己的网站，那就要学会自己查看网站日志文件了。结合飞卖品工作室新上线的成都铭扬科技网站做为一个实例，我们来做一个介绍：
首先利用FTP工具登录服务器端，一般在服务器根目录之下存在一个logs文件夹，这里面装的就是网站日志，当然不同的服务器类型，日志文件的文件夹名称和我介绍的不一样，但没关系，日志文件的扩展名是log。
进入日志文件夹，你会发现，日志文件是按每一天的访问情况为一个文件保存的：
好吧，我的服务器只保留最近三天的日志文件，真小气，我还用过一个国外的服务器，人家是按月记录，并且当月结束后会将当月的日志打包供下载，只要你不人为删除，该日志文件会永远存在，这才叫个性化，但是没办法，谁叫我们只能用国内的服务器。
OK，报怨了几句，随便下载一天的日志文件，用Windows文本工具打开该日志文件，会看到一堆酷似代码的字符，祝文件大小打开速度也不同：
注意看有背景的这一小部分，我用CTRL+F搜索功能查找baiduspider，好吧，为什么要查找baiduspider，这里先普及一下关于搜索引擎蜘蛛的一点小知识，各大搜索引擎的蜘蛛都有名字：
百度的叫baiduspider;
谷歌的叫Googlebot;
微软的叫bingbot;
搜狐的叫Sogou web spider;
腾讯的叫Sosospider;
因为国内主要是以百度为优化对象，我们来看看关于百度蜘蛛爬行记录的信息分析，在日志记录中随便找一个百度蜘蛛的信息：
125.90.88.96 - - [07/Sep/2012:19:16:21 +0800] "GET / HTTP/1.1" 200 5374 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
怎么解读这些信息呢?蜘蛛IP--【访问时间】“获取路径”HTTP反馈值200 反馈字节数5357 百度蜘蛛标记。
好吧，这里面获取路径与HTTP反馈值是非常重要的信息，200为正常读取，读取了5374个字节。我们再分析一条记录：
220.181.51.118 - - [07/Sep/2012:09:54:15 +0800] "GET /product/disp.php?id=93 HTTP/1.1" 301 249 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
认真看获取路径这一项，因为我的网站是老域名，原来的主人被收录的路径/product/disp.php?id=93，百度蜘蛛同样爬行，结果我的新网站里肯定不会有这一条信息，由于HTTP反馈了301，而301代表已移动 — 请求的数据具有新的位置且更改是永久的。其实这对于我来说是一件好事，蜘蛛爬行不通，知道这条收录记录已经失效，慢慢就会从百度的收录数据库中删除。现在百度正在审核我的新站点，一天爬行只有23次，也很不错了的。
好了，大家是不是可以举一反三的学会看其它搜索引擎蜘蛛的爬行记录了呢?下次，飞卖品工作室将重点再分享一下HTTP的反馈值，大家通过这个反馈值可以获悉自己网站的健康状态哦，非常重要。
当然，有朋友会说为什么不利用一些日志查看工具，人工手动察看费时费力，是的，有些不错的工具可以提供更便捷的操作，今天飞卖品工作室所述内容旨在用最初级的方法教会大家学会察看自己网站的日志。希望以上内容能对你有点帮助。
文章由飞卖品工作室原创，
以上所分享的是关于教你察看日志中蜘蛛的访问行为，下面是编辑为你推荐的有价值的用户互动：
相关问题：如何查看蜘蛛来过的日志
答：可是通过网站IIS日志查看，在IIS日志文件中搜索查找：baiduspider， IIS日志下载方法：登录网站空间，找到日志下载，下载到本地进行查找 打开下载的文件，进行查找。 以查找baiduspider为例，下面一句就是蜘蛛访问过的一条记录 查找其他蜘蛛可以... >>详细
相关问题：百度蜘蛛来抓取网站内容 在日志里怎么看啊~
答：Baiduspider 这个是百度蜘蛛。Googlebot 这个是google机器人。你可以看下自己网站的日志。有没有baiduspider或者googlebot的痕迹。如果有，就代表它来过你的网站。这是一些日志状态码。200 成功300 重定向400 访问错误 >>详细
相关问题：那个日志文件查看百度蜘蛛访问日志？在线等。
答：你这种查看方式我不懂，我的查看方法是在，（我的是美国空间），在空间服务器里有‘访问日志’这个选项，打开之后，就可以看到蜘蛛的爬行了。你可以问一下你的空间服务商。 呵呵，希望对你有帮助 ，另外自己的小网站，支持一下哦，百度一下：日志3... >>详细
- 评论列表（网友评论仅供网友表达个人看法，并不表明本站同意其观点或证实其描述）
-