欢迎您访问我爱IT技术网,今天小编为你分享的电脑教程是建站经验系列之:【linux运维:K掉口碑 欢迎百度】,下面是详细的分享!
linux运维:K掉口碑 欢迎百度
相信很多有经验的站长和我一样,每天观察流量统计,同样,今天也不例外。早上上班后就发现今天流量PV(点击量)有点低,但是IP并没低多少,当时也没在意,因为周三流量通常比周二要低一点。
我的网站使用的是linux环境,晚上的时候就发现网站速度比较慢,因为刚刚把服务器换到电信A类机房,所以速度还是有点信心的。于是使用top命令检查负载,发现负载超过40,一般负载超过10速度就会慢下来,按照往常的经验,who、ps等命令检查链接和进程,接着使用netstat -a -n检查访问请求,发现119.42.245.*有几个IP异常(后面会提到如何判断异常IP),链接IP138检查IP来源,发现是阿里巴巴的(汗一下!阿里的IP段都是写的公司名称)。
笔者网站唯一爱来网是老牌的休闲类网站,而阿里旗下的口碑网是国内最大的分类信息站,百度收录量1400万,而赶集、58、百姓、唯一爱来网收录都在一万以内(看来“业精于勤”啊,再汗一把)。
立即,使用iptables -I INPUT -s 119.42.245.0/16 -j DROP 命令封掉IP段,ok,一切搞定,负载逐步降低到5以下。
接下来的时间继续做功课,分析当日流量,删除垃圾信息(很重要,笔者以前曾经写过分类信息站淘汰法则—被垃圾、违法信息淹死?推荐大家看看)以及构思产品的改进策略。过了一会有检查了一下负载,发现又上升到7了,于是依葫芦画瓢,又一个IP段出现我我视野61.135.249.*,这个IP段有点熟悉,似乎是搜索引擎爬虫,于是每2分钟netstat -a -n一下,COPY到ultraedit编辑器里,取3次记录,然后总结,发现这个IP段出现的次数都在35~40之间(百度爬虫的频率一般是37,不知道有站长研究过没),百度爬虫有61.135开头的爬虫段。
访问下网站,发现速度正常,看来专业爬虫的技术就是好,不会把人弄宕机。另补充说明下如何判断异常IP:看IP段 ,一些爬虫会自动换IP,防止被封。所以要看IP段出现的频率。不能确定的话可以隔段时间再看。看IP地址,一般国外IP我都是直接封IP。看抓取频率,搜索引擎的爬虫抓取频率会很合适,绝对不会长时间以超过你网站承受能力的频率抓。
OK,祝福各位站长身体事业两不误。
(
以上所分享的是关于linux运维:K掉口碑 欢迎百度,下面是编辑为你推荐的有价值的用户互动:
相关问题:大家都来说说在公司linux运维上做些什么,和遇到的...
答:Linux的确很常用, 也有很多问题。如果遇到这方面的困惑, 能大家一起讨论一下。 Please Look my 网名吧 >>详细
相关问题:linux运维是什么
答:linux运维即linux运维工程师;Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Uni... >>详细
相关问题:51cto linux运维趋势 为什么没有了
答:1命令提示符可以显示于终端上,如:[root@test4 ~]# 后面可以输入命令的 如ls ll 2终端只是登录的一种设备,比如虚拟终端,TTY ,作用是登录并显示命令提示符 二者不是一类 不能做比较,只能联系到一起。也是密不可分的, >>详细
- 评论列表(网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述)
-
