怎样阻止别人疯狂爬行网站，如下 log，该怎么做，求大神支招

[AlanZhang]

static-189-206-125-34.alestra.net.mx - - [24/Nov/2014:12:57:51 +0000] "GET /directory/application/2436/era-solar?utm_source=ENF&utm_medium=Craft-Lights-%28Ornamental-Figures%29&utm_content=2436&utm_campaign=profiles_application HTTP/1.1" 200 31266 "-" "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt; DTS Agent"
static-189-206-125-34.alestra.net.mx - - [24/Nov/2014:12:57:51 +0000] "GET /directory/installer/24675/dalian-new-extension-energy-engineering HTTP/1.1" 200 31904 "-" "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt; DTS Agent"
194.219.156.42 - - [24/Nov/2014:12:57:52 +0000] "GET /directory/installer/47239/influx-renewables?utm_source=ENF&utm_medium=United+Kingdom&utm_content=47239&utm_campaign=profiles_installer HTTP/1.1" 200 5943 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; MASM; .NET4.0C; .NET4.0E; InfoPath.3; ms-office)"

[AlanZhang]

这个域名static-189-206-125-34.alestra.net.mx在疯狂的爬行网站（导致不停宕机），怎么阻止它

[AlanZhang]

尼玛，还有个贱域名疯狂爬行： host-2.airlink.hu

[Radeon]

iptables加一条DROP掉就行了

[AlanZhang]

@Radeon 求具体命令，多谢了。

[abelyao]

@AlanZhang 话说这个域名怎么拼起来好像一个手机号码… 18920612534… 虽然我觉得应该是个 IP 地址比较准确……

[Radeon]

http://www.cyberciti.biz/faq/how-do-i-block-an-ip-on-my-linux-server/

建议block IP而不是域名。这样节省反向域名查询的成本

[em70]

写个脚本用这个awk命令
awk '{print $1 }' /var/log/httpd/access_log.20141124 |sort |uniq -c|sort -nr|head -n 100

每一个小时检查一下,把访问量最高的IP列出来,超过一定量就自动封掉

[AlanZhang]

@Radeon 多谢，我已经block了那两个IP，但是基本等于无效。

[Radeon]

@AlanZhang 又有新的IP冒出来？

[AlanZhang]

@Radeon 关键是这个static-189-206-125-34.alestra.net.mx查不到IP啊。

[AlanZhang]

@em70 脚步非常好，第一是 32132 static-189-206-125-34.alestra.net.mx， 这个要怎么封？

[em70]

@AlanZhang ping一下看看IP多少,我这边测试ping不通,你那能解析出来域名,肯定能ping吧

[lmaq]

你的日志竟然没有来路IP = =；

[Radeon]

关掉apache的DNS lookup。再说ping一下不就查到ip了？

[AlanZhang]

@lmaq
@Radeon 求助啊，该死的static-189-206-125-34.alestra.net.mx还在无限增长，却查不到IP！

[em70]

@AlanZhang ping了没有

[ETiV]

这种都是反着读的，34.125.206.189

DROP这个试试

[AlanZhang]

@ETiV 多谢。 我试了，apache死了重启了，带回看效果。 请问反着读是什么意思？这IP怎么得到的？

[AlanZhang]

@Radeon apache的DNS lookup已经关掉了，不过，static-189-206-125-34.alestra.net.mx这个地址是ping不到的

[Radeon]

~$ ping static-189-206-125-34.alestra.net.mx
PING static-189-206-125-34.alestra.net.mx (202.102.110.203): 56 data bytes

这个202.102.110.203 DROP一下