怎样阻止别人疯狂爬行网站，如下 log，该怎么做，求大神支招

[AlanZhang]

static-189-206-125-34.alestra.net.mx - - [24/Nov/2014:12:57:51 +0000] "GET /directory/application/2436/era-solar?utm_source=ENF&utm_medium=Craft-Lights-%28Ornamental-Figures%29&utm_content=2436&utm_campaign=profiles_application HTTP/1.1" 200 31266 "-" "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt; DTS Agent"
static-189-206-125-34.alestra.net.mx - - [24/Nov/2014:12:57:51 +0000] "GET /directory/installer/24675/dalian-new-extension-energy-engineering HTTP/1.1" 200 31904 "-" "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt; DTS Agent"
194.219.156.42 - - [24/Nov/2014:12:57:52 +0000] "GET /directory/installer/47239/influx-renewables?utm_source=ENF&utm_medium=United+Kingdom&utm_content=47239&utm_campaign=profiles_installer HTTP/1.1" 200 5943 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; MASM; .NET4.0C; .NET4.0E; InfoPath.3; ms-office)"

[AlanZhang]

@Radeon 多谢。奇怪呢，我本地，美国服务器ping都是Unknown host

[orzfly]

$ nslookup 189.206.125.34
Non-authoritative answer:
34.125.206.189.in-addr.arpa name = static-189-206-125-34.alestra.net.mx.

这域名里不是写了 IP 了么……可以查一下 rDNS 来确认一下嘛……
所以把 189.206.125.34 DROP 掉吧。

至于 @Radeon 说的，大概是他的 DNS 劫持 NXDOMAIN 到了 202.102.110.203……

[msg7086]

这后知后觉的…

另外建议limit-req配合fail2ban

你这全手动，封到哪年去

[Radeon]

@orzfly 对... 我的电信DNS劫持了NXDOMAIN，我才想起来

[Starduster]

用limit_req，大概就是检查出远超出平均水平连接数的连接然后ban掉它，一般我发现了这种访问我直接在iptables里drop所有它的所有入站数据

[liuchen9586]

收藏了，的确挺有用

[tywtyw2002]

直接ban c段。

[AlanZhang]

@msg7086 limit-req在apache下怎么弄？ 另外我用了http://deflate.medialayer.com/，但是它只能ban 纯ip，不能ban域名类的。我的服务器apache access_log 上很多不现实ip，只显示域名。fail2ban能解决这个问题吗？

[msg7086]

@AlanZhang apache我不清楚，你可以找找类似的插件。

反向解析应该有地方可以关掉的。你找下文档