Мультик, дети, воспитанные на таких книжках и программы такие же пишут..

[dil]

82.80.168.14 - - [02/Aug/2005:22:56:39 +0400] "GET /mp3/d_07.WAV HTTP/1.0" 404 216 "Download Master" "-"
82.80.168.14 - - [02/Aug/2005:22:58:07 +0400] "GET /mp3/d_07.WAV HTTP/1.0" 404 216 "Download Master" "-"
82.80.168.14 - - [02/Aug/2005:22:58:08 +0400] "GET /mp3/d_07.WAV HTTP/1.0" 404 216 "Download Master" "-"
82.80.168.14 - - [02/Aug/2005:22:58:22 +0400] "GET /mp3/d_07.WAV HTTP/1.0" 404 216 "Download Master" "-"

Этим, блин, пейсателям не приходит в голову, что если на один кусок файла сказали 404, то и на любой другой скажут ровно то же самое..
В общем, товарищ из далёкого Израиля, со вчерашнего дня пытающийся выкачать файлы в 30 потоков, отправляется учиться хорошим манерам в ipfw add reject, а "Download Master" - в список вечноотвергаемых User-agent'ов.

Upd: тут из зала спрашивают, как фильтровать по агенту. Отвечаем:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Download\ Master
RewriteRule ^.* - [G]

вместо [G] можно подставить по вкусу [F], а также
RewriteRule ^.* http://lleo.aha.ru/na/ [R=301]

Comments

так сказал мой сквид

[dil.livejournal.com]

The requested URL could not be retrieved

While trying to retrieve the URL: http://3274355998/

The following error was encountered:

Unable to determine IP address from host name for 3274355998

The dnsserver returned:

Name Error: The domain name does not exist.

This means that:

The cache was not able to resolve the hostname presented in the URL.
Check if the address is correct.

Re: так сказал мой сквид

[dmarck.livejournal.com]

Это у тебя резолвер какой-то странный.

marck@woozle:~> ping 3274355998
PING 3274355998 (195.42.181.30): 56 data bytes
64 bytes from 195.42.181.30: icmp_seq=0 ttl=61 time=2.356 ms

marck@woozle:~> host 195.42.181.30
30.181.42.195.IN-ADDR.ARPA domain name pointer hren.tebe.ru

Re: так сказал мой сквид

[dil.livejournal.com]

С ресолвером всё нормально, пинг у меня тоже работает. Это сквид решил, что это не IP, а символическое имя. Вот и.
Если его отключить, то мозилла тоже туда нормально попадает. И lynx это тоже не понимает. И wget.
Короче, в качестве общего направления не подходит :)