Убить всех человеков

[dil]

Кто там еще не верит в искусственный интеллект?

А ещё я вчера выложил на сайт mp3. Так поисковый робот Яндекса этот один mp3 скачал уже 40 раз. Заслушался, наверное.

Оригинал этой записи. Комментировать можно тут или там.

Любые материалы из этого блога запрещается использовать на сайте livejournal.ru в любой форме и любом объёме

Comments

[motto.livejournal.com]

нет
ему не понравился и он верил, что ты обновишь этот файл и оно станет лучше

[bormotov.livejournal.com]

у Яндекса разве всего один робот? :))

[dil.livejournal.com]

если быть совсем точным, то это были три робота. "Yandex/1.01.001 (compatible; Win16; I)" - 63 раза, "Yandex/1.03.003 (compatible; Win16; D)" - 4 раза и "Yandex/2.01.000 (compatible; Win16; Dyatel; C)", который оказался самым мирным: спросил только HEAD и всего один раз.

[bormotov.livejournal.com]

круто. А вот этот, который 63 раза, он ведь наверняка тоже не один?

Я думаю такую версию - один скачал, ему понравилось. Сказал "соседу". Тот тоже сходил скачал.. И понеслась :)

[dil.livejournal.com]

ну, может, их два было. они приходили всего с двух IP-адресов

[crypttales.livejournal.com]

Это еще цветочки, у нас Яху высасывает ежемесячно трафа больше чем весь объем контента на сайте раз в 7-10. За апрель - 5,23 Гб при общем "весе" сайта 680 Мб, из которых за месяц до/обновляется едва ли 5%. Гугль, Яндек и MSN тоже не сильно отстают... И ведь что интересно, у нас никакой "динамики", которая могла бы смущать ботов, чистая статика...

[dil.livejournal.com]

так они же не знают, изменилось, или нет :)
если серьезно, надо проверить, умеет ли сайт правильно реагировать на заголовок If-Modified-Since и отдавать в этом случае 304 вместо контента. Если умеет, то переадресовать вопрос к авторам поисковых роботов

[crypttales.livejournal.com]

Судя по awstats, 304 не отдается вообще :( Пинались по этому поводу с саппортом, дальше того, что "а у нас стоит кэширующий прокси, и наверное он..." дело не пошло. У нас техподдержка всем хороша, кроме того, что если что-то нужно, надо давать четкие инструкции: что и как сделать :/