Про утекшие СМСки и robots.txt

[dil]

Это мог написать кто угодно, не всем же разбираться в тонкостях работы веба. Но написал _веб-разработчик_. Якобы. С PHP вместо головы. А потом мы удивляемся, откуда берутся ТАКИЕ сайты.

Оригинал этой записи. Комментировать можно тут или там.

Любые материалы из этого блога запрещается использовать на сайте livejournal.ru в любой форме и любом объёме

Comments

[dil.livejournal.com]

Чего это он вдруг не пойдёт?

[pash7ka.livejournal.com]

Ну вот такие данные есть не просторах интернета, что роботы ходят только по 301-му редиректу.
Но я видимо не прав.... Потому как Яндекс честно предупреждает (http://help.yandex.ru/webmaster/?id=995305):
Так как пользователи не смогут увидеть подобные документы, показывать их в поиске не имеет смысла, и робот их не индексирует. Однако робот обязательно проиндексирует страницу, на которую установлено перенаправление.

Значит остаётся только роботс.тхт писать для закрытия лишних страничек.

[dil.livejournal.com]

вот как раз по 301 у меня яндекс почему-то и не ходит.