Про утекшие СМСки и robots.txt

[dil]

Это мог написать кто угодно, не всем же разбираться в тонкостях работы веба. Но написал _веб-разработчик_. Якобы. С PHP вместо головы. А потом мы удивляемся, откуда берутся ТАКИЕ сайты.

Оригинал этой записи. Комментировать можно тут или там.

Любые материалы из этого блога запрещается использовать на сайте livejournal.ru в любой форме и любом объёме

Comments

[dil.livejournal.com]

это не спасёт от поисковых роботов, если они поддерживают куки.

[pash7ka.livejournal.com]

Не знаю про куки, но насколько мне известно, робот не пойдет по 302-му редиректу.
Кроме того, адрес такой страницы может утечь только из письма, т.к. никаких счётчиков на ней быть не может. А если кто не уберег свою почту, это его проблема.

[dil.livejournal.com]

Чего это он вдруг не пойдёт?

[pash7ka.livejournal.com]

Ну вот такие данные есть не просторах интернета, что роботы ходят только по 301-му редиректу.
Но я видимо не прав.... Потому как Яндекс честно предупреждает (http://help.yandex.ru/webmaster/?id=995305):
Так как пользователи не смогут увидеть подобные документы, показывать их в поиске не имеет смысла, и робот их не индексирует. Однако робот обязательно проиндексирует страницу, на которую установлено перенаправление.

Значит остаётся только роботс.тхт писать для закрытия лишних страничек.

[dil.livejournal.com]

вот как раз по 301 у меня яндекс почему-то и не ходит.

[dil.livejournal.com]

вполне себе ходит:
95.108.244.252 - - [18/Jul/2011:10:33:29 +0100] "GET /blog/2010/11/25/yu-ming-is-ainm-dom/tr
ackback/ HTTP/1.0" 302 20 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-" "dil.pp.ru"
95.108.244.252 - - [18/Jul/2011:10:33:32 +0100] "GET /blog/2010/11/25/yu-ming-is-ainm-dom/ H
TTP/1.0" 200 4560 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-" "dil.pp.ru"

[pash7ka.livejournal.com]

ага, неправ, сорри.