И ещё про утекшие SMS

[dil]

А в Гугл тоже Яндекс.Бар и Яндекс.Метрика настучали, да?

Страниц, правда, проиндексировано меньше трёх десятков, и текстов не видно. Но адреса этих страниц со статусом отправки, получается, давно не секретные. И не закрытые в robots.txt…

 

Оригинал этой записи. Комментировать можно тут или там.

Любые материалы из этого блога запрещается использовать на сайте livejournal.ru в любой форме и любом объёме

Comments

[evgalt.livejournal.com]

И не закрытые в robots.txt…

Православные одмины еще не считают возбранным выражать свое отношение к поисковикам в .htaccess

[unbe.livejournal.com]

это как?

[dil.livejournal.com]

SetEnvIf в сочетании с deny from env=. Или с mod_rewrite.

[unbe.livejournal.com]

http://dil.livejournal.com/1033887.html?thread=8130463#t8130463

[evgalt.livejournal.com]

с помощью mod_rewrite, который на сакральных директориях говорит неуполномоченному UA пшелнах 403 тебе, а не 200.

[unbe.livejournal.com]

это бессмысленно абсолютно

[ksergey9.livejournal.com]

Поддерживаю.
Детский сад какой-то.
Ну да что с них взять - с этих православных админов.

[dil.livejournal.com]

Это, в общем, особого смысла не имеет. Приличные поисковики уважают robots.txt, а неприличные всё равно маскируются под браузер.

[evgalt.livejournal.com]

Неуважающие robots.txt банятся уже по IP, впрочем, что считать приличными? У меня на портале в свое время Nigma и еще пара каких-то альтернативно одаренных пауков (вродей Baidu) бан заработали за полное наплевательство на robots.txt и пожирание трафика.

Впрочем, кто спорит: что выложено в Интернет уже не может считаться недоступным всем, и на каждый robots.txt или .htacess найдется свой "удачливый" поисковик.

[dil.livejournal.com]

Забанить по IP можно только после того, как их удастся вычислить по другим признакам.

А так да, не надо выкладывать конфиденциальную информацию в открытый доступ. А то, помнится, некоторые товарищи умудрились выложить панель управления сервером с "очень секретным" урлом, а потом туда зашёл яндексовский робот и походил по ссылочкам. Включая ту, что гасила сервер :)

[ksergey9.livejournal.com]

Это смешно.
Т.к. поисковик - это хотя бы открытый робот, что нашел - то показывает.
А вот закрытый, так скажем, робот - он не обязан подписываться "я робот", равно как и анализировать robots.txt