И ещё про утекшие SMS

[dil]

А в Гугл тоже Яндекс.Бар и Яндекс.Метрика настучали, да?

Страниц, правда, проиндексировано меньше трёх десятков, и текстов не видно. Но адреса этих страниц со статусом отправки, получается, давно не секретные. И не закрытые в robots.txt…

 

Оригинал этой записи. Комментировать можно тут или там.

Любые материалы из этого блога запрещается использовать на сайте livejournal.ru в любой форме и любом объёме

Comments

[dil.livejournal.com]

Это, в общем, особого смысла не имеет. Приличные поисковики уважают robots.txt, а неприличные всё равно маскируются под браузер.

[evgalt.livejournal.com]

Неуважающие robots.txt банятся уже по IP, впрочем, что считать приличными? У меня на портале в свое время Nigma и еще пара каких-то альтернативно одаренных пауков (вродей Baidu) бан заработали за полное наплевательство на robots.txt и пожирание трафика.

Впрочем, кто спорит: что выложено в Интернет уже не может считаться недоступным всем, и на каждый robots.txt или .htacess найдется свой "удачливый" поисковик.

[dil.livejournal.com]

Забанить по IP можно только после того, как их удастся вычислить по другим признакам.

А так да, не надо выкладывать конфиденциальную информацию в открытый доступ. А то, помнится, некоторые товарищи умудрились выложить панель управления сервером с "очень секретным" урлом, а потом туда зашёл яндексовский робот и походил по ссылочкам. Включая ту, что гасила сервер :)