Про утекшие СМСки и robots.txt

[dil]

Это мог написать кто угодно, не всем же разбираться в тонкостях работы веба. Но написал _веб-разработчик_. Якобы. С PHP вместо головы. А потом мы удивляемся, откуда берутся ТАКИЕ сайты.

Оригинал этой записи. Комментировать можно тут или там.

Любые материалы из этого блога запрещается использовать на сайте livejournal.ru в любой форме и любом объёме

Comments

[shaman007.livejournal.com]

PHP - это часто диагноз. Я вчера делал себе на собственном сервере онлайновый прокси, чтоб из огороженных стран ходить куда хочу от имени Голландии и еще инструментов по мелочи на ту же тему. Так, блин, три четверти PHPшных тулзов имеют в INSTALL'е инструкции вроде "установите права 777 на директорию с нашей поделкой, чтобы нам сподручнее было срать логами и сохранять настройки".

[npocmu.livejournal.com]

Ну я понял что человек в виду имел... Смотреть на роботс.тхт это не обязанность, а добровольное соглашение. Что мешает, к примеру, скачать сайт вместе со "скрытыми" страничками телепортом каким-нибудь?

[dil.livejournal.com]

Вопрос не в том, как поисковые роботы используют robots.txt. И как направление вектора атаки его тоже используют, я в курсе.
Но вот как, глядя на этот robots.txt, определить, чтО это за страница с текстами SMS?

[to-the-future.livejournal.com]

Мешает отсутствие прямых ссылок на скрытые странички.
Угадать URL, часть которого сгенерирована хорошим генератором случайных чисел практически невозможно.

[npocmu.livejournal.com]

Что-то я не пойму... Как же поисковый робот на них вышел?

[dil.livejournal.com]

Точно неизвестно, предполагаются два варианта: яндекс.метрика или яндекс.бар.

[vicror.livejournal.com]

По любому тут лопухнулся Мегафон. Если он GET запросами принимал смски, хотя слабо верится, то он 100 процентов виноват. Если POST, то тогда нафига Яндекс себе дублировал их? В любом случае, вывод один "Нельзя на страници связанные с личными данными ставить всякие стороние счетчики."
Кстати, я так думаю, если хорошо поискать на Яндекса, то там могут оказаться не только СМСки, также и пароли :)

[dil.livejournal.com]

Насколько я понимаю, принимал он их всё-таки POSTами (в отличие от пермского МТС, но это отдельная история), но при этом создавал для каждого отправленного сообщения уникальный идентификатор, по которому ПОТОМ можно было получить доступ к статусу сообщения вместе с его текстом и номером получателя. Вот эти-то страницы статуса с уникальными идентификаторами (типа sendsms.megafon.ru/send/status/9B7490D2ACE694AC/) Яндекс и проиндексировал. Для него это были обычные публичные страницы сайта.

Счётчики ставить можно, если а) в урле, который счетчик получит в качестве реферера, нет конфиденциальных данных и б) для доступа к самим данным нужно не только урл знать, а ещё и авторизацию получить.
У Мегафона условие б) было нарушено.

А Мегафон лопухнулся по полной программе. Создавая сами страницы статуса, из которых можно получить информацию, никак не ограничив доступ к этим страницам, и напоследок, не запретив доступ к ним для поисковых систем через robots.txt. Не сделай они всего этого вместе, никто бы ничего и не узнал.

[vicror.livejournal.com]

Ну судя по цифре 8 тысяч, дыра была образована относительно недавно.

[dil.livejournal.com]

Ну да, то ли они эти статусы недавно внедрили, то ли метрику недавно поставили, то ли robots.txt недавно протеряли..

[pash7ka.livejournal.com]

А стати, я чё-то не соображу: как быть со ссылками типа "Зайдите на страницу Вашего заказа по этой ссылке", которые в email-ах рассылаются?
По идее, этот адрес легко может утечь и попасть в поисковик. А заставлять людей ещё что-то вручную вбивать - жестоко.

[dil.livejournal.com]

Вообще говоря, да. Поэтому такие ссылки должны дополнительно аутентифицироваться (по куке, скажем).
Или не давать доступа к конфиденциальной информациии (промо-коды, например).

[pash7ka.livejournal.com]

Не, кука не выход - человек с другого компа потом не зайдет.
Есть идея: брать эти данные из GET-запроса, писать в сессию/куку и редиректить на страницу уже без данных в запросе. Вроде так будет всем хорошо...

[dil.livejournal.com]

это не спасёт от поисковых роботов, если они поддерживают куки.

[pash7ka.livejournal.com]

Не знаю про куки, но насколько мне известно, робот не пойдет по 302-му редиректу.
Кроме того, адрес такой страницы может утечь только из письма, т.к. никаких счётчиков на ней быть не может. А если кто не уберег свою почту, это его проблема.

[dil.livejournal.com]

Чего это он вдруг не пойдёт?

[pash7ka.livejournal.com]

Ну вот такие данные есть не просторах интернета, что роботы ходят только по 301-му редиректу.
Но я видимо не прав.... Потому как Яндекс честно предупреждает (http://help.yandex.ru/webmaster/?id=995305):
Так как пользователи не смогут увидеть подобные документы, показывать их в поиске не имеет смысла, и робот их не индексирует. Однако робот обязательно проиндексирует страницу, на которую установлено перенаправление.

Значит остаётся только роботс.тхт писать для закрытия лишних страничек.

[dil.livejournal.com]

вот как раз по 301 у меня яндекс почему-то и не ходит.

[dil.livejournal.com]

вполне себе ходит:
95.108.244.252 - - [18/Jul/2011:10:33:29 +0100] "GET /blog/2010/11/25/yu-ming-is-ainm-dom/tr
ackback/ HTTP/1.0" 302 20 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-" "dil.pp.ru"
95.108.244.252 - - [18/Jul/2011:10:33:32 +0100] "GET /blog/2010/11/25/yu-ming-is-ainm-dom/ H
TTP/1.0" 200 4560 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-" "dil.pp.ru"

[pash7ka.livejournal.com]

ага, неправ, сорри.

[goodvin.livejournal.com]

вот прикольный robots.txt (http://exler.ru/robots.txt), правда, смс-ок экслера там нет

[dil.livejournal.com]

А чего там прикольного? Нормальный себе файл

[mcjabberwock.livejournal.com]

Странноватое всё же занятие - оповещать всех о каждом встреченном дебиле.
Хотя, конечно, дело вкуса.

[reasonspace.livejournal.com]

бугагага %)))