November 2019

S M T W T F S
      12
34 5 678 9
10111213141516
17181920212223
24252627282930

Style Credit

Expand Cut Tags

No cut tags
Tuesday, July 19th, 2011 09:17 pm

А в Гугл тоже Яндекс.Бар и Яндекс.Метрика настучали, да?

Страниц, правда, проиндексировано меньше трёх десятков, и текстов не видно. Но адреса этих страниц со статусом отправки, получается, давно не секретные. И не закрытые в robots.txt…

 

Оригинал этой записи. Комментировать можно тут или там.

Любые материалы из этого блога запрещается использовать на сайте livejournal.ru в любой форме и любом объёме

Tuesday, July 19th, 2011 09:29 pm (UTC)
в гугл настучали ссылки, которые начали появляться в интернете в понедельник.
Tuesday, July 19th, 2011 09:29 pm (UTC)
а дата может быть из last-modified
Tuesday, July 19th, 2011 09:46 pm (UTC)
Это было бы странно со стороны поисковой системы. Но даже теоретическая возможность отпадает, поскольку сервер не выдаёт этот заголовок:
$ wget -S http://www.sendsms.megafon.ru/send/status/34B4B89E7D9C5C05/
--2011-07-19 22:44:19--  http://www.sendsms.megafon.ru/send/status/34B4B89E7D9C5C05/
Resolving www.sendsms.megafon.ru... 85.26.148.42
Connecting to www.sendsms.megafon.ru|85.26.148.42|:80... connected.
HTTP request sent, awaiting response... 
  HTTP/1.1 200 OK
  Server: nginx/0.8.50
  Date: Tue, 19 Jul 2011 22:03:07 GMT
  Content-Type: text/html; charset=utf-8
  Connection: close
  Cache-Control: private, max-age=3600
  Expires: Tue, 19 Jul 2011 22:44:19 GMT
  Content-Language: ru
Length: unspecified [text/html]
Saving to: `index.html'
Tuesday, July 19th, 2011 09:54 pm (UTC)
Это его сейчас нет, там сейчас заглушка. Когда сервис работал - может и был.
Tuesday, July 19th, 2011 10:06 pm (UTC)
Может. Но это таки время индексирования.
http://webcache.googleusercontent.com/search?q=cache:sendsms.megafon.ru/robots.txt показывает snapshot of the page as it appeared on 19 Jul 2011 13:54:21 GMT, а last-modified у него вчерашний:
$ wget -S sendsms.megafon.ru/robots.txt
--2011-07-19 23:05:03--  http://sendsms.megafon.ru/robots.txt
Resolving sendsms.megafon.ru... 85.26.148.42
Connecting to sendsms.megafon.ru|85.26.148.42|:80... connected.
HTTP request sent, awaiting response... 
  HTTP/1.1 200 OK
  Server: nginx/0.8.50
  Date: Tue, 19 Jul 2011 22:23:51 GMT
  Content-Type: text/plain; charset=utf-8
  Connection: close
  Last-Modified: Mon, 18 Jul 2011 09:55:10 GMT
Length: unspecified [text/plain]

Tuesday, July 19th, 2011 10:11 pm (UTC)
да, пожалуй, маловероятно.
Tuesday, July 19th, 2011 09:37 pm (UTC)
не-а. гугл для этих ссылок не находит страниц, которые бы на них ссылались.
Tuesday, July 19th, 2011 09:39 pm (UTC)
хм, ну тогда гугл-бар может?
Tuesday, July 19th, 2011 09:48 pm (UTC)
Вот это более вероятно. И похоже, уже давно. Но всё равно непонятно, почему результатов так мало. Видимо, robots.txt пропадал достаточно редко.
Wednesday, July 20th, 2011 12:22 am (UTC)
Да не передает гугл бар пауку ссылки)
http://blogoscoped.com/archive/2006-12-10-n75.html

вы случайно не в яндексе работаете?
Wednesday, July 20th, 2011 07:32 am (UTC)
Это 2006 год, с тех пор поведение гуглбара могло измениться.

Случайно нет, это достаточно легко определить по моему журналу.