November 2019

S M T W T F S
      12
34 5 678 9
10111213141516
17181920212223
24252627282930

Navigation

Page Summary

Style Credit

Expand Cut Tags

No cut tags

Поисковый бот mail.ru не отличается ни умом, ни сообразительностью

dil: (Default)
[personal profile] dil
Thursday, December 27th, 2012 12:24 am

Вот ВСЁ, что он запрашивал с одного моего сайта за весь декабрь, проявляя к отсутствующему robots.txt гораздо больший интерес (10 раз), чем даже к морде сайта (3 раза):

217.69.133.70 - - [03/Dec/2012:15:11:07 +0000] "GET / HTTP/1.0" 200 5702 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [03/Dec/2012:15:23:33 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [03/Dec/2012:15:23:40 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [09/Dec/2012:23:25:38 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [09/Dec/2012:23:25:45 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [12/Dec/2012:22:17:36 +0000] "GET / HTTP/1.0" 200 5702 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [14/Dec/2012:12:47:59 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [14/Dec/2012:12:48:01 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [18/Dec/2012:10:01:39 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.70 - - [18/Dec/2012:10:01:46 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.70 - - [21/Dec/2012:16:07:49 +0000] "GET / HTTP/1.0" 200 5702 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.70 - - [24/Dec/2012:10:29:26 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.70 - - [24/Dec/2012:10:29:29 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.70 - - [25/Dec/2012:04:46:51 +0000] "GET /avatar-abnh.jpg HTTP/1.0" 200 3829 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"

Оригинал этой записи в личном блоге.

Tags:
Flat | Top-Level Comments Only

(Anonymous)
Thursday, December 27th, 2012 08:04 am (UTC)
Ну, мало ли, может у тебя сайт, по мнению этого робота, слишком непопулярный, и потому его индексировать глубоко нецелесообразно.

dil: (Default)
[personal profile] dil
Thursday, December 27th, 2012 10:09 am (UTC)
Может. Но тогда зачем он вообще туда приходит?
Flat | Top-Level Comments Only