November 2019

S M T W T F S
      12
34 5 678 9
10111213141516
17181920212223
24252627282930

Navigation

Page Summary

Style Credit

Expand Cut Tags

No cut tags

Мама, меня проиндексировали!

dil: (Default)
[personal profile] dil
Wednesday, December 22nd, 2004 02:21 pm
http://blogs.yandex.ru/
Tags:
Flat | Top-Level Comments Only

[identity profile] igors.livejournal.com
Wednesday, December 22nd, 2004 04:28 am (UTC)
Block Robots/Spiders from indexing your journal
If you check this option, robots will be told to go away. Not all robots respect the rules.

А можно сделать так, чтобы ваш робот respect the rules? ;)

Сейчас он успешно индексирует то, где написано <meta name="robots" content="noindex, nofollow, noarchive" />. Это типа сакс.

[identity profile] dil.livejournal.com
Wednesday, December 22nd, 2004 05:26 am (UTC)
Поподробнее, пожалуйста. Где именно из проиндексированных роботом страниц это написано?

[identity profile] tejblum.livejournal.com
Wednesday, December 22nd, 2004 05:52 am (UTC)
Наш робот индексирует RSS. В нем такого не написано. Некоторая неувязочка, да.

[identity profile] igors.livejournal.com
Wednesday, December 22nd, 2004 06:33 am (UTC)
Ага, мощно.

Получается дырка в правилах LJ.

[identity profile] dil.livejournal.com
Wednesday, December 22nd, 2004 06:41 am (UTC)
Кажется, правил про (не)индексирование RSS еще не придумано. А совсем не отдавать такой журнал они тоже не могут, потому что тогда его нельзя будет и читать.
Да, засада получается.

[identity profile] kukutz.livejournal.com
Wednesday, December 22nd, 2004 08:45 am (UTC)
1. http://blogs.yandex.ru/faq.xml?id=542563#id32456863
2. Конкретно про ЖЖ усиленно думают, и, надеюсь, скоро придумают.
Flat | Top-Level Comments Only