Новости языкознания на Яндекс.Почте

[dil]

Типичный английский язык:

Ну что, переводим…

Теперь это, типа, русский:

И для полной ясности смотрим в исходник письма в поисках английского языка:

Оригинал этой записи в личном блоге.

Comments

[alexkuklin]

Я так думаю, что язык из заголовков берется, так что вопрос не к яндексу, имхо.

[klopp]

Брать из всё из From? И дописывать в тельце?

[dil]

И где в этих заголовках написано про английский язык?

[alexkuklin]

теоретически, в content-type.
практически, никто его, похоже, не проставляет.

[salas.livejournal.com]

Нет в Content-Type атрибута language. Есть charset, но он до добра не доведёт: в лучшем случае там будет UTF-8, Windows-1251 или что-нибудь ещё многоязычное, но бывают и русские письма в ISO-2022-JP.

Бывает Content-Language (RFC 3282), но почту авторы вроде как не имели в виду.

[dil]

Из charset'а можно почерпнуть некоторые ограничения на язык (например, в windows-1251 может быть русский, но вряд ли будет турецкий, если не использовать HTML entities), но в общем случае по charset'у язык определить действительно нельзя.

А между тем, у Яндекса есть технология автоматического определения кодировки русского языка по контексту вообще без учёта charset'а из заголовков. Она используется поисковым индексатором и даже включена в состав яндекс.сервера. И её вполне можно использовать для определения других языков. Наличие charset'а эту задачу только облегчает.

[alexkuklin]

у меня картинки не догрузились, поэтому я заголовки не увидел сразу