Новости языкознания на Яндекс.Почте

[dil]

Типичный английский язык:

Ну что, переводим…

Теперь это, типа, русский:

И для полной ясности смотрим в исходник письма в поисках английского языка:

Оригинал этой записи в личном блоге.

Comments

[aleksey]

Написано "GB" - значит английский ;-)

А язык по кодировке гарантированно не определяется - латиница есть (почти)во всех. Я вот, видал русский в японской кодировке. В китайских есть или нет - не знаю, не проверял.

[dil]

Латиница действительно есть везде, а в GB2312 бывает и русский. Но как можно видеть из текста письма, бОльшая его часть всё же никак не на английском.

[aleksey]

То, что текст на китайском, я, конечно, вижу.

Автоматически язык, без специфических для конкретного языка проверок, не определить -- нигде в заголовках его явно не указывают. А еще ведь, тексты бывают двух(и более)-язычные - тут совсем весело.

Если текст действительно написан на двух языках, то даже если тот которого больше не поддерживается, есть смысл предложить перевод со второго. При этом, конечно, предлагать надо ЧАСТИЧНО перевести а не так как на скриншотах. (Английского на скриншотах не увидел.)

[pash7ka.livejournal.com]

Как не увидели? А слово Email переведённое как Электронный адрес?

[alexkuklin]

Я так думаю, что язык из заголовков берется, так что вопрос не к яндексу, имхо.

[klopp]

Брать из всё из From? И дописывать в тельце?

[dil]

И где в этих заголовках написано про английский язык?

[alexkuklin]

теоретически, в content-type.
практически, никто его, похоже, не проставляет.

[salas.livejournal.com]

Нет в Content-Type атрибута language. Есть charset, но он до добра не доведёт: в лучшем случае там будет UTF-8, Windows-1251 или что-нибудь ещё многоязычное, но бывают и русские письма в ISO-2022-JP.

Бывает Content-Language (RFC 3282), но почту авторы вроде как не имели в виду.

[dil]

Из charset'а можно почерпнуть некоторые ограничения на язык (например, в windows-1251 может быть русский, но вряд ли будет турецкий, если не использовать HTML entities), но в общем случае по charset'у язык определить действительно нельзя.

А между тем, у Яндекса есть технология автоматического определения кодировки русского языка по контексту вообще без учёта charset'а из заголовков. Она используется поисковым индексатором и даже включена в состав яндекс.сервера. И её вполне можно использовать для определения других языков. Наличие charset'а эту задачу только облегчает.

[alexkuklin]

у меня картинки не догрузились, поэтому я заголовки не увидел сразу