Новости языкознания на Яндекс.Почте

[dil]

Типичный английский язык:

Ну что, переводим…

Теперь это, типа, русский:

И для полной ясности смотрим в исходник письма в поисках английского языка:

Оригинал этой записи в личном блоге.

Comments

[dil]

Из charset'а можно почерпнуть некоторые ограничения на язык (например, в windows-1251 может быть русский, но вряд ли будет турецкий, если не использовать HTML entities), но в общем случае по charset'у язык определить действительно нельзя.

А между тем, у Яндекса есть технология автоматического определения кодировки русского языка по контексту вообще без учёта charset'а из заголовков. Она используется поисковым индексатором и даже включена в состав яндекс.сервера. И её вполне можно использовать для определения других языков. Наличие charset'а эту задачу только облегчает.