UTF8-LANGUAGE-TEXT — текст с указанием языка: одна запись языкового Value и текст UTF-8 в одном Value (Codec 0x078L/0x079L).

ПунктЗначение
ИмяUTF8-LANGUAGE-TEXT (группа «чётный/нечётный». Имена по кодам — в таблице участников ниже)
TAG ID0x078L·0x079L
Раздел3 0011 (Value), смещение C внутри раздела = 24~25
KindValue · семейство: TEXT
Описание в индексеТекст с указанием языка. Запись языкового Value (LANGUAGE-SHORT-CODE или LANGUAGE-BCP47-CODE) и байты UTF-8. Чётное и нечётное число байтов текста
Сторона Hugovalue/text/utf8-language-text.md

Участники

Эта страница охватывает пару кодов «чётный/нечётный». У чётного кода число байтов чётное, у нечётного — нечётное (запись и TAG WORD). Документ Codec заведён на каждый код. Поля в двух документах Codec совпадают, различаются только цель DECLARE и имя (BIND).

TAG IDИмяЧисло байтовCodec IDДокумент спецификацииTAG WORD
0x078LUTF8-LANGUAGE-TEXT-EVENчётное0x000007800x00000000/codecs/0x00000780/0000 0111 1000 LLLL
0x079LUTF8-LANGUAGE-TEXT-ODDнечётное0x000007900x00000000/codecs/0x00000790/0000 0111 1001 LLLL

Поля (документ спецификации)

Порядок FIELD в документе — это порядок полей Payload (документ спецификации Codec).

ПорядокПоле (BIND)FIELDШиринаПринимаемый формат (CODEC)ENUM
1language#2запись07A0 LANGUAGE-SHORT-CODE, 0760 LANGUAGE-BCP47-CODE-EVEN, 0770 LANGUAGE-BCP47-CODE-ODD
2bytes#3остаток, простое значение (0xFFFF)

UTF8-LANGUAGE-TEXT — текст с указанием языка. Он хранит в одном Value запись языкового Value и последовательность байтов UTF-8.

UTF8-TEXT — строка без языка (идентификатор, код, имя файла, исходные байты), а этот формат — текст с языком (имя, заголовок, девиз, предложение). Даже при одинаковых байтах это разные значения. «Paris» (строка) и «Paris» (французский) не равны. Так же RDF разделяет xsd:string и rdf:langString.

Раскладка

  • Код: прямой код Value 0x078L (текст с чётным числом байтов) и 0x079L (текст с нечётным числом байтов). Семейство TEXT.
TAG WORD          0000 0111 100P LLLL      Codec 0x078L/0x079L (P = у текста нечётное число байтов)
[расширяющий Length TAG] если всего 15 WORD и более
Language          одна запись Value LANGUAGE-SHORT-CODE или LANGUAGE-BCP47-CODE (вместе с TAG)
Text WORD 1st ... Nth             UTF-8 bytes / при нечётном числе последний 0x00

Интерпретация и действительность

  • Payload начинается с языковой записи. Первый WORD Payload читается как TAG, и участок длиной по его Length — языковая запись, остальное — байты текста. Языковая запись обязательна. Если языка нет, используется не этот формат, а UTF8-TEXT.
  • Языковая запись — ровно одна полная запись LANGUAGE-SHORT-CODE (0x07AL) или LANGUAGE-BCP47-CODE (0x076L·0x077L). Другой Codec или неполная запись — invalid. Действительность языковой записи определяется правилами её формата.
  • Можно использовать оба языковых формата. Правило сравнения «тот же ли язык» такое же, как у LABEL. SHORT-CODE и тег BCP 47, связанный в реестре с этим номером, обозначают один язык.
  • zxx (нет языкового содержимого) не используется. Такая строка — UTF8-TEXT. und (язык не определён) и mul (несколько языков) — тексты с языком, поэтому их использовать можно.
  • Байты текста подчиняются тем же правилам, что и UTF8-TEXT. Они должны быть well-formed UTF-8, начальный U+FEFF допускается как символ, нормализация не навязывается, текст сохраняется как в оригинале. Сторона, которая сравнивает и индексирует, приводит их к NFC для сравнения.
  • Число байтов текста равно 2 × (число Payload WORD − число WORD языковой записи) − P. P (младший бит Codec) показывает лишь чётность числа байтов текста. Если оно нечётное, младший byte последнего WORD должен быть 00.
  • Пустой текст (0 byte) — это чётный код только с языковой записью.

Где применяется

  • Значение monolingualtext из Викиданных: {"text":"Bundesrepublik Deutschland","language":"de"} становится одним таким значением. Оно входит как Object в TRIPLE и как Value в QUALIFIER. Свойство, rank и qualifier обслуживает TRIPLE.
  • Object в LABEL и ALIAS. Имя и язык хранит это одно значение.
  • Тексты с определённым языком, например названия законов и статей.

Соответствие языковых кодов (Викиданные)

  • Не все языковые коды Викиданных и Викимедиа являются BCP 47 (например, simple, map-bms). Они переводятся в теги BCP 47 по таблице соответствия. Коды, которые перевести нельзя, обрабатываются по-разному в зависимости от назначения.
    • Значение (monolingualtext): исходный datavalue сохраняется как UTF8-TEXT. Значение — часть утверждения, и если его отбросить, утверждение изменится.
    • Метка, описание, псевдоним: пропускаются и фиксируются в отчёте. Эти Edge существуют только при наличии языка (текст без языка — invalid), а исходный текст остаётся в исходных данных.
  • Если у полученного тега есть номер в GEUL Language Registry, используется LANGUAGE-SHORT-CODE, иначе — LANGUAGE-BCP47-CODE.

Длина

  • Всего — число WORD: 1 WORD TAG, расширяющий Length TAG (если есть), языковая запись и WORD текста. До 14 WORD используется прямая длина, от 15 WORD — расширенная (Length).
  • Языковая запись — 2 WORD для SHORT-CODE и ceil(байты тега/2) + 1 WORD для BCP 47 (de — 2 WORD, zh-Hant — 5 WORD).

Примеры

Во всех примерах язык задан в формате LANGUAGE-BCP47-CODE. У fr, ko, de есть номера в реестре, поэтому их можно записать и как SHORT-CODE (2 WORD).

ЗначениеБайты текстаВсего WORD
“Paris” (fr)5 (нечётное)0795 0761 6672 5061 7269 7300
"" (ko)00782 0761 6B6F
“Bundesrepublik Deutschland” (de)26 (чётное)078E 0011 0761 6465 4275 6E64 6573 7265 7075 626C 696B 2044 6575 7473 6368 6C61 6E64
  • “Paris”: TAG 0795 (Codec 0x079L, LLLL=0101, всего 6 WORD), язык 0761 6672 (BCP 47 fr), текст 5061 7269 7300 (5 byte, последний 00).
  • Третий пример занимает всего 17 WORD, поэтому используется расширение Length (LLLL=1110 в 078E, расширяющий TAG 0011).

Основание в стандартах

Открытые проблемы

  • Проверка грамматики тега BCP 47 в schema. Сейчас проверяется лишь, что это ASCII и строка не пуста.

Связанные страницы

Исходный текст документа спецификации

Так выглядит документ спецификации 0x00000000/codecs/0x00000780/latest.geul, прочитанный командой geul show (шестнадцатеричные цифры заглавные).

SPEC-VERSION 0x0001
DOC-ID 0x0426000000000000078000000000
BODY
#1 DECLARE 0x0780
#2 FIELD #1 record
#3 FIELD #1 rest
#4 BIND #1 "UTF8-LANGUAGE-TEXT-EVEN"
#5 BIND #2 "language"
#6 BIND #3 "bytes"
#7 CODEC #2 0x07A0
#8 CODEC #2 0x0760
#9 CODEC #2 0x0770

Выше — документ Codec для UTF8-LANGUAGE-TEXT-EVEN (0x078L). В документах Codec других участников (UTF8-LANGUAGE-TEXT-ODD) различаются только Codec ID в DOC-ID, цель DECLARE и имя, привязанное в #1 (BIND).