UTF8-TEXT — Value, хранящий строку UTF-8 без указания языка. Используется пара кодов «чётный/нечётный»: 0x072L/0x073L.

ПунктЗначение
ИмяUTF8-TEXT (группа «чётный/нечётный». Имена по кодам — в таблице участников ниже)
TAG ID0x072L·0x073L
Раздел3 0011 (Value), смещение C внутри раздела = 18~19
KindValue · семейство: TEXT
Описание в индексеПоследовательность байтов valid UTF-8, не подразумевающая нормализации. Чётное и нечётное число байтов
Сторона Hugovalue/text/utf8-text.md

Участники

Эта страница охватывает пару кодов «чётный/нечётный». У чётного кода число байтов чётное, у нечётного — нечётное (запись и TAG WORD). Документ Codec заведён на каждый код. Поля в двух документах Codec совпадают, различаются только цель DECLARE и имя (BIND).

TAG IDИмяЧисло байтовCodec IDДокумент спецификацииTAG WORD
0x072LUTF8-TEXT-EVENчётное0x000007200x00000000/codecs/0x00000720/0000 0111 0010 LLLL
0x073LUTF8-TEXT-ODDнечётное0x000007300x00000000/codecs/0x00000730/0000 0111 0011 LLLL

Поля (документ спецификации)

Порядок FIELD в документе — это порядок полей Payload (документ спецификации Codec).

ПорядокПоле (BIND)FIELDШиринаПринимаемый формат (CODEC)ENUM
1bytes#2остаток, простое значение (0xFFFF)

UTF8-TEXT — Value, хранящий последовательность байтов valid UTF-8 по RFC 3629. Применяется для строк без языка: идентификаторов, кодов, имён файлов.

Раскладка

  • Код: прямой код Value 0x072L (чётное число байтов) и 0x073L (нечётное число байтов). Семейство TEXT.
  • Число байтов определяется младшим битом Codec и числом Payload WORD: 2 × число Payload WORD − младший бит. Byte Count не вводится (Value).
TAG WORD          0000 0111 001P LLLL      Codec 0x072L/0x073L
[расширяющий Length TAG] если всего 15 WORD и более
Payload WORD 1st ... Nth          UTF-8 bytes / final zero padding

Интерпретация и действительность

  • Последовательность байтов должна быть well-formed shortest-form UTF-8 по грамматике RFC 3629. Результат декодирования содержит только Unicode scalar value из диапазона U+0000..U+10FFFF и не содержит диапазона суррогатов U+D800..U+DFFF.
  • U+FEFF в начале Payload (байты UTF-8 EF BB BF) считается таким же символом, как U+FEFF в любой другой позиции, и допускается. Обработка начального U+FEFF как signature (BOM), описанная в RFC 3629, не выполняется. Он не отбрасывается и не трактуется как signature, а сохраняется как в оригинале.
  • Unicode normalization не навязывается. Декодированная исходная последовательность scalar сохраняется как есть.
  • Допустимая последовательность байтов UTF-8 помещается в Payload без преобразования. Внутри WORD старший byte идёт первым. Если число байтов нечётное (нечётный код), неиспользуемый младший byte последнего WORD должен быть 00.
  • Число Payload WORD равно ceil(число байтов/2). Если код нечётный, а младший byte последнего WORD не равен 00, значение отвергается.

Основание в стандартах

  • Диапазон scalar и well-formed последовательности байтов UTF-8 соответствуют RFC 3629.
  • Пара кодов «чётный/нечётный», zero padding, GEUL TAG/Length и раскладка по 16-битным WORD — каноническое правило обрамления (canonical framing) этого формата.

Длина

  • Всего — число WORD: 1 WORD TAG, расширяющий Length TAG (если есть) и Payload. До 14 WORD используется прямая длина, от 15 WORD — расширенная длина 1110·1111; расширяющий TAG также входит в общее число (Length).
  • Строка в 0 byte записывается как запись в 1 WORD с чётным кодом (только TAG WORD) (Value).

Примеры

  • A (41) — 1 byte (нечётное), поэтому UTF8-TEXT-ODD (0x073L), Payload 4100, всего 2 WORD, LLLL=0001. Целиком: 0731 4100.
  • Пустая строка — 1 WORD 0720 (UTF8-TEXT-EVEN, только TAG WORD).

Исходный текст документа спецификации

Так выглядит документ спецификации 0x00000000/codecs/0x00000720/latest.geul, прочитанный командой geul show (шестнадцатеричные цифры заглавные).

SPEC-VERSION 0x0001
DOC-ID 0x0426000000000000072000000000
BODY
#1 DECLARE 0x0720
#2 FIELD #1 rest
#3 BIND #1 "UTF8-TEXT-EVEN"
#4 BIND #2 "bytes"

Выше — документ Codec для UTF8-TEXT-EVEN (0x072L). В документах Codec других участников (UTF8-TEXT-ODD) различаются только Codec ID в DOC-ID, цель DECLARE и имя, привязанное в #1 (BIND).