UTF8-TEXT — Value, хранящий строку UTF-8 без указания языка. Используется пара кодов «чётный/нечётный»: 0x072L/0x073L.
| Пункт | Значение |
|---|---|
| Имя | UTF8-TEXT (группа «чётный/нечётный». Имена по кодам — в таблице участников ниже) |
| TAG ID | 0x072L·0x073L |
| Раздел | 3 0011 (Value), смещение C внутри раздела = 18~19 |
| Kind | Value · семейство: TEXT |
| Описание в индексе | Последовательность байтов valid UTF-8, не подразумевающая нормализации. Чётное и нечётное число байтов |
| Сторона Hugo | value/text/utf8-text.md |
Участники
Эта страница охватывает пару кодов «чётный/нечётный». У чётного кода число байтов чётное, у нечётного — нечётное (запись и TAG WORD). Документ Codec заведён на каждый код. Поля в двух документах Codec совпадают, различаются только цель DECLARE и имя (BIND).
| TAG ID | Имя | Число байтов | Codec ID | Документ спецификации | TAG WORD |
|---|---|---|---|---|---|
0x072L | UTF8-TEXT-EVEN | чётное | 0x00000720 | 0x00000000/codecs/0x00000720/ | 0000 0111 0010 LLLL |
0x073L | UTF8-TEXT-ODD | нечётное | 0x00000730 | 0x00000000/codecs/0x00000730/ | 0000 0111 0011 LLLL |
Поля (документ спецификации)
Порядок FIELD в документе — это порядок полей Payload (документ спецификации Codec).
| Порядок | Поле (BIND) | FIELD | Ширина | Принимаемый формат (CODEC) | ENUM |
|---|---|---|---|---|---|
| 1 | bytes | #2 | остаток, простое значение (0xFFFF) |
UTF8-TEXT — Value, хранящий последовательность байтов valid UTF-8 по RFC 3629. Применяется для строк без языка: идентификаторов, кодов, имён файлов.
Раскладка
- Код: прямой код Value
0x072L(чётное число байтов) и0x073L(нечётное число байтов). Семейство TEXT. - Число байтов определяется младшим битом Codec и числом Payload WORD:
2 × число Payload WORD − младший бит. Byte Count не вводится (Value).
TAG WORD 0000 0111 001P LLLL Codec 0x072L/0x073L
[расширяющий Length TAG] если всего 15 WORD и более
Payload WORD 1st ... Nth UTF-8 bytes / final zero padding
Интерпретация и действительность
- Последовательность байтов должна быть well-formed shortest-form UTF-8 по грамматике RFC 3629. Результат декодирования содержит только Unicode scalar value из диапазона
U+0000..U+10FFFFи не содержит диапазона суррогатовU+D800..U+DFFF. - U+FEFF в начале Payload (байты UTF-8
EF BB BF) считается таким же символом, как U+FEFF в любой другой позиции, и допускается. Обработка начального U+FEFF как signature (BOM), описанная в RFC 3629, не выполняется. Он не отбрасывается и не трактуется как signature, а сохраняется как в оригинале. - Unicode normalization не навязывается. Декодированная исходная последовательность scalar сохраняется как есть.
- Допустимая последовательность байтов UTF-8 помещается в Payload без преобразования. Внутри WORD старший byte идёт первым. Если число байтов нечётное (нечётный код), неиспользуемый младший byte последнего WORD должен быть
00. - Число Payload WORD равно
ceil(число байтов/2). Если код нечётный, а младший byte последнего WORD не равен00, значение отвергается.
Основание в стандартах
- Диапазон scalar и well-formed последовательности байтов UTF-8 соответствуют RFC 3629.
- Пара кодов «чётный/нечётный», zero padding, GEUL TAG/Length и раскладка по 16-битным WORD — каноническое правило обрамления (canonical framing) этого формата.
Длина
- Всего — число WORD: 1 WORD TAG, расширяющий Length TAG (если есть) и Payload. До 14 WORD используется прямая длина, от 15 WORD — расширенная длина
1110·1111; расширяющий TAG также входит в общее число (Length). - Строка в 0 byte записывается как запись в 1 WORD с чётным кодом (только TAG WORD) (Value).
Примеры
A(41) — 1 byte (нечётное), поэтомуUTF8-TEXT-ODD(0x073L), Payload4100, всего 2 WORD,LLLL=0001. Целиком:0731 4100.- Пустая строка — 1 WORD
0720(UTF8-TEXT-EVEN, только TAG WORD).
Исходный текст документа спецификации
Так выглядит документ спецификации 0x00000000/codecs/0x00000720/latest.geul, прочитанный командой geul show (шестнадцатеричные цифры заглавные).
SPEC-VERSION 0x0001
DOC-ID 0x0426000000000000072000000000
BODY
#1 DECLARE 0x0720
#2 FIELD #1 rest
#3 BIND #1 "UTF8-TEXT-EVEN"
#4 BIND #2 "bytes"
Выше — документ Codec для UTF8-TEXT-EVEN (0x072L). В документах Codec других участников (UTF8-TEXT-ODD) различаются только Codec ID в DOC-ID, цель DECLARE и имя, привязанное в #1 (BIND).