Value — запись, хранящая само значение. Codec определяет, как интерпретировать Payload.
Раскладка
TAG WORD 000K KKKC CCCC LLLL разделы 3·4 (0x060L~0x09FL)
[расширяющий Length TAG]
[расширяющий Codec TAG] для формата Issuer
Payload
LLLL— общее число WORD вместе с TAG WORD, минус 1. Для 1~14 WORD длина прямая, для 15 WORD и более — расширенная.- Для формата Issuer расширяющий Codec TAG содержит Issuer (ширина 2/4/16 WORD, задаётся Codec) и номер Codec в 2 WORD. Номер Codec определяет Issuer.
- Декодер, даже не зная формата, знает Kind, Length, Issuer и номер Codec.
Семейства
Номер Value не обозначает семейство. Прямой код не выражает семейство битами, и у формата Issuer правила семейств тоже нет. Семейство — тематическая группа.
| Семейство | Прямые коды |
|---|---|
| NUMERIC | 0x060L~0x067L |
| DECIMAL | 0x068L~0x069L |
| TIME | 0x06AL~0x071L, 0x081L |
| TEXT | 0x072L~0x07AL |
| BINARY | 0x07BL~0x080L |
- Числовые значения — векторы, тензоры, комплексные числа, дроби, интервалы — относятся к NUMERIC. Исключение: BIT-VECTOR относится к BINARY. Языковые коды относятся к TEXT.
- К записи формата Issuer добавляется расширяющий Codec TAG (Issuer и номер Codec). Если Payload длинный (всего 15 WORD и более), используется расширяющий Length TAG.
Прямые коды
| Codec | Имя | Семейство | Описание |
|---|---|---|---|
0x060L | BOOL | NUMERIC | false или true |
0x061L | SIGNED-INTEGER | NUMERIC | целое в дополнительном коде, минимум WORD |
0x062L | UNSIGNED-INTEGER | NUMERIC | беззнаковое целое, минимум WORD |
0x063L | BINARY-FLOAT | NUMERIC | IEEE 754 binary16/32/64/128 |
0x064L | COORDINATE-EARTH | NUMERIC | широта и долгота Земли (WGS 84) и неопределённость (Reference единицы) |
0x065L | COORDINATE-GEO | NUMERIC | Reference небесного тела, широта и долгота, неопределённость (Reference единицы) |
0x066L | QUANTITY | NUMERIC | числовая величина (целое, BINARY-FLOAT, десятичное число, дробь), Reference единицы, нижняя и верхняя границы |
0x067L | FRACTION | NUMERIC | дробь с сохранением записи (записи числителя и знаменателя, без сокращения) |
0x068L | SIGNED-DECIMAL | DECIMAL | C × 10^E, знаковый коэффициент |
0x069L | UNSIGNED-DECIMAL | DECIMAL | C × 10^E, беззнаковый коэффициент |
0x06AL | GREGORIAN-DATE | TIME | число дней с 1970-01-01 (григорианский календарь) |
0x06BL | CIVIL-TIME-NANOSECONDS | TIME | наносекунды с полуночи |
0x06CL | POSIX-TIMESTAMP-SECONDS | TIME | секунды с Unix epoch |
0x06DL | DURATION-SECONDS | TIME | прошедшее время (секунды) |
0x06EL/0x06FL | EDTF | TIME | строка расширенной даты ISO 8601-2 (точность до года и месяца, неопределённость, интервал) |
0x070L/0x071L | GEDCOM-DATE | TIME | строка даты GEDCOM 7 (юлианский и другие календари) |
0x072L/0x073L | UTF8-TEXT | TEXT | строка UTF-8 без языка |
0x074L/0x075L | URI | TEXT | URI по RFC 3986 |
0x076L/0x077L | LANGUAGE-BCP47-CODE | TEXT | языковой тег BCP 47 |
0x078L/0x079L | UTF8-LANGUAGE-TEXT | TEXT | текст с указанием языка |
0x07AL | LANGUAGE-SHORT-CODE | TEXT | сжатый языковой код в 1 WORD |
0x07BL | UUID | BINARY | UUID по RFC 9562 |
0x07CL | SHA-256-DIGEST | BINARY | результат SHA-256 |
0x07DL | SHA1-DIGEST | BINARY | результат SHA-1 (для идентификации, например ID объектов git) |
0x07EL/0x07FL | OPAQUE-BYTES | BINARY | последовательность байтов с неизвестным смыслом и форматом. Чётное и нечётное число байтов |
0x080L | BIT-VECTOR | BINARY | число бит, за которым N бит, сохранённых в порядке MSB-first |
0x081L | DURATION-NANOSECONDS | TIME | прошедшее время (наносекунды) |
- Коды, объединённые в пару «чётный/нечётный», — последовательности байтов переменной длины. У чётного кода число байтов чётное, у нечётного — нечётное (запись и TAG WORD).
- Прямые коды занимают
0x060L~0x081Lбез Reserved.0x082L~0x09CL— Reserved, а0x09DL~0x09FL— VALUE-ISSUER-2WORD, 4WORD и 16WORD.
Формат Issuer
Формат, которого нет среди прямых кодов, размещается номером Codec под Issuer организации, его утвердившей. Условные форматы без утвердившей организации размещаются под ADHOC (0x00000002). Собственные форматы GEUL (OPAQUE-BYTES, BIT-VECTOR, DURATION-NANOSECONDS) — прямые коды.
| Issuer | Примеры форматов |
|---|---|
ADHOC 0x00000002 | BFLOAT16, целочисленные и вещественные векторы, тензоры, комплексные числа, дроби, интервалы, кватернионы, BLAKE3 |
IETF 0x00000007 | относительный URI, CRC32C, адреса IPv4 и IPv6 |
IEEE 0x0000000D | IEEE 754 decimal32/64/128, временная метка POSIX в наносекундах, MAC-адрес |
KHRONOS 0x0000000E | пиксели RGBA8 и BGRA8 |
ONNX 0x00000010, OCP 0x00000011 | FP8, FP4 |
BIPM 0x00000013 | временная метка TAI |
NIST 0x00000015 | SHA-512, SHA3-256 |
GPS 0x00000016 | временная метка GPS |
- Декодер, не знающий формата, знает Issuer и номер Codec и пропускает значение по Length.
- Документ Codec размещается под
codecs/этого Issuer по номеру Codec записи. Пример: IETF CRC32C —0x00000007/codecs/0x0000C000/(адрес публикации и список версий). - Крупные значения вроде изображений и видео рекомендуется не вкладывать напрямую, а ссылаться на них через URI и SHA-256.
- Произведение внутри последовательности байтов подчиняется своей исходной лицензии. Источник и лицензия записываются в Meta.
Группы форматов
Описания по группам приведены ниже. Раскладка, интерпретация, действительность и примеры каждого формата — в документе этого формата.
| Группа | Семейство | Форматы |
|---|---|---|
| numeric | NUMERIC | BOOL, целые, числа с плавающей точкой, координаты, QUANTITY, FRACTION |
| decimal | DECIMAL | SIGNED-DECIMAL, UNSIGNED-DECIMAL, IEEE 754 decimal32/64/128 |
| time | TIME | даты, время суток, временные метки, прошедшее время, EDTF, даты GEDCOM |
| text | TEXT | текст UTF-8, текст с указанием языка, URI, языковые коды |
| binary | BINARY | UUID, дайджесты, CRC, сетевые адреса, байты с неизвестным смыслом, битовые векторы |
| vector | NUMERIC | целочисленные и вещественные плотные векторы, точки и ограничивающие рамки, пиксели RGBA·BGRA |
| tensor | NUMERIC | dense и packed тензоры с указанием формата, rank и shape |
| etc | NUMERIC | комплексные числа, дроби, замкнутые интервалы, кватернионы |
- Группы vector, tensor и etc — это форматы Issuer (ADHOC, KHRONOS) семейства NUMERIC.
numeric
Базовые числовые форматы семейства NUMERIC. Размещаются в прямых кодах 0x060L~0x067L.
- Сюда входят BOOL, целые со знаком и без знака, числа с плавающей точкой IEEE 754 binary, координаты Земли (WGS 84) и небесных тел, QUANTITY, объединяющий величину, единицу и границы, и FRACTION — дробь в исходной записи.
- Целое записывается минимальным числом WORD, в которое умещается значение.
- Для малых скалярных форматов Issuer (BFLOAT16, FP8, FP4) назначены только номера Codec, подробной спецификации нет (открытая проблема в разделе Value).
- Векторы, тензоры, комплексные числа, несократимая дробь (RATIONAL-I64) и интервалы тоже относятся к семейству NUMERIC, но как форматы Issuer они помещены в группы vector, tensor и etc.
decimal
Семейство DECIMAL — форматы точных десятичных чисел. Размещаются в прямых кодах 0x068L~0x069L.
- Прямые коды SIGNED-DECIMAL и UNSIGNED-DECIMAL записываются как
C × 10^Eи хранят число разрядов исходной записи как есть.1.20(C=120, E=−2) и1.2(C=12, E=−1) — разные записи. Равенство значений и сохранение quantum — открытая проблема SIGNED-DECIMAL. - Кодировки DPD и BID для IEEE 754 decimal32/64/128 — форматы Issuer IEEE (
0x0000000D).
time
Семейство TIME — форматы даты и времени. Размещаются в прямых кодах 0x06AL~0x071L и 0x081L (DURATION-NANOSECONDS).
| Точность | Формат |
|---|---|
| дата (григорианский календарь) | GREGORIAN-DATE |
| год и месяц, неопределённость, интервал | EDTF |
| исходная запись по другому календарю (юлианскому и т. д.) | GEDCOM-DATE |
| время суток | временные метки POSIX·TAI·GPS |
| прошедшее время | DURATION-SECONDS, DURATION-NANOSECONDS |
- Дата, которую можно записать как GREGORIAN-DATE, как EDTF не записывается.
- Временные метки в наносекундах и форматы TAI·GPS — форматы под Issuer соответствующих организаций по стандартам (IEEE, BIPM, GPS).
text
Семейство TEXT — форматы текста и строковых идентификаторов. Размещаются в прямых кодах 0x072L~0x07AL.
- Строка без языка — UTF8-TEXT, текст с языком вроде имени, заголовка или предложения — UTF8-LANGUAGE-TEXT.
- Языковые коды (LANGUAGE-SHORT-CODE, LANGUAGE-BCP47-CODE) тоже относятся к семейству TEXT.
- Последовательности байтов переменной длины задаются парой Codec «чётный/нечётный». Если младший бит равен
1, число байтов нечётное, а младший байт последнего WORD — padding0x00(запись и TAG WORD).
binary
Семейство BINARY — форматы последовательностей байтов. Размещаются в прямых кодах 0x07BL~0x080L.
- UUID, SHA-256, SHA-1, байты с неизвестным смыслом (OPAQUE-BYTES) и битовый вектор (BIT-VECTOR) — прямые коды. Остальные дайджесты, CRC32C, адреса IPv4·IPv6·MAC — форматы Issuer.
- У значений фиксированного размера (UUID, дайджесты, адреса) размер задан, поэтому пары «чётный/нечётный» не вводятся.
- Открытые медиа вроде изображений и видео размещаются как форматы Issuer IANA (
0x00000008). Номера Codec назначаются парами «чётный/нечётный», Payload — последовательность байтов. Верхний предел Length — 2^32−1 WORD. Крупные значения рекомендуется не вкладывать напрямую, а ссылаться на них через URI и SHA-256. - Произведение внутри последовательности байтов подчиняется своей исходной лицензии. Источник и лицензия записываются в Meta.
vector
Векторные форматы — форматы Issuer семейства NUMERIC. Целочисленные и вещественные плотные векторы, а также точки и ограничивающие рамки размещены под ADHOC (0x00000002) с номерами Codec 0x00000500~0x0000050C, форматы пикселей — под KHRONOS (0x0000000E).
- Элементы плотного вектора хранятся подряд в big-endian.
- Поскольку это формат Issuer, к расширяющему Codec TAG добавляются Issuer в 2 WORD и номер Codec в 2 WORD.
tensor
Тензорные форматы — форматы Issuer семейства NUMERIC. Размещаются под ADHOC (0x00000002) с номерами Codec 0x00000600~0x00000601.
- DESCRIBED-DENSE-TENSOR хранит формат элемента, rank, shape и C-contiguous плотный payload.
- DESCRIBED-PACKED-TENSOR хранит packed-формат, rank, shape и packed payload с порядком low-bit-first внутри octet.
etc
Прочие числовые форматы — форматы Issuer семейства NUMERIC. Размещаются под ADHOC (0x00000002) с номерами Codec 0x00000700~0x00000704.
- Сюда входят комплексные числа (COMPLEX64, COMPLEX128), нормализованная дробь (RATIONAL-I64), замкнутый интервал binary64 и кватернион binary32.
Текст
Текст с языком и текст без языка — разные значения. «Paris» (строка) и «Paris» (французский) не равны.
| Формат | Где применяется |
|---|---|
| UTF8-TEXT | строки без языка: идентификаторы, коды, имена файлов, внешние ID |
| UTF8-LANGUAGE-TEXT | текст с языком: имена, заголовки, предложения |
UTF8-LANGUAGE-TEXT
TAG WORD 0000 0111 100P LLLL (P = у текста нечётное число байтов)
[расширяющий Length TAG]
язык запись LANGUAGE-SHORT-CODE или LANGUAGE-BCP47-CODE
текст байты UTF-8 (при нечётном числе последний 0x00)
- Текст — well-formed UTF-8, сохраняется как в оригинале. Нормализацию выполняет сторона, которая сравнивает и индексирует.
- Для имени, общего для нескольких языков, используется язык
mul, для неопределённого языка —und. Строка без языкового содержимого — UTF8-TEXT.
Пример: "Douglas Adams"@en (13 байтов, нечётное)
0799 0761 656E 446F 7567 6C61 7320 4164 616D 7300
TAG язык en D o u g l a s ␠ A d a m s (padding)
Десятичные числа и величины
Точное десятичное число записывается как C × 10^E. Показатель E — 32-битный, коэффициент C — в дополнительном коде, минимум WORD. Число разрядов исходной записи сохраняется как есть: 1.20 — это C=120, E=−2, а 1.2 — C=12, E=−1. Две записи обозначают одно и то же число, но это отдельные записи с разными байтами. Кодировщик запись произвольно не нормализует. Равенство значений двух записей и смысл quantum (значащих цифр) — открытая проблема (SIGNED-DECIMAL).
QUANTITY хранит величину, единицу и границы в одном значении.
TAG WORD 0000 0110 0110 LLLL
[расширяющий Length TAG]
величина числовая запись Value (целое, BINARY-FLOAT, десятичное число, дробь)
единица запись Reference (элемент единицы), для безразмерной 0x0000
нижняя граница числовая запись Value, при пропуске 0x0000 ABSENT
верхняя граница числовая запись Value, при пропуске 0x0000 ABSENT
- Единица — часть значения. Её не отделяют и не записывают в другом месте (без неё нельзя понять,
652— это км или м). - Значение, пересчитанное в единицы СИ, не хранится. Его можно вычислить по единице и таблице пересчёта.
0x0000— метка ABSENT, означающая, что необязательное поле пропущено (документ спецификации Codec).
Пример: 652 km, диапазон [651, 653] (km = Q828224 в Викиданных)
066E 0011 TAG (расширенная длина 17 WORD)
0683 0000 0000 028C величина 652
0142 000C A340 единица Q828224
0683 0000 0000 028B нижняя граница 651
0683 0000 0000 028D верхняя граница 653
Даты
| Точность | Формат |
|---|---|
| дата (григорианский календарь) | GREGORIAN-DATE |
год и месяц, неопределённость (1971~), интервал | EDTF |
| исходная запись по другому календарю (юлианскому и т. д.) | GEDCOM-DATE |
| время суток | временные метки POSIX·TAI·GPS |
- Дата, которую можно записать как GREGORIAN-DATE, как EDTF не записывается.
Открытые проблемы
- Открытые медиаформаты (JPEG, PNG, MP4, MOV и др.) размещаются номерами Codec под Issuer IANA (
0x00000008). Как вести таблицу соответствия медиатипов и номеров Codec. - Окончательный список прямых кодов Value. Определяется измерением частоты Value в выборках законов и деловых разговоров (кандидаты: суммы, проценты, интервалы дат).
- Подробная спецификация и размещение семи малых скаляров (ADHOC BFLOAT16, четыре ONNX FP8, OCP FP8-E8M0FNU и FP4-E2M1FN). Переносить ли их в прямые коды, не решено. Сейчас назначены только номера Codec.