Value — запись, хранящая само значение. Codec определяет, как интерпретировать Payload.

Раскладка

TAG WORD          000K KKKC CCCC LLLL      разделы 3·4 (0x060L~0x09FL)
[расширяющий Length TAG]
[расширяющий Codec TAG]  для формата Issuer
Payload
  • LLLL — общее число WORD вместе с TAG WORD, минус 1. Для 1~14 WORD длина прямая, для 15 WORD и более — расширенная.
  • Для формата Issuer расширяющий Codec TAG содержит Issuer (ширина 2/4/16 WORD, задаётся Codec) и номер Codec в 2 WORD. Номер Codec определяет Issuer.
  • Декодер, даже не зная формата, знает Kind, Length, Issuer и номер Codec.

Семейства

Номер Value не обозначает семейство. Прямой код не выражает семейство битами, и у формата Issuer правила семейств тоже нет. Семейство — тематическая группа.

СемействоПрямые коды
NUMERIC0x060L~0x067L
DECIMAL0x068L~0x069L
TIME0x06AL~0x071L, 0x081L
TEXT0x072L~0x07AL
BINARY0x07BL~0x080L
  • Числовые значения — векторы, тензоры, комплексные числа, дроби, интервалы — относятся к NUMERIC. Исключение: BIT-VECTOR относится к BINARY. Языковые коды относятся к TEXT.
  • К записи формата Issuer добавляется расширяющий Codec TAG (Issuer и номер Codec). Если Payload длинный (всего 15 WORD и более), используется расширяющий Length TAG.

Прямые коды

CodecИмяСемействоОписание
0x060LBOOLNUMERICfalse или true
0x061LSIGNED-INTEGERNUMERICцелое в дополнительном коде, минимум WORD
0x062LUNSIGNED-INTEGERNUMERICбеззнаковое целое, минимум WORD
0x063LBINARY-FLOATNUMERICIEEE 754 binary16/32/64/128
0x064LCOORDINATE-EARTHNUMERICширота и долгота Земли (WGS 84) и неопределённость (Reference единицы)
0x065LCOORDINATE-GEONUMERICReference небесного тела, широта и долгота, неопределённость (Reference единицы)
0x066LQUANTITYNUMERICчисловая величина (целое, BINARY-FLOAT, десятичное число, дробь), Reference единицы, нижняя и верхняя границы
0x067LFRACTIONNUMERICдробь с сохранением записи (записи числителя и знаменателя, без сокращения)
0x068LSIGNED-DECIMALDECIMALC × 10^E, знаковый коэффициент
0x069LUNSIGNED-DECIMALDECIMALC × 10^E, беззнаковый коэффициент
0x06ALGREGORIAN-DATETIMEчисло дней с 1970-01-01 (григорианский календарь)
0x06BLCIVIL-TIME-NANOSECONDSTIMEнаносекунды с полуночи
0x06CLPOSIX-TIMESTAMP-SECONDSTIMEсекунды с Unix epoch
0x06DLDURATION-SECONDSTIMEпрошедшее время (секунды)
0x06EL/0x06FLEDTFTIMEстрока расширенной даты ISO 8601-2 (точность до года и месяца, неопределённость, интервал)
0x070L/0x071LGEDCOM-DATETIMEстрока даты GEDCOM 7 (юлианский и другие календари)
0x072L/0x073LUTF8-TEXTTEXTстрока UTF-8 без языка
0x074L/0x075LURITEXTURI по RFC 3986
0x076L/0x077LLANGUAGE-BCP47-CODETEXTязыковой тег BCP 47
0x078L/0x079LUTF8-LANGUAGE-TEXTTEXTтекст с указанием языка
0x07ALLANGUAGE-SHORT-CODETEXTсжатый языковой код в 1 WORD
0x07BLUUIDBINARYUUID по RFC 9562
0x07CLSHA-256-DIGESTBINARYрезультат SHA-256
0x07DLSHA1-DIGESTBINARYрезультат SHA-1 (для идентификации, например ID объектов git)
0x07EL/0x07FLOPAQUE-BYTESBINARYпоследовательность байтов с неизвестным смыслом и форматом. Чётное и нечётное число байтов
0x080LBIT-VECTORBINARYчисло бит, за которым N бит, сохранённых в порядке MSB-first
0x081LDURATION-NANOSECONDSTIMEпрошедшее время (наносекунды)
  • Коды, объединённые в пару «чётный/нечётный», — последовательности байтов переменной длины. У чётного кода число байтов чётное, у нечётного — нечётное (запись и TAG WORD).
  • Прямые коды занимают 0x060L~0x081L без Reserved. 0x082L~0x09CL — Reserved, а 0x09DL~0x09FL — VALUE-ISSUER-2WORD, 4WORD и 16WORD.

Формат Issuer

Формат, которого нет среди прямых кодов, размещается номером Codec под Issuer организации, его утвердившей. Условные форматы без утвердившей организации размещаются под ADHOC (0x00000002). Собственные форматы GEUL (OPAQUE-BYTES, BIT-VECTOR, DURATION-NANOSECONDS) — прямые коды.

IssuerПримеры форматов
ADHOC 0x00000002BFLOAT16, целочисленные и вещественные векторы, тензоры, комплексные числа, дроби, интервалы, кватернионы, BLAKE3
IETF 0x00000007относительный URI, CRC32C, адреса IPv4 и IPv6
IEEE 0x0000000DIEEE 754 decimal32/64/128, временная метка POSIX в наносекундах, MAC-адрес
KHRONOS 0x0000000Eпиксели RGBA8 и BGRA8
ONNX 0x00000010, OCP 0x00000011FP8, FP4
BIPM 0x00000013временная метка TAI
NIST 0x00000015SHA-512, SHA3-256
GPS 0x00000016временная метка GPS
  • Декодер, не знающий формата, знает Issuer и номер Codec и пропускает значение по Length.
  • Документ Codec размещается под codecs/ этого Issuer по номеру Codec записи. Пример: IETF CRC32C — 0x00000007/codecs/0x0000C000/ (адрес публикации и список версий).
  • Крупные значения вроде изображений и видео рекомендуется не вкладывать напрямую, а ссылаться на них через URI и SHA-256.
  • Произведение внутри последовательности байтов подчиняется своей исходной лицензии. Источник и лицензия записываются в Meta.

Группы форматов

Описания по группам приведены ниже. Раскладка, интерпретация, действительность и примеры каждого формата — в документе этого формата.

ГруппаСемействоФорматы
numericNUMERICBOOL, целые, числа с плавающей точкой, координаты, QUANTITY, FRACTION
decimalDECIMALSIGNED-DECIMAL, UNSIGNED-DECIMAL, IEEE 754 decimal32/64/128
timeTIMEдаты, время суток, временные метки, прошедшее время, EDTF, даты GEDCOM
textTEXTтекст UTF-8, текст с указанием языка, URI, языковые коды
binaryBINARYUUID, дайджесты, CRC, сетевые адреса, байты с неизвестным смыслом, битовые векторы
vectorNUMERICцелочисленные и вещественные плотные векторы, точки и ограничивающие рамки, пиксели RGBA·BGRA
tensorNUMERICdense и packed тензоры с указанием формата, rank и shape
etcNUMERICкомплексные числа, дроби, замкнутые интервалы, кватернионы
  • Группы vector, tensor и etc — это форматы Issuer (ADHOC, KHRONOS) семейства NUMERIC.

numeric

Базовые числовые форматы семейства NUMERIC. Размещаются в прямых кодах 0x060L~0x067L.

  • Сюда входят BOOL, целые со знаком и без знака, числа с плавающей точкой IEEE 754 binary, координаты Земли (WGS 84) и небесных тел, QUANTITY, объединяющий величину, единицу и границы, и FRACTION — дробь в исходной записи.
  • Целое записывается минимальным числом WORD, в которое умещается значение.
  • Для малых скалярных форматов Issuer (BFLOAT16, FP8, FP4) назначены только номера Codec, подробной спецификации нет (открытая проблема в разделе Value).
  • Векторы, тензоры, комплексные числа, несократимая дробь (RATIONAL-I64) и интервалы тоже относятся к семейству NUMERIC, но как форматы Issuer они помещены в группы vector, tensor и etc.

decimal

Семейство DECIMAL — форматы точных десятичных чисел. Размещаются в прямых кодах 0x068L~0x069L.

  • Прямые коды SIGNED-DECIMAL и UNSIGNED-DECIMAL записываются как C × 10^E и хранят число разрядов исходной записи как есть. 1.20 (C=120, E=−2) и 1.2 (C=12, E=−1) — разные записи. Равенство значений и сохранение quantum — открытая проблема SIGNED-DECIMAL.
  • Кодировки DPD и BID для IEEE 754 decimal32/64/128 — форматы Issuer IEEE (0x0000000D).

time

Семейство TIME — форматы даты и времени. Размещаются в прямых кодах 0x06AL~0x071L и 0x081L (DURATION-NANOSECONDS).

ТочностьФормат
дата (григорианский календарь)GREGORIAN-DATE
год и месяц, неопределённость, интервалEDTF
исходная запись по другому календарю (юлианскому и т. д.)GEDCOM-DATE
время сутоквременные метки POSIX·TAI·GPS
прошедшее времяDURATION-SECONDS, DURATION-NANOSECONDS
  • Дата, которую можно записать как GREGORIAN-DATE, как EDTF не записывается.
  • Временные метки в наносекундах и форматы TAI·GPS — форматы под Issuer соответствующих организаций по стандартам (IEEE, BIPM, GPS).

text

Семейство TEXT — форматы текста и строковых идентификаторов. Размещаются в прямых кодах 0x072L~0x07AL.

  • Строка без языка — UTF8-TEXT, текст с языком вроде имени, заголовка или предложения — UTF8-LANGUAGE-TEXT.
  • Языковые коды (LANGUAGE-SHORT-CODE, LANGUAGE-BCP47-CODE) тоже относятся к семейству TEXT.
  • Последовательности байтов переменной длины задаются парой Codec «чётный/нечётный». Если младший бит равен 1, число байтов нечётное, а младший байт последнего WORD — padding 0x00 (запись и TAG WORD).

binary

Семейство BINARY — форматы последовательностей байтов. Размещаются в прямых кодах 0x07BL~0x080L.

  • UUID, SHA-256, SHA-1, байты с неизвестным смыслом (OPAQUE-BYTES) и битовый вектор (BIT-VECTOR) — прямые коды. Остальные дайджесты, CRC32C, адреса IPv4·IPv6·MAC — форматы Issuer.
  • У значений фиксированного размера (UUID, дайджесты, адреса) размер задан, поэтому пары «чётный/нечётный» не вводятся.
  • Открытые медиа вроде изображений и видео размещаются как форматы Issuer IANA (0x00000008). Номера Codec назначаются парами «чётный/нечётный», Payload — последовательность байтов. Верхний предел Length — 2^32−1 WORD. Крупные значения рекомендуется не вкладывать напрямую, а ссылаться на них через URI и SHA-256.
  • Произведение внутри последовательности байтов подчиняется своей исходной лицензии. Источник и лицензия записываются в Meta.

vector

Векторные форматы — форматы Issuer семейства NUMERIC. Целочисленные и вещественные плотные векторы, а также точки и ограничивающие рамки размещены под ADHOC (0x00000002) с номерами Codec 0x00000500~0x0000050C, форматы пикселей — под KHRONOS (0x0000000E).

  • Элементы плотного вектора хранятся подряд в big-endian.
  • Поскольку это формат Issuer, к расширяющему Codec TAG добавляются Issuer в 2 WORD и номер Codec в 2 WORD.

tensor

Тензорные форматы — форматы Issuer семейства NUMERIC. Размещаются под ADHOC (0x00000002) с номерами Codec 0x00000600~0x00000601.

  • DESCRIBED-DENSE-TENSOR хранит формат элемента, rank, shape и C-contiguous плотный payload.
  • DESCRIBED-PACKED-TENSOR хранит packed-формат, rank, shape и packed payload с порядком low-bit-first внутри octet.

etc

Прочие числовые форматы — форматы Issuer семейства NUMERIC. Размещаются под ADHOC (0x00000002) с номерами Codec 0x00000700~0x00000704.

  • Сюда входят комплексные числа (COMPLEX64, COMPLEX128), нормализованная дробь (RATIONAL-I64), замкнутый интервал binary64 и кватернион binary32.

Текст

Текст с языком и текст без языка — разные значения. «Paris» (строка) и «Paris» (французский) не равны.

ФорматГде применяется
UTF8-TEXTстроки без языка: идентификаторы, коды, имена файлов, внешние ID
UTF8-LANGUAGE-TEXTтекст с языком: имена, заголовки, предложения
UTF8-LANGUAGE-TEXT
TAG WORD          0000 0111 100P LLLL   (P = у текста нечётное число байтов)
[расширяющий Length TAG]
язык              запись LANGUAGE-SHORT-CODE или LANGUAGE-BCP47-CODE
текст             байты UTF-8 (при нечётном числе последний 0x00)
  • Текст — well-formed UTF-8, сохраняется как в оригинале. Нормализацию выполняет сторона, которая сравнивает и индексирует.
  • Для имени, общего для нескольких языков, используется язык mul, для неопределённого языка — und. Строка без языкового содержимого — UTF8-TEXT.

Пример: "Douglas Adams"@en (13 байтов, нечётное)

0799  0761 656E  446F 7567 6C61 7320 4164 616D 7300
TAG   язык en    D o  u g  l a  s ␠  A d  a m  s (padding)

Десятичные числа и величины

Точное десятичное число записывается как C × 10^E. Показатель E — 32-битный, коэффициент C — в дополнительном коде, минимум WORD. Число разрядов исходной записи сохраняется как есть: 1.20 — это C=120, E=−2, а 1.2 — C=12, E=−1. Две записи обозначают одно и то же число, но это отдельные записи с разными байтами. Кодировщик запись произвольно не нормализует. Равенство значений двух записей и смысл quantum (значащих цифр) — открытая проблема (SIGNED-DECIMAL).

QUANTITY хранит величину, единицу и границы в одном значении.

TAG WORD          0000 0110 0110 LLLL
[расширяющий Length TAG]
величина          числовая запись Value (целое, BINARY-FLOAT, десятичное число, дробь)
единица           запись Reference (элемент единицы), для безразмерной 0x0000
нижняя граница    числовая запись Value, при пропуске 0x0000 ABSENT
верхняя граница   числовая запись Value, при пропуске 0x0000 ABSENT
  • Единица — часть значения. Её не отделяют и не записывают в другом месте (без неё нельзя понять, 652 — это км или м).
  • Значение, пересчитанное в единицы СИ, не хранится. Его можно вычислить по единице и таблице пересчёта.
  • 0x0000 — метка ABSENT, означающая, что необязательное поле пропущено (документ спецификации Codec).

Пример: 652 km, диапазон [651, 653] (km = Q828224 в Викиданных)

066E 0011                    TAG (расширенная длина 17 WORD)
0683 0000 0000 028C          величина 652
0142 000C A340               единица Q828224
0683 0000 0000 028B          нижняя граница 651
0683 0000 0000 028D          верхняя граница 653

Даты

ТочностьФормат
дата (григорианский календарь)GREGORIAN-DATE
год и месяц, неопределённость (1971~), интервалEDTF
исходная запись по другому календарю (юлианскому и т. д.)GEDCOM-DATE
время сутоквременные метки POSIX·TAI·GPS
  • Дата, которую можно записать как GREGORIAN-DATE, как EDTF не записывается.

Открытые проблемы

  • Открытые медиаформаты (JPEG, PNG, MP4, MOV и др.) размещаются номерами Codec под Issuer IANA (0x00000008). Как вести таблицу соответствия медиатипов и номеров Codec.
  • Окончательный список прямых кодов Value. Определяется измерением частоты Value в выборках законов и деловых разговоров (кандидаты: суммы, проценты, интервалы дат).
  • Подробная спецификация и размещение семи малых скаляров (ADHOC BFLOAT16, четыре ONNX FP8, OCP FP8-E8M0FNU и FP4-E2M1FN). Переносить ли их в прямые коды, не решено. Сейчас назначены только номера Codec.