DESCRIBED-PACKED-TENSOR é um Value de tensor que registra o shape e o packed format no descriptor do Payload e armazena em formato packed elementos menores que um WORD. Value VALUE-ISSUER-2WORD (0x09DL), Issuer 0x00000002 ADHOC, número do Codec 0x00000601, família NUMERIC.
Layout
TAG WORD 0000 1001 1101 LLLL Codec 0x09DL
[TAG estendida de Length] quando o total for de 15 WORD ou mais
Issuer 2 WORD 0x00000002 (ADHOC)
Número do Codec 2 WORD 0x00000601
Payload WORD 1st [version: 4bit][packed-format: 8bit][rank: 4bit]
Payload next [dimension 1: uint32, 2 WORD] ... [dimension rank: uint32, 2 WORD]
Resto do Payload [packed payload octet stream, low-bit-first]
Interpretação
- O rank é um valor de 4 bits do descriptor; portanto, estruturalmente só se expressa
0..15. Cada dimension é um uint32 big-endian não negativo. A ordem lógica é C-contiguous row-major. - Como na regra de tensor lógico do ONNX, o shape
[]de rank 0 é um scalar de 1 elemento, e se qualquer dimension for 0, o número de elementos é 0. Nos demais casos, o número de elementos é o produto de todas as dimensions. - O packed-format fixa o encoding do elemento e a largura em bits, como int2/int4, FP4/FP6 e certas variantes de FP8.
- Chame a sequência de octetos do payload de
p[0], p[1], ...e considere o inteiro little-bit-endianP = Σ(p[j] << (8j)). O elemento lógicoide largurawé então(P >> (i × w)) & ((1 << w) - 1). Ou seja, coloca-se a partir do primeiro elemento, começando pelo bit mais baixo. - Nos WORD,
p[0]vai no octeto superior do primeiro WORD,p[1]no octeto inferior, e assim por diante. Os bits tail superiores não usados do último octeto usado devem ser 0 e, se o número de octetos do payload for ímpar, todo o octeto inferior não usado do último WORD deve ser00.
Validade
- Aplicada a largura em bits do format suportado, o número de elementos do payload deve coincidir com o produto das dimensions do shape, calculado sem overflow.
- Rejeita-se se qualquer high tail bit ou octet padding após os bits de payload necessários for 1. O descriptor, o shape e o payload devem caber por inteiro no Length do registro.
Base normativa e estatuto formal
- O sentido lógico do shape, do scalar de rank 0 e da dimension zero segue a ONNX IR Tensor Definition. A regra de dispor os elementos sub-byte a partir do bit mais baixo segue o int2/int4 packing do ONNX TensorProto schema oficial e o little bit-endian packing do DLPack
DLDataType. - O rank de 4 bits, a dimension uint32, os campos version/packed-format, o modo de agrupar octetos em WORD big-endian e a TAG/Length do GEUL são um descriptor próprio do GEUL. Não são a serialização de wire ou de memória do ONNX, do Apache Arrow tensor nem do DLPack.
Comprimento
- O total é o número de WORD somando TAG 1 WORD, a TAG estendida de Length (se houver), Issuer 2 WORD, número do Codec 2 WORD e o Payload. Até 14 WORD usa-se o comprimento direto; a partir de 15 WORD usa-se o comprimento estendido
1110·1111, e a TAG estendida também entra no total (Registro e TAG WORD). - O descriptor ocupa 1 WORD, o shape ocupa
2 × rankWORD e o restante é o packed payload. - Se o número lógico de elementos for
Ne a largura do elemento forw, o número de octetos do payload éceil(N × w / 8)e o número de WORD do payload éceil(número de octetos do payload / 2).
Exemplo
- Num profile de rank 2, os 4 WORD após o descriptor são o shape, e o que vem depois é a sequência de octetos do payload low-bit-first. A largura do elemento e a permissão de fato são decididas por um format profile já estabelecido.
- Para os elementos de 4 bits
[1, 2, 3], a sequência de octetos do payload é21 03e o WORD do payload é2103. O primeiro elemento está no nibble baixo do primeiro octeto, e o nibble alto não usado do último octeto é 0.
Problemas em aberto
- Os valores do registry de version e packed-format, e a faixa de profiles a suportar dentro do rank representável
0..15, ainda não foram definidos.