DESCRIBED-DENSE-TENSOR ist ein Tensor-Value, der Shape und Element Format im Payload-Descriptor angibt und den Payload C-contiguous in Row-Major-Ordnung ablegt. Es ist ein Value VALUE-ISSUER-2WORD (0x09DL), Issuer 0x00000002 ADHOC, Codec-Nummer 0x00000600, Familie NUMERIC.
Layout
TAG WORD 0000 1001 1101 LLLL Codec 0x09DL
[Length-Erweiterungs-TAG] ab insgesamt 15 WORD
Issuer 2 WORD 0x00000002 (ADHOC)
Codec-Nummer 2 WORD 0x00000600
Payload WORD 1st [version: 4bit][element-format: 8bit][rank: 4bit]
Payload next [dimension 1: uint32, 2 WORD] ... [dimension rank: uint32, 2 WORD]
Payload Rest [dense payload]
Interpretation
- Der rank ist ein 4-Bit-Wert des Descriptors und kann strukturell nur
0..15ausdrücken. Jede dimension ist ein nichtnegatives Big-Endian-uint32. - Wie in den logischen Tensor-Regeln von ONNX ist ein Shape
[]mit rank 0 ein Scalar mit einem Element, und ist eine beliebige dimension 0, ist die Elementzahl 0. Sonst ist die Elementzahl das Produkt aller dimensions. - Der Payload wird im Element Format des Descriptors gelesen, in C-contiguous Row-Major-Reihenfolge. Die berechnete logische Elementzahl muss der Elementzahl des Payloads nach dem Descriptor entsprechen.
Gültigkeit
- Sobald die unterstützten version und das Element Format feststehen, wird anhand von deren Elementbreite die Grenze des Payloads wiederhergestellt und geprüft, ob sie mit dem ohne Überlauf berechneten Shape-Produkt übereinstimmt.
- Descriptor, alle dimensions und Payload müssen vollständig innerhalb der Record-Length liegen; beliebiges ABI-Padding gibt es nicht.
Normgrundlage und Formatstatus
- Die Regel, dass der Shape eine Liste nichtnegativer dimensions ist und die Wertezahl dem Produkt der dimensions entspricht, sowie die Bedeutung von rank-0-Scalar und zero dimension folgen der ONNX IR Tensor Definition. Die logische C-contiguous Row-Major-Reihenfolge entspricht der des Apache Arrow canonical fixed-shape tensor extension.
- 4-Bit-rank, uint32-dimension, version-/element-format-Felder, GEUL-TAG/Length und der Big-Endian-WORD-Payload sind ein GEUL-eigener Descriptor. Es ist keine Wire- oder Memory-Serialisierung des Arrow tensor IPC format, von ONNX TensorProto oder der DLPack C API.
Länge
- Die Gesamtlänge ist die Summe der WORD aus 1 WORD TAG, Length-Erweiterungs-TAG (falls vorhanden), 2 WORD Issuer, 2 WORD Codec-Nummer und Payload. Bis 14 WORD wird die direkte Länge verwendet, ab 15 WORD die erweiterte Länge
1110/1111, und der Erweiterungs-TAG zählt zur Gesamtzahl (Record und TAG WORD). - Der Descriptor umfasst 1 WORD, der Shape
2 × rankWORD, der Rest ist der Payload.
Beispiel
- Bei einem Profil mit rank 2 sind die 4 WORD nach dem Descriptor die beiden uint32-dimensions, und alles danach ist der Row-Major-Payload. Ob dies tatsächlich zulässig ist und wie die Elementzahl geprüft wird, erfordert ein festgelegtes version-/format-Profil.
Offene Probleme
- Die Werte der version- und element-format-Registry sowie der Umfang der unterstützten Profile innerhalb der darstellbaren rank
0..15sind noch nicht festgelegt.