DESCRIBED-DENSE-TENSORは、shape と element format を Payload の descriptor に記し、C-contiguous row-major の payload を格納するテンソル Value である。Value VALUE-ISSUER-2WORD(0x09DL)、Issuer 0x00000002 ADHOC、Codec 番号 0x00000600、系列 NUMERIC である。
レイアウト
TAG WORD 0000 1001 1101 LLLL Codec 0x09DL
[Length 拡張 TAG] 全体 15 WORD 以上のとき
Issuer 2 WORD 0x00000002 (ADHOC)
Codec 番号 2 WORD 0x00000600
Payload WORD 1st [version: 4bit][element-format: 8bit][rank: 4bit]
Payload next [dimension 1: uint32, 2 WORD] ... [dimension rank: uint32, 2 WORD]
Payload 残り [dense payload]
解釈
- rank は descriptor の4bit の値なので、構造上
0..15だけを表現できる。各 dimension は非負の big-endian uint32 である。 - ONNX の論理 tensor 規則と同じく、rank 0 の shape
[]は要素1個の scalar であり、dimension のどれか1つでも0なら要素数は0である。それ以外の要素数はすべての dimension の積である。 - payload は descriptor の element format で読み、C-contiguous row-major の順序である。計算した論理要素数は、descriptor に続く payload の要素数と等しくなければならない。
有効性
- 対応する version と element format が定まれば、その要素幅で payload の境界を復元し、overflow なしで計算した shape の積と合うことを検証する。
- descriptor、すべての dimension、payload はレコードの Length に完全に収まらなければならず、任意の ABI padding はない。
標準上の根拠と形式上の位置づけ
- shape が非負の dimension の並びであり、値の数が dimension の積と等しいという規則、および rank 0 の scalar と zero dimension の意味は ONNX IR Tensor Definition に従う。C-contiguous row-major の論理順序は Apache Arrow canonical fixed-shape tensor extension の順序に合わせる。
- 4bit の rank、uint32 の dimension、version/element-format field、GEUL の TAG/Length、big-endian WORD の payload は GEUL 固有の descriptor である。Arrow tensor IPC format、ONNX TensorProto、DLPack C API の wire・memory serialization ではない。
長さ
- 全体は TAG 1 WORD、Length 拡張 TAG(あれば)、Issuer 2 WORD、Codec 番号 2 WORD、Payload を合わせた WORD 数である。14 WORD 以下は直接長、15 WORD 以上は
1110・1111の拡張長を用い、拡張 TAG も全体の数に入る(レコードと TAG WORD)。 - descriptor は1 WORD、shape は
2 × rankWORD であり、残りが payload である。
例
- rank が2の profile なら、descriptor に続く4 WORD が2つの uint32 dimension であり、その後ろ全体が row-major の payload である。実際に許容されるか否かと要素数の検証には、確定した version・format の profile が必要である。
未解決の問題
- version と element-format の registry の値、および表現可能な rank
0..15のうち対応する profile の範囲は、まだ定めていない。