DESCRIBED-PACKED-TENSOR adalah Value tensor yang mencatat shape dan packed format pada descriptor Payload, lalu menyimpan elemen yang lebih kecil dari WORD secara packed. Value VALUE-ISSUER-2WORD(0x09DL), Issuer 0x00000002 ADHOC, nomor Codec 0x00000601, keluarga NUMERIC.

Layout

TAG WORD          0000 1001 1101 LLLL      Codec 0x09DL
[TAG ekstensi Length] jika total 15 WORD atau lebih
Issuer            2 WORD  0x00000002 (ADHOC)
Nomor Codec       2 WORD  0x00000601
Payload WORD 1st  [version: 4bit][packed-format: 8bit][rank: 4bit]
Payload next      [dimension 1: uint32, 2 WORD] ... [dimension rank: uint32, 2 WORD]
Sisa Payload      [packed payload octet stream, low-bit-first]

Interpretasi

  • Rank adalah nilai 4bit pada descriptor, sehingga secara struktural hanya 0..15 yang dapat dinyatakan. Setiap dimension adalah uint32 big-endian yang tidak negatif. Urutan logisnya adalah C-contiguous row-major.
  • Seperti aturan tensor logis ONNX, shape [] dengan rank 0 adalah scalar dengan 1 elemen, dan jika salah satu dimension bernilai 0, jumlah elemennya 0. Selain itu, jumlah elemen adalah hasil kali semua dimension.
  • Packed-format menetapkan encoding elemen dan lebar bit, seperti int2/int4, FP4/FP6, dan varian FP8 tertentu.
  • Jika sequence octet payload dinyatakan sebagai p[0], p[1], ... dan dipandang sebagai bilangan bulat little-bit-endian P = Σ(p[j] << (8j)), maka elemen logis i dengan lebar w adalah (P >> (i × w)) & ((1 << w) - 1). Artinya, elemen pertama ditempatkan mulai dari bit terendah.
  • Pada WORD, p[0] dimuat sebagai octet atas WORD pertama dan p[1] sebagai octet bawahnya, dan seterusnya. Tail bit atas yang tidak terpakai pada octet terakhir yang dipakai harus 0, dan jika jumlah octet payload ganjil, seluruh octet bawah yang tidak terpakai pada WORD terakhir harus 00.

Validitas

  • Hasil kali dimension shape yang dihitung tanpa overflow dengan menerapkan lebar bit format yang didukung harus sama dengan jumlah elemen payload.
  • Jika tail bit atas atau padding octet setelah bit payload yang diperlukan ada yang bernilai 1, nilai ditolak. Descriptor, shape, dan payload harus sepenuhnya berada di dalam Length record.

Dasar standar dan status format

  • Makna logis shape, scalar rank 0, dan zero dimension mengikuti ONNX IR Tensor Definition. Aturan menempatkan elemen sub-byte mulai dari bit terendah mengikuti packing int2/int4 pada ONNX TensorProto schema resmi dan packing little bit-endian pada DLPack DLDataType.
  • Rank 4bit, dimension uint32, field version/packed-format, cara mengelompokkan octet menjadi WORD big-endian, dan TAG/Length GEUL merupakan descriptor khas GEUL. Ini bukan serialization wire atau memori dari ONNX, Apache Arrow tensor, maupun DLPack itu sendiri.

Panjang

  • Totalnya adalah jumlah WORD dari TAG 1 WORD, TAG ekstensi Length (jika ada), Issuer 2 WORD, nomor Codec 2 WORD, dan Payload. Panjang 14 WORD atau kurang memakai panjang langsung, sedangkan 15 WORD atau lebih memakai panjang ekstensi 1110·1111, dan TAG ekstensi masuk dalam total (Record dan TAG WORD).
  • Descriptor adalah 1 WORD, shape adalah 2 × rank WORD, dan sisanya adalah packed payload.
  • Jika jumlah elemen logis adalah N dan lebar elemen w, jumlah octet payload adalah ceil(N × w / 8), dan jumlah WORD payload adalah ceil(jumlah octet payload / 2).

Contoh

  • Pada profil dengan rank 2, 4 WORD setelah descriptor adalah shape, dan bagian sesudahnya adalah sequence octet payload low-bit-first. Lebar elemen dan apakah diizinkan ditentukan oleh profil format yang telah ditetapkan.
  • Sequence octet payload untuk elemen 4bit [1, 2, 3] adalah 21 03, dan WORD payload-nya 2103. Elemen pertama berada di nibble rendah octet pertama, dan nibble tinggi yang tidak terpakai pada octet terakhir adalah 0.

Masalah terbuka

  • Nilai registry version dan packed-format, serta cakupan profil yang akan didukung dari rank 0..15 yang dapat dinyatakan, belum ditetapkan.