DESCRIBED-DENSE-TENSOR est une Value de tenseur qui décrit le shape et l’element format dans le descriptor du Payload, puis stocke un payload C-contiguous row-major. Value VALUE-ISSUER-2WORD (0x09DL), Issuer 0x00000002 ADHOC, numéro de Codec 0x00000600, famille NUMERIC.

Disposition

TAG WORD          0000 1001 1101 LLLL      Codec 0x09DL
[TAG d'extension de Length] si 15 WORD ou plus au total
Issuer            2 WORD  0x00000002 (ADHOC)
Numéro de Codec   2 WORD  0x00000600
Payload WORD 1er  [version: 4bit][element-format: 8bit][rank: 4bit]
Payload suivants  [dimension 1: uint32, 2 WORD] ... [dimension rank: uint32, 2 WORD]
Payload reste     [dense payload]

Interprétation

  • Le rank étant une valeur de 4 bits dans le descriptor, il ne peut structurellement représenter que 0..15. Chaque dimension est un uint32 big-endian non négatif.
  • Comme dans les règles de tensor logique d’ONNX, le shape de rank 0 [] est un scalar d’un seul élément, et si l’une des dimensions vaut 0, le nombre d’éléments est 0. Sinon, le nombre d’éléments est le produit de toutes les dimensions.
  • Le payload se lit avec l’element format du descriptor, dans l’ordre C-contiguous row-major. Le nombre logique d’éléments calculé doit être égal au nombre d’éléments du payload qui suit le descriptor.

Validité

  • Dès que les version et element format pris en charge sont fixés, on retrouve les limites du payload d’après la largeur de cet élément et l’on vérifie la concordance avec le produit des dimensions du shape, calculé sans overflow.
  • Le descriptor, toutes les dimensions et le payload doivent tenir entièrement dans la Length de l’enregistrement ; il n’y a pas de padding ABI arbitraire.

Référence normative et statut du format

  • La règle selon laquelle le shape est une liste de dimensions non négatives et le nombre de valeurs est égal au produit des dimensions, ainsi que le sens du scalar de rank 0 et de la dimension zéro, suivent l’ONNX IR Tensor Definition. L’ordre logique C-contiguous row-major s’aligne sur celui de l’Apache Arrow canonical fixed-shape tensor extension.
  • Le rank de 4 bits, les dimensions uint32, les champs version/element-format, le TAG et la Length de GEUL et le payload en WORD big-endian sont un descriptor propre à GEUL. Ce n’est pas la wire ou memory serialization du format IPC de tenseur d’Arrow, d’ONNX TensorProto ni de l’API C de DLPack.

Length

  • Le total est le nombre de WORD obtenu en additionnant TAG 1 WORD, TAG d’extension de Length (s’il existe), Issuer 2 WORD, numéro de Codec 2 WORD et Payload. Jusqu’à 14 WORD, on utilise la longueur directe ; à partir de 15 WORD, la longueur étendue 1110·1111, et le TAG d’extension est compté dans le total (Enregistrement et TAG WORD).
  • Le descriptor fait 1 WORD, le shape 2 × rank WORD, et le reste est le payload.

Exemple

  • Pour un profil de rank 2, les 4 WORD après le descriptor sont les deux dimensions uint32, et tout ce qui suit est le payload row-major. Pour savoir si cela est réellement permis et pour vérifier le nombre d’éléments, il faut un profil version/format arrêté.

Problèmes ouverts

  • Les valeurs des registres de version et d’element-format, ainsi que l’étendue des profils pris en charge parmi les rank 0..15 représentables, ne sont pas encore fixées.