DESCRIBED-PACKED-TENSOR הוא Value של טנזור הרושם shape ו-packed format ב-descriptor של ה-Payload ושומר באופן packed איברים קטנים מ-WORD. Value VALUE-ISSUER-2WORD (0x09DL), Issuer 0x00000002 ADHOC, מספר Codec 0x00000601, משפחה NUMERIC.
פריסה
TAG WORD 0000 1001 1101 LLLL Codec 0x09DL
[TAG הרחבת Length] כאשר הסך הכול 15 WORD ומעלה
Issuer 2 WORD 0x00000002 (ADHOC)
מספר Codec 2 WORD 0x00000601
Payload WORD 1st [version: 4bit][packed-format: 8bit][rank: 4bit]
Payload next [dimension 1: uint32, 2 WORD] ... [dimension rank: uint32, 2 WORD]
שאר ה-Payload [packed payload octet stream, low-bit-first]
פירוש
- ה-rank הוא ערך של 4bit ב-descriptor, ולכן מבנית ניתן לייצג רק
0..15. כל dimension הוא uint32 big-endian שאינו שלילי. הסדר הלוגי הוא C-contiguous row-major. - כמו בכללי הטנזור הלוגיים של ONNX, shape
[]ב-rank 0 הוא scalar בעל איבר אחד, ואם אחד מה-dimension הוא 0, מספר האיברים הוא 0. בשאר המקרים מספר האיברים הוא מכפלת כל ה-dimension. - ה-packed-format קובע את ה-encoding של האיבר ואת רוחב הביטים שלו, כמו int2/int4, FP4/FP6 או וריאנטים מסוימים של FP8.
- אם רצף ה-octet של ה-payload הוא
p[0], p[1], ..., ומתייחסים אליו כמספר שלם little-bit-endian P = Σ(p[j] << (8j)), אז האיבר הלוגיiברוחבwהוא(P >> (i × w)) & ((1 << w) - 1). כלומר מניחים מהאיבר הראשון בביט הנמוך ביותר. - ב-WORD,
p[0]נישא ב-octet העליון של ה-WORD הראשון, p[1]ב-octet התחתון, וכן הלאה. ביטי ה-tail העליונים שאינם בשימוש ב-octet האחרון שבשימוש חייבים להיות 0, ואם מספר ה-octet ב-payload אי-זוגי, כל ה-octet התחתון שאינו בשימוש ב-WORD האחרון חייב להיות00.
תקינות
- כשמיישמים את רוחב הביטים של ה-format הנתמך, מכפלת ה-dimension של ה-shape, שחושבה ללא overflow, חייבת להתאים למספר האיברים ב-payload.
- דוחים אם ביט tail עליון או padding של octet אחרי ביטי ה-payload הנדרשים הוא 1 ולו באחד. ה-descriptor, ה-shape וה-payload חייבים להיכנס במלואם ב-Length של הרשומה.
בסיס בתקנים ומעמד הפורמט
- המשמעות הלוגית של shape, scalar ב-rank 0 ו-zero dimension היא לפי ONNX IR Tensor Definition. הכלל של הנחת איברי sub-byte החל מהביט הנמוך הוא לפי packing של int2/int4 ב-ONNX TensorProto schema הרשמי ולפי packing מסוג little bit-endian ב-
DLDataTypeשל DLPack. - rank של 4bit, dimension מסוג uint32, שדות version/packed-format, אופן אריזת ה-octet ל-WORD big-endian ו-GEUL TAG/Length הם descriptor ייחודי של GEUL. הם אינם ה-serialization של wire או של זיכרון ב-ONNX, ב-Apache Arrow tensor או ב-DLPack עצמם.
אורך
- הסך הכול הוא מספר ה-WORD של TAG אחד, TAG הרחבת Length (אם יש), Issuer של 2 WORD, מספר Codec של 2 WORD ו-Payload. עד 14 WORD משתמשים באורך ישיר, ומ-15 WORD ומעלה באורך מורחב
1110·1111, וה-TAG המורחב נכלל בסך הכול (רשומה ו-TAG WORD). - ה-descriptor הוא WORD אחד, ה-shape הוא
2 × rankWORD, והשאר הוא ה-packed payload. - אם מספר האיברים הלוגי הוא
Nורוחב האיבר הואw, מספר ה-octet ב-payload הואceil(N × w / 8), ומספר ה-WORD ב-payload הואceil(מספר ה-octet ב-payload / 2).
דוגמה
- בפרופיל שבו rank הוא 2, 4 ה-WORD שאחרי ה-descriptor הם ה-shape, ואחריהם רצף ה-octet של ה-payload ב-low-bit-first. רוחב האיבר והאם זה מותר בפועל נקבעים לפי פרופיל format מוסכם.
- רצף ה-octet של ה-payload לאיברי 4bit
[1, 2, 3]הוא21 03, וה-WORD של ה-payload הוא2103. האיבר הראשון נמצא ב-nibble הנמוך של ה-octet הראשון, וה-nibble העליון שאינו בשימוש ב-octet האחרון הוא 0.
בעיות פתוחות
- הערכים ברישום (registry) של version ו-packed-format, וטווח הפרופילים שייתמכו מתוך ה-rank הניתן לייצוג
0..15, טרם נקבעו.