UTF8-TEXT הוא Value הנושא מחרוזת UTF-8 חסרת שפה. הוא משתמש בזוג הקודים 0x072L/0x073L לבייטים זוגיים ואי-זוגיים.

פריטערך
שםUTF8-TEXT (קבוצת זוגי/אי-זוגי. שם כל קוד בטבלת החברים להלן)
TAG ID0x072L·0x073L
קטע3 0011 (Value), היסט בתוך הקטע C = 18~19
KindValue · משפחה: TEXT
תיאור באינדקסרצף בייטים תקין של UTF-8 שאינו מרמז על נרמול. בייטים זוגיים ואי-זוגיים
בצד Hugovalue/text/utf8-text.md

חברים

דף זה עוסק בשני קודים של זוג זוגי/אי-זוגי יחד. הקוד הזוגי הוא ערך שמספר הבייטים שלו זוגי, והקוד האי-זוגי הוא ערך שמספר הבייטים שלו אי-זוגי (רשומה ו-TAG WORD). מסמך Codec אחד לכל קוד. השדות בשני מסמכי ה-Codec זהים, ורק יעד ה-DECLARE והשם (BIND) שונים.

TAG IDשםמספר בייטיםCodec IDמסמך מפרטTAG WORD
0x072LUTF8-TEXT-EVENזוגי0x000007200x00000000/codecs/0x00000720/0000 0111 0010 LLLL
0x073LUTF8-TEXT-ODDאי-זוגי0x000007300x00000000/codecs/0x00000730/0000 0111 0011 LLLL

שדות (מסמך מפרט)

סדר ה-FIELD במסמך הוא סדר שדות ה-Payload (מסמך המפרט של Codec).

סדרשדה (BIND)FIELDרוחבפורמט מקבל (CODEC)ENUM
1bytes#2שארית ערך גולמי (0xFFFF)

UTF8-TEXT הוא Value הנושא רצף בייטים תקין של UTF-8 לפי RFC 3629. משתמשים בו למחרוזות חסרות שפה, כמו מזהים, קודים ושמות קבצים.

פריסה

  • קוד: קוד ישיר של Value ‏0x072L (בייטים זוגיים) ו-0x073L (בייטים אי-זוגיים). משפחה TEXT.
  • מספר הבייטים נקבע לפי הסיבית הנמוכה ביותר של ה-Codec ומספר ה-Payload WORD. הוא 2 × מספר Payload WORD − הסיבית הנמוכה ביותר, ואין Byte Count (Value).
TAG WORD          0000 0111 001P LLLL      Codec 0x072L/0x073L
[Length TAG הרחבה] כשהסך הכול 15 WORD ומעלה
Payload WORD 1st ... Nth          UTF-8 bytes / final zero padding

פירוש ותוקף

  • רצף הבייטים חייב להיות UTF-8 well-formed בצורה הקצרה ביותר התואם את דקדוק RFC 3629. תוצאת הפענוח כוללת רק Unicode scalar value בטווח U+0000..U+10FFFF, ללא טווח ה-surrogate ‏U+D800..U+DFFF.
  • גם U+FEFF בתחילת ה-Payload (רצף הבייטים UTF-8 ‏EF BB BF) נחשב לאותו תו כמו U+FEFF בכל מקום אחר, והוא מותר. אין מטפלים ב-signature (BOM) של U+FEFF בתחילה כפי שמתאר RFC 3629. לא מסירים אותו ולא מפרשים אותו כ-signature, אלא משמרים את המקור כפי שהוא.
  • נרמול Unicode אינו נאכף. משמרים כפי שהוא את רצף ה-scalar המפוענח של המקור.
  • רצף בייטים תקין של UTF-8 מונח ב-Payload ללא המרה. בתוך WORD הבייט העליון בא ראשון. אם מספר הבייטים אי-זוגי (קוד אי-זוגי), הבייט התחתון שאינו בשימוש ב-WORD האחרון חייב להיות 00.
  • מספר ה-Payload WORD הוא ceil(מספר בייטים/2). אם הקוד אי-זוגי והבייט התחתון של ה-WORD האחרון אינו 00, דוחים.

בסיס בתקנים

  • טווח ה-scalar של UTF-8 ורצפי בייטים well-formed נקבעים לפי RFC 3629.
  • זוג הקודים זוגי/אי-זוגי, zero padding, ‏TAG/Length של GEUL ופריסת WORD של 16 סיביות הם כללי ה-framing הקנוני של פורמט זה.

אורך

  • הסך הכול הוא מספר ה-WORD של TAG אחד, ה-Length TAG של ההרחבה (אם יש) וה-Payload. עד 14 WORD משתמשים באורך ישיר, ומ-15 WORD ומעלה באורך מורחב 1110·1111, וה-TAG של ההרחבה נכלל גם הוא בסך הכול (Length).
  • מחרוזת של 0 בייטים נכתבת כרשומה של WORD אחד בקוד הזוגי (TAG WORD בלבד) (Value).

דוגמה

  • A ‏(41) הוא בייט אחד (אי-זוגי), ולכן UTF8-TEXT-ODD ‏(0x073L), ‏Payload ‏4100, סך הכול 2 WORD, ‏LLLL=0001. השלם הוא 0731 4100.
  • מחרוזת ריקה היא WORD אחד 0720 (‏UTF8-TEXT-EVEN, ‏TAG WORD בלבד).

הטקסט המקורי של מסמך המפרט

זהו מסמך המפרט 0x00000000/codecs/0x00000720/latest.geul כפי שהוא נקרא באמצעות geul show (ספרות הקסדצימליות באותיות גדולות).

SPEC-VERSION 0x0001
DOC-ID 0x0426000000000000072000000000
BODY
#1 DECLARE 0x0720
#2 FIELD #1 rest
#3 BIND #1 "UTF8-TEXT-EVEN"
#4 BIND #2 "bytes"

למעלה מסמך ה-Codec של UTF8-TEXT-EVEN (‏0x072L). במסמך ה-Codec של חבר אחר (UTF8-TEXT-ODD) שונים רק ה-Codec ID ב-DOC-ID, יעד ה-DECLARE והשם הקשור ב-#1 (BIND).