UTF8-TEXT הוא Value הנושא מחרוזת UTF-8 חסרת שפה. הוא משתמש בזוג הקודים 0x072L/0x073L לבייטים זוגיים ואי-זוגיים.
| פריט | ערך |
|---|---|
| שם | UTF8-TEXT (קבוצת זוגי/אי-זוגי. שם כל קוד בטבלת החברים להלן) |
| TAG ID | 0x072L·0x073L |
| קטע | 3 0011 (Value), היסט בתוך הקטע C = 18~19 |
| Kind | Value · משפחה: TEXT |
| תיאור באינדקס | רצף בייטים תקין של UTF-8 שאינו מרמז על נרמול. בייטים זוגיים ואי-זוגיים |
| בצד Hugo | value/text/utf8-text.md |
חברים
דף זה עוסק בשני קודים של זוג זוגי/אי-זוגי יחד. הקוד הזוגי הוא ערך שמספר הבייטים שלו זוגי, והקוד האי-זוגי הוא ערך שמספר הבייטים שלו אי-זוגי (רשומה ו-TAG WORD). מסמך Codec אחד לכל קוד. השדות בשני מסמכי ה-Codec זהים, ורק יעד ה-DECLARE והשם (BIND) שונים.
| TAG ID | שם | מספר בייטים | Codec ID | מסמך מפרט | TAG WORD |
|---|---|---|---|---|---|
0x072L | UTF8-TEXT-EVEN | זוגי | 0x00000720 | 0x00000000/codecs/0x00000720/ | 0000 0111 0010 LLLL |
0x073L | UTF8-TEXT-ODD | אי-זוגי | 0x00000730 | 0x00000000/codecs/0x00000730/ | 0000 0111 0011 LLLL |
שדות (מסמך מפרט)
סדר ה-FIELD במסמך הוא סדר שדות ה-Payload (מסמך המפרט של Codec).
| סדר | שדה (BIND) | FIELD | רוחב | פורמט מקבל (CODEC) | ENUM |
|---|---|---|---|---|---|
| 1 | bytes | #2 | שארית ערך גולמי (0xFFFF) |
UTF8-TEXT הוא Value הנושא רצף בייטים תקין של UTF-8 לפי RFC 3629. משתמשים בו למחרוזות חסרות שפה, כמו מזהים, קודים ושמות קבצים.
פריסה
- קוד: קוד ישיר של Value
0x072L(בייטים זוגיים) ו-0x073L(בייטים אי-זוגיים). משפחה TEXT. - מספר הבייטים נקבע לפי הסיבית הנמוכה ביותר של ה-Codec ומספר ה-Payload WORD. הוא
2 × מספר Payload WORD − הסיבית הנמוכה ביותר, ואין Byte Count (Value).
TAG WORD 0000 0111 001P LLLL Codec 0x072L/0x073L
[Length TAG הרחבה] כשהסך הכול 15 WORD ומעלה
Payload WORD 1st ... Nth UTF-8 bytes / final zero padding
פירוש ותוקף
- רצף הבייטים חייב להיות UTF-8 well-formed בצורה הקצרה ביותר התואם את דקדוק RFC 3629. תוצאת הפענוח כוללת רק Unicode scalar value בטווח
U+0000..U+10FFFF, ללא טווח ה-surrogate U+D800..U+DFFF. - גם U+FEFF בתחילת ה-Payload (רצף הבייטים UTF-8
EF BB BF) נחשב לאותו תו כמו U+FEFF בכל מקום אחר, והוא מותר. אין מטפלים ב-signature (BOM) של U+FEFF בתחילה כפי שמתאר RFC 3629. לא מסירים אותו ולא מפרשים אותו כ-signature, אלא משמרים את המקור כפי שהוא. - נרמול Unicode אינו נאכף. משמרים כפי שהוא את רצף ה-scalar המפוענח של המקור.
- רצף בייטים תקין של UTF-8 מונח ב-Payload ללא המרה. בתוך WORD הבייט העליון בא ראשון. אם מספר הבייטים אי-זוגי (קוד אי-זוגי), הבייט התחתון שאינו בשימוש ב-WORD האחרון חייב להיות
00. - מספר ה-Payload WORD הוא
ceil(מספר בייטים/2). אם הקוד אי-זוגי והבייט התחתון של ה-WORD האחרון אינו00, דוחים.
בסיס בתקנים
- טווח ה-scalar של UTF-8 ורצפי בייטים well-formed נקבעים לפי RFC 3629.
- זוג הקודים זוגי/אי-זוגי, zero padding, TAG/Length של GEUL ופריסת WORD של 16 סיביות הם כללי ה-framing הקנוני של פורמט זה.
אורך
- הסך הכול הוא מספר ה-WORD של TAG אחד, ה-Length TAG של ההרחבה (אם יש) וה-Payload. עד 14 WORD משתמשים באורך ישיר, ומ-15 WORD ומעלה באורך מורחב
1110·1111, וה-TAG של ההרחבה נכלל גם הוא בסך הכול (Length). - מחרוזת של 0 בייטים נכתבת כרשומה של WORD אחד בקוד הזוגי (TAG WORD בלבד) (Value).
דוגמה
A(41) הוא בייט אחד (אי-זוגי), ולכןUTF8-TEXT-ODD(0x073L), Payload 4100, סך הכול 2 WORD, LLLL=0001. השלם הוא0731 4100.- מחרוזת ריקה היא WORD אחד
0720(UTF8-TEXT-EVEN, TAG WORD בלבד).
הטקסט המקורי של מסמך המפרט
זהו מסמך המפרט 0x00000000/codecs/0x00000720/latest.geul כפי שהוא נקרא באמצעות geul show (ספרות הקסדצימליות באותיות גדולות).
SPEC-VERSION 0x0001
DOC-ID 0x0426000000000000072000000000
BODY
#1 DECLARE 0x0720
#2 FIELD #1 rest
#3 BIND #1 "UTF8-TEXT-EVEN"
#4 BIND #2 "bytes"
למעלה מסמך ה-Codec של UTF8-TEXT-EVEN (0x072L). במסמך ה-Codec של חבר אחר (UTF8-TEXT-ODD) שונים רק ה-Codec ID ב-DOC-ID, יעד ה-DECLARE והשם הקשור ב-#1 (BIND).