UTF8-TEXT ist ein Value, der eine UTF-8-Zeichenkette ohne Sprache enthält. Er verwendet das Codepaar 0x072L/0x073L für gerade und ungerade Bytes.

EintragWert
NameUTF8-TEXT (gerade/ungerade Paarung. Die Namen je Code stehen in der Mitgliedertabelle unten)
TAG ID0x072L·0x073L
Abschnitt3 0011 (Value), Offset im Abschnitt C = 18~19
KindValue · Familie: TEXT
IndexbeschreibungGültige UTF-8-Bytefolge, die keine Normalisierung impliziert. Gerade/ungerade Bytes
Hugo-Pfadvalue/text/utf8-text.md

Mitglieder

Diese Seite behandelt die zwei Codes einer gerade/ungerade-Paarung gemeinsam. Der gerade Code gilt für Werte mit gerader Byteanzahl, der ungerade Code für Werte mit ungerader Byteanzahl (Record und TAG WORD). Es gibt ein Codec-Dokument je Code. Die Felder beider Codec-Dokumente sind gleich; nur das DECLARE-Ziel und der Name (BIND) unterscheiden sich.

TAG IDNameByteanzahlCodec IDSpezifikationsdokumentTAG WORD
0x072LUTF8-TEXT-EVENgerade0x000007200x00000000/codecs/0x00000720/0000 0111 0010 LLLL
0x073LUTF8-TEXT-ODDungerade0x000007300x00000000/codecs/0x00000730/0000 0111 0011 LLLL

Felder (Spezifikationsdokument)

Die Reihenfolge der FIELDs im Dokument ist die Reihenfolge der Payload-Felder (Codec-Spezifikationsdokument).

ReihenfolgeFeld (BIND)FIELDBreiteAkzeptiertes Format (CODEC)ENUM
1bytes#2restliche Rohwert-Bytes (0xFFFF)

UTF8-TEXT ist ein Value, der eine gültige UTF-8-Bytefolge nach RFC 3629 enthält. Er wird für Zeichenketten ohne Sprache verwendet, etwa Bezeichner, Codes und Dateinamen.

Layout

  • Code: direkter Value-Code 0x072L (gerade Bytes) und 0x073L (ungerade Bytes). Familie TEXT.
  • Die Byteanzahl ergibt sich aus dem niedrigstwertigen Bit des Codecs und der Anzahl der Payload-WORDs. Sie ist 2 × Anzahl der Payload-WORDs − niedrigstwertiges Bit; einen Byte Count gibt es nicht (Value).
TAG WORD          0000 0111 001P LLLL      Codec 0x072L/0x073L
[Length-Erweiterungs-TAG] bei insgesamt 15 WORDs oder mehr
Payload WORD 1st ... Nth          UTF-8 bytes / final zero padding

Interpretation und Gültigkeit

  • Die Bytefolge muss wohlgeformtes UTF-8 in kürzester Form nach der Grammatik von RFC 3629 sein. Das Dekodierergebnis enthält nur Unicode Scalar Values im Bereich U+0000..U+10FFFF und keine Surrogate im Bereich U+D800..U+DFFF.
  • Ein U+FEFF am Anfang der Payload (UTF-8-Bytefolge EF BB BF) gilt als dasselbe Zeichen wie U+FEFF an anderer Stelle und ist erlaubt. Die in RFC 3629 beschriebene Behandlung eines führenden U+FEFF als Signatur (BOM) findet nicht statt. Es wird weder entfernt noch als Signatur gedeutet, sondern unverändert bewahrt.
  • Eine Unicode-Normalisierung wird nicht erzwungen. Die dekodierte Original-Scalar-Sequenz bleibt unverändert erhalten.
  • Die gültige UTF-8-Bytefolge wird ohne Umwandlung in die Payload gelegt. Innerhalb eines WORDs steht das obere Byte zuerst. Bei ungerader Byteanzahl (ungerader Code) muss das ungenutzte untere Byte des letzten WORDs 00 sein.
  • Die Anzahl der Payload-WORDs ist ceil(Byteanzahl/2). Ist der Code ungerade und das untere Byte des letzten WORDs nicht 00, wird der Wert abgelehnt.

Normative Grundlage

  • Der Scalar-Bereich von UTF-8 und wohlgeformte Bytefolgen folgen RFC 3629.
  • Das gerade/ungerade Codepaar, das Zero Padding sowie TAG/Length von GEUL und die Anordnung in 16-Bit-WORDs sind die kanonischen Framing-Regeln dieses Formats.

Länge

  • Die Gesamtlänge ist die Summe der WORDs aus TAG (1 WORD), Length-Erweiterungs-TAG (falls vorhanden) und Payload. Bis 14 WORDs wird die direkte Länge verwendet, ab 15 WORDs die erweiterte Länge 1110·1111; auch der Erweiterungs-TAG zählt zur Gesamtanzahl (Length).
  • Eine Zeichenkette mit 0 Bytes wird als Record des geraden Codes mit 1 WORD (nur das TAG WORD) geschrieben (Value).

Beispiel

  • A (41) hat 1 Byte (ungerade) und damit UTF8-TEXT-ODD (0x073L), Payload 4100, insgesamt 2 WORDs, LLLL=0001. Das Ganze ist 0731 4100.
  • Die leere Zeichenkette ist 0720 (UTF8-TEXT-EVEN, nur das TAG WORD) mit 1 WORD.

Originaltext des Spezifikationsdokuments

So sieht das Spezifikationsdokument 0x00000000/codecs/0x00000720/latest.geul aus, gelesen mit geul show (Hexadezimalwerte in Großbuchstaben).

SPEC-VERSION 0x0001
DOC-ID 0x0426000000000000072000000000
BODY
#1 DECLARE 0x0720
#2 FIELD #1 rest
#3 BIND #1 "UTF8-TEXT-EVEN"
#4 BIND #2 "bytes"

Oben steht das Codec-Dokument von UTF8-TEXT-EVEN (0x072L). Das Codec-Dokument des anderen Mitglieds (UTF8-TEXT-ODD) unterscheidet sich nur in der Codec ID der DOC-ID, im DECLARE-Ziel und im unter #1 gebundenen Namen (BIND).