UTF8-LANGUAGE-TEXT es un texto con idioma que contiene en un solo Value un registro de Value de idioma y texto UTF-8 (Codec 0x078L/0x079L).

ElementoValor
NombreUTF8-LANGUAGE-TEXT (grupo par/impar; el nombre de cada código figura en la tabla de miembros de abajo)
TAG ID0x078L·0x079L
Sección3 0011 (Value), desplazamiento C dentro de la sección = 24~25
KindValue · familia: TEXT
Descripción del índiceTexto con idioma. Registro de Value de idioma (LANGUAGE-SHORT-CODE o LANGUAGE-BCP47-CODE) y bytes UTF-8. Par o impar según los bytes del texto
Lado Hugovalue/text/utf8-language-text.md

Miembros

Esta página trata conjuntamente dos códigos que forman una pareja par/impar. El código par es el de valores con un número par de bytes y el impar, el de valores con un número impar de bytes (Registro y TAG WORD). Hay un documento de Codec por código. Los campos de ambos documentos son los mismos; solo difieren el destino de DECLARE y el nombre (BIND).

TAG IDNombreNúmero de bytesCodec IDDocumento de especificaciónTAG WORD
0x078LUTF8-LANGUAGE-TEXT-EVENpar0x000007800x00000000/codecs/0x00000780/0000 0111 1000 LLLL
0x079LUTF8-LANGUAGE-TEXT-ODDimpar0x000007900x00000000/codecs/0x00000790/0000 0111 1001 LLLL

Campos (documento de especificación)

El orden de los FIELD dentro del documento es el orden de los campos del Payload (documento de especificación de Codec).

OrdenCampo (BIND)FIELDAnchoFormato que recibe (CODEC)ENUM
1language#2registro07A0 LANGUAGE-SHORT-CODE, 0760 LANGUAGE-BCP47-CODE-EVEN, 0770 LANGUAGE-BCP47-CODE-ODD
2bytes#3resto de valor en bruto (0xFFFF)

UTF8-LANGUAGE-TEXT es un texto con idioma. Contiene en un solo Value un registro de Value de idioma y una secuencia de bytes UTF-8.

UTF8-TEXT es una cadena sin idioma (identificador, código, nombre de archivo, bytes originales), y este formato es un texto con idioma (nombre, título, lema, oración). Aunque tengan los mismos bytes, son valores distintos. “Paris” (cadena) y “Paris” (en francés) no son iguales. Es lo mismo que RDF separa xsd:string de rdf:langString.

Layout

  • Código: código directo de Value 0x078L (texto de bytes pares) y 0x079L (texto de bytes impares). Familia TEXT.
TAG WORD          0000 0111 100P LLLL      Codec 0x078L/0x079L (P = el texto tiene bytes impares)
[TAG de extensión de Length] cuando el total es de 15 WORD o más
Language          1 registro de Value LANGUAGE-SHORT-CODE o LANGUAGE-BCP47-CODE (incluido su TAG)
Text WORD 1st ... Nth             UTF-8 bytes / si es impar, el último es 0x00

Interpretación y validez

  • El Payload comienza con el registro de idioma. Se lee el primer WORD del Payload como TAG, y su Length marca el registro de idioma; el resto son los bytes del texto. El registro de idioma es obligatorio. Si no hay idioma, se usa UTF8-TEXT en lugar de este formato.
  • El registro de idioma es exactamente un registro completo de LANGUAGE-SHORT-CODE (0x07AL) o de LANGUAGE-BCP47-CODE (0x076L·0x077L). Si es de otro Codec o está incompleto, es invalid. La validez del registro de idioma sigue las reglas de su formato.
  • Pueden usarse ambos formatos de idioma. La regla para comparar si son el mismo idioma es la misma que en LABEL. El SHORT-CODE y el tag BCP 47 que el registro asocia a ese número son el mismo idioma.
  • No se usa zxx (sin contenido lingüístico). Esa cadena es UTF8-TEXT. und (idioma indeterminado) y mul (varios idiomas) son textos con idioma, por lo que se pueden usar.
  • Los bytes del texto siguen las mismas reglas que UTF8-TEXT. Deben ser UTF-8 bien formado, se admite también un U+FEFF inicial como carácter, no se impone normalización y se conserva tal cual el original. Quien compara o indexa lo ajusta a NFC para compararlo.
  • El número de bytes del texto es 2 × (número de WORD de Payload − número de WORD del registro de idioma) − P. P (bit menos significativo del Codec) solo indica la paridad de los bytes del texto. Si es impar, el byte inferior del último WORD debe ser 00.
  • Un texto vacío (0 bytes) se escribe con el código par y solo el registro de idioma.

Dónde se usa

  • Valor monolingualtext de Wikidata: {"text":"Bundesrepublik Deutschland","language":"de"} se convierte en un único valor de este formato. Entra tal cual en el Object de TRIPLE y en el Value de QUALIFIER. La propiedad, el rank y el qualifier los gestiona TRIPLE.
  • Object de LABEL y ALIAS. Este único valor contiene el nombre y el idioma.
  • Textos cuyo idioma está determinado, como los títulos de leyes y artículos.

Correspondencia de códigos de idioma (Wikidata)

  • No todos los códigos de idioma de Wikidata y Wikimedia son BCP 47 (por ejemplo, simple, map-bms). Se trasladan a tags BCP 47 mediante una tabla de correspondencias. Los códigos que no se pueden trasladar se tratan de forma distinta según su uso.
    • Valor (monolingualtext): se conserva el original del datavalue como UTF8-TEXT. El valor es parte de la proposición, así que descartarlo cambiaría la proposición.
    • Etiqueta, descripción y alias: se omiten y se dejan constancia en el informe. Estos Edge solo se sostienen si tienen idioma (un texto sin idioma es invalid), y el original permanece en los datos de origen.
  • Si el tag trasladado tiene número en el GEUL Language Registry, se escribe como LANGUAGE-SHORT-CODE; si no, como LANGUAGE-BCP47-CODE.

Longitud

  • El total es el número de WORD que suman 1 WORD de TAG, el TAG de extensión de Length (si lo hay), el registro de idioma y los WORD del texto. Hasta 14 WORD se usa longitud directa; desde 15 WORD, longitud extendida (Length).
  • El registro de idioma son 2 WORD si es SHORT-CODE y ceil(bytes del tag/2) + 1 WORD si es BCP 47 (de 2 WORD, zh-Hant 5 WORD).

Ejemplo

Todos los idiomas son ejemplos del formato LANGUAGE-BCP47-CODE. fr, ko y de tienen número en el registro, por lo que también pueden escribirse con SHORT-CODE (2 WORD).

ValorBytes del textoTotal de WORD
“Paris” (fr)5 (impar)0795 0761 6672 5061 7269 7300
"" (ko)00782 0761 6B6F
“Bundesrepublik Deutschland” (de)26 (par)078E 0011 0761 6465 4275 6E64 6573 7265 7075 626C 696B 2044 6575 7473 6368 6C61 6E64
  • “Paris”: TAG 0795 (Codec 0x079L, LLLL=0101, 6 WORD en total), idioma 0761 6672 (BCP 47 fr), texto 5061 7269 7300 (5 bytes, último 00).
  • El tercero tiene 17 WORD en total, por lo que usa la extensión de Length (LLLL=1110 de 078E, TAG de extensión 0011).

Fundamento normativo

Problemas abiertos

  • Comprobación en el schema de la gramática de los tags BCP 47. Por ahora solo se comprueba que sean ASCII y no estén vacíos.

Páginas relacionadas

Texto original del documento de especificación

Es el aspecto del documento de especificación 0x00000000/codecs/0x00000780/latest.geul leído con geul show (hexadecimal en mayúsculas).

SPEC-VERSION 0x0001
DOC-ID 0x0426000000000000078000000000
BODY
#1 DECLARE 0x0780
#2 FIELD #1 record
#3 FIELD #1 rest
#4 BIND #1 "UTF8-LANGUAGE-TEXT-EVEN"
#5 BIND #2 "language"
#6 BIND #3 "bytes"
#7 CODEC #2 0x07A0
#8 CODEC #2 0x0760
#9 CODEC #2 0x0770

Lo anterior es el documento de Codec de UTF8-LANGUAGE-TEXT-EVEN (0x078L). El documento de Codec del otro miembro (UTF8-LANGUAGE-TEXT-ODD) solo difiere en el Codec ID del DOC-ID, el destino de DECLARE y el nombre enlazado en #1 (BIND).