UTF8-LANGUAGE-TEXT — текст с указанием языка: одна запись языкового Value и текст UTF-8 в одном Value (Codec 0x078L/0x079L).
| Пункт | Значение |
|---|---|
| Имя | UTF8-LANGUAGE-TEXT (группа «чётный/нечётный». Имена по кодам — в таблице участников ниже) |
| TAG ID | 0x078L·0x079L |
| Раздел | 3 0011 (Value), смещение C внутри раздела = 24~25 |
| Kind | Value · семейство: TEXT |
| Описание в индексе | Текст с указанием языка. Запись языкового Value (LANGUAGE-SHORT-CODE или LANGUAGE-BCP47-CODE) и байты UTF-8. Чётное и нечётное число байтов текста |
| Сторона Hugo | value/text/utf8-language-text.md |
Участники
Эта страница охватывает пару кодов «чётный/нечётный». У чётного кода число байтов чётное, у нечётного — нечётное (запись и TAG WORD). Документ Codec заведён на каждый код. Поля в двух документах Codec совпадают, различаются только цель DECLARE и имя (BIND).
| TAG ID | Имя | Число байтов | Codec ID | Документ спецификации | TAG WORD |
|---|---|---|---|---|---|
0x078L | UTF8-LANGUAGE-TEXT-EVEN | чётное | 0x00000780 | 0x00000000/codecs/0x00000780/ | 0000 0111 1000 LLLL |
0x079L | UTF8-LANGUAGE-TEXT-ODD | нечётное | 0x00000790 | 0x00000000/codecs/0x00000790/ | 0000 0111 1001 LLLL |
Поля (документ спецификации)
Порядок FIELD в документе — это порядок полей Payload (документ спецификации Codec).
| Порядок | Поле (BIND) | FIELD | Ширина | Принимаемый формат (CODEC) | ENUM |
|---|---|---|---|---|---|
| 1 | language | #2 | запись | 07A0 LANGUAGE-SHORT-CODE, 0760 LANGUAGE-BCP47-CODE-EVEN, 0770 LANGUAGE-BCP47-CODE-ODD | |
| 2 | bytes | #3 | остаток, простое значение (0xFFFF) |
UTF8-LANGUAGE-TEXT — текст с указанием языка. Он хранит в одном Value запись языкового Value и последовательность байтов UTF-8.
UTF8-TEXT — строка без языка (идентификатор, код, имя файла, исходные байты), а этот формат — текст с языком (имя, заголовок, девиз, предложение). Даже при одинаковых байтах это разные значения. «Paris» (строка) и «Paris» (французский) не равны. Так же RDF разделяет xsd:string и rdf:langString.
Раскладка
- Код: прямой код Value
0x078L(текст с чётным числом байтов) и0x079L(текст с нечётным числом байтов). Семейство TEXT.
TAG WORD 0000 0111 100P LLLL Codec 0x078L/0x079L (P = у текста нечётное число байтов)
[расширяющий Length TAG] если всего 15 WORD и более
Language одна запись Value LANGUAGE-SHORT-CODE или LANGUAGE-BCP47-CODE (вместе с TAG)
Text WORD 1st ... Nth UTF-8 bytes / при нечётном числе последний 0x00
Интерпретация и действительность
- Payload начинается с языковой записи. Первый WORD Payload читается как TAG, и участок длиной по его Length — языковая запись, остальное — байты текста. Языковая запись обязательна. Если языка нет, используется не этот формат, а UTF8-TEXT.
- Языковая запись — ровно одна полная запись LANGUAGE-SHORT-CODE (
0x07AL) или LANGUAGE-BCP47-CODE (0x076L·0x077L). Другой Codec или неполная запись — invalid. Действительность языковой записи определяется правилами её формата. - Можно использовать оба языковых формата. Правило сравнения «тот же ли язык» такое же, как у LABEL. SHORT-CODE и тег BCP 47, связанный в реестре с этим номером, обозначают один язык.
zxx(нет языкового содержимого) не используется. Такая строка — UTF8-TEXT.und(язык не определён) иmul(несколько языков) — тексты с языком, поэтому их использовать можно.- Байты текста подчиняются тем же правилам, что и UTF8-TEXT. Они должны быть well-formed UTF-8, начальный U+FEFF допускается как символ, нормализация не навязывается, текст сохраняется как в оригинале. Сторона, которая сравнивает и индексирует, приводит их к NFC для сравнения.
- Число байтов текста равно
2 × (число Payload WORD − число WORD языковой записи) − P. P (младший бит Codec) показывает лишь чётность числа байтов текста. Если оно нечётное, младший byte последнего WORD должен быть00. - Пустой текст (0 byte) — это чётный код только с языковой записью.
Где применяется
- Значение monolingualtext из Викиданных:
{"text":"Bundesrepublik Deutschland","language":"de"}становится одним таким значением. Оно входит как Object в TRIPLE и как Value в QUALIFIER. Свойство, rank и qualifier обслуживает TRIPLE. - Object в LABEL и ALIAS. Имя и язык хранит это одно значение.
- Тексты с определённым языком, например названия законов и статей.
Соответствие языковых кодов (Викиданные)
- Не все языковые коды Викиданных и Викимедиа являются BCP 47 (например,
simple,map-bms). Они переводятся в теги BCP 47 по таблице соответствия. Коды, которые перевести нельзя, обрабатываются по-разному в зависимости от назначения.- Значение (monolingualtext): исходный datavalue сохраняется как UTF8-TEXT. Значение — часть утверждения, и если его отбросить, утверждение изменится.
- Метка, описание, псевдоним: пропускаются и фиксируются в отчёте. Эти Edge существуют только при наличии языка (текст без языка — invalid), а исходный текст остаётся в исходных данных.
- Если у полученного тега есть номер в GEUL Language Registry, используется LANGUAGE-SHORT-CODE, иначе — LANGUAGE-BCP47-CODE.
Длина
- Всего — число WORD: 1 WORD TAG, расширяющий Length TAG (если есть), языковая запись и WORD текста. До 14 WORD используется прямая длина, от 15 WORD — расширенная (Length).
- Языковая запись — 2 WORD для SHORT-CODE и
ceil(байты тега/2) + 1WORD для BCP 47 (de— 2 WORD,zh-Hant— 5 WORD).
Примеры
Во всех примерах язык задан в формате LANGUAGE-BCP47-CODE. У fr, ko, de есть номера в реестре, поэтому их можно записать и как SHORT-CODE (2 WORD).
| Значение | Байты текста | Всего WORD |
|---|---|---|
| “Paris” (fr) | 5 (нечётное) | 0795 0761 6672 5061 7269 7300 |
| "" (ko) | 0 | 0782 0761 6B6F |
| “Bundesrepublik Deutschland” (de) | 26 (чётное) | 078E 0011 0761 6465 4275 6E64 6573 7265 7075 626C 696B 2044 6575 7473 6368 6C61 6E64 |
- “Paris”: TAG
0795(Codec0x079L,LLLL=0101, всего 6 WORD), язык0761 6672(BCP 47fr), текст5061 7269 7300(5 byte, последний00). - Третий пример занимает всего 17 WORD, поэтому используется расширение Length (
LLLL=1110в078E, расширяющий TAG0011).
Основание в стандартах
- Языковой тег: RFC 5646 (BCP 47).
zxx,und,mul— специальные коды IANA Language Subtag Registry. - Текст: RFC 3629.
- Различие между строкой и текстом с языком: RDF 1.1 Concepts — language-tagged string.
Открытые проблемы
- Проверка грамматики тега BCP 47 в schema. Сейчас проверяется лишь, что это ASCII и строка не пуста.
Связанные страницы
Исходный текст документа спецификации
Так выглядит документ спецификации 0x00000000/codecs/0x00000780/latest.geul, прочитанный командой geul show (шестнадцатеричные цифры заглавные).
SPEC-VERSION 0x0001
DOC-ID 0x0426000000000000078000000000
BODY
#1 DECLARE 0x0780
#2 FIELD #1 record
#3 FIELD #1 rest
#4 BIND #1 "UTF8-LANGUAGE-TEXT-EVEN"
#5 BIND #2 "language"
#6 BIND #3 "bytes"
#7 CODEC #2 0x07A0
#8 CODEC #2 0x0760
#9 CODEC #2 0x0770
Выше — документ Codec для UTF8-LANGUAGE-TEXT-EVEN (0x078L). В документах Codec других участников (UTF8-LANGUAGE-TEXT-ODD) различаются только Codec ID в DOC-ID, цель DECLARE и имя, привязанное в #1 (BIND).