GEUL не отвергает Викиданные. Он стоит на них.
Без словаря язык не создать
Любому языку нужен словарный запас.
У корейского есть корейский словарь. У английского есть английский словарь. У языков программирования есть стандартные библиотеки.
То же относится и к искусственному языку. Список сущностей, список отношений, список свойств. Какой код обозначает «Samsung Electronics» в этом языке? Какой код обозначает отношение «столица»? Без словарного запаса невозможно написать предложение.
Как создать этот словарный запас? Есть два пути.
Построить с нуля. Или использовать то, что уже существует.
Построить с нуля: урок CYC
Проект CYC начался в 1984 году.
Его целью было формализовать и сохранить общие знания здравого смысла. Онтология проектировалась с нуля. Определялись понятия, определялись отношения, определялись правила. Эксперты вводили их вручную.
Прошло тридцать лет. Были введены миллионы правил.
Но этого было катастрофически недостаточно для охвата мирового знания. Для каждой предметной области требовалось проектировать отдельную онтологию. Поддерживать согласованность между областями было сложно. При появлении каждого нового понятия онтологию приходилось пересматривать. Пересмотры часто вступали в противоречие с существующими правилами.
CYC продемонстрировал не свой потенциал, а свои пределы. Проектирование мировой онтологии небольшой группой экспертов становится неподдерживаемым при масштабировании.
То, что уже существует: Викиданные
Викиданные (Wikidata) были запущены в 2012 году.
Структурированная база знаний, управляемая фондом «Викимедиа». Редактировать может каждый. По дампу от 19 октября 2026 года — около 121,97 миллиона сущностей. Из них 13 991 — свойства. Около 1,78 миллиарда утверждений. Метки с более чем 600 языковыми кодами.
Масштаб, которого CYC не смог достичь за 30 лет с командой экспертов, Викиданные достигли за 14 лет силами сообщества.
Посмотрим, что предоставляют Викиданные.
Идентификаторы сущностей. Q-ID. Samsung Electronics — это Q20718. Сеул — Q8684. Ли Сунсин — Q217300. Глобально уникальные идентификаторы. Не зависят от языка.
Идентификаторы свойств. P-ID. «Расположение штаб-квартиры» — P159. «Дата основания» — P571. «Население» — P1082. Отношения и свойства идентифицируются уникально.
Иерархическая структура. P31 (instance of) и P279 (subclass of) формируют иерархию типов. «Сеул → город → населённый пункт → географический объект». Мировая система классификации выражается через эти два свойства.
Многоязычные метки. Корейская метка Q20718 — «삼성전자», английская — «Samsung Electronics», японская — «サムスン電子». Один идентификатор, разные названия на каждом языке.
Проверка сообществом. Редакторы со всего мира. Обнаружение вандализма. Требование источников. Не идеально, но масштабируется лучше, чем небольшая группа экспертов.
Нет причин строить всё это с нуля.
GEUL переносит Викиданные как есть
GEUL не придумывает для Викиданных новых идентификаторов. Он использует их как есть.
В грамматике GEUL есть отдельные Reference для Викиданных. WIKIDATA-QID записывает число из Q-ID, а WIKIDATA-PID — число из P-ID как беззнаковое целое. Q42 — это целое 42. P31 — целое 31. Это целые числа, а не строки, поэтому для сравнения на равенство нормализация не нужна.
Путь выглядит так.
Шаг 1: загрузка без потерь. wikipg загружает JSON-дамп Викиданных в PostgreSQL. Он сохраняет сущности, метки, описания, псевдонимы, утверждения, квалификаторы, источники и ссылки на сайты в порядке дампа и хранит каждую строку дампа дословно. Записывается и сам файл дампа (URL, размер, контрольные суммы, коммит загрузчика). Только если ничего не выброшено, потом можно проверить, что перенесено, а что пропущено.
Шаг 2: один документ на сущность. wikigeul читает загруженный дамп и создаёт по одному документу GEUL на каждый элемент и каждое свойство. В документе — метки, описания, псевдонимы, утверждения с квалификаторами и источниками, ссылки на сайты. Все языки лежат в одном документе. По языкам ничего не делится.
У всех документов один Issuer — 0x00010000 (wikidata.geul.org).
ID документа — 64 бита. Старший байт — буква вида сущности, младшие 56 бит — её номер.
Документ Q42 — 0x510000000000002a. 0x51 — это Q, 0x2a — 42.
Документ P31 — 0x500000000000001f.
По одному hex видно, к какой сущности относится документ.
Настоящий документ целиком можно прочитать в Пример: элемент Викиданных.
Шаг 3: цитирование целыми числами. Внутри утверждений элементы и свойства записываются целыми числами. «Q42 — человек (Q5)» — это TRIPLE из трёх целых: P31, Q42 и Q5. Это целое и есть номер в ID документа. Из любого утверждения можно сразу перейти к документу того, что в нём названо.
Источники тоже переносятся. Один источник (reference) Викиданных становится одним SOURCE в GEUL. В заголовке каждого документа записано, из какого дампа и каким инструментом (коммитом) он получен.
Шаг 4: публикация в архивах pack. Нельзя опубликовать 120 миллионов сущностей как 120 миллионов файлов. Документы собираются в архив pack для каждого Issuer, записи сжимаются zstd. Читающий берёт только нужные документы, а не весь архив.
Сейчас преобразование проверяется на диапазоне Q1–Q10000. Обратное преобразование туда и обратно, архив и полнота проверяются сплошь. Полное преобразование и публикация — следующий шаг.
SIDX — следующий шаг
Q-ID — это номер, выданный в порядке регистрации. Близкие номера не означают близкого смысла. Q42 — Дуглас Адамс, Q41 — Греция, Q43 — Турция.
GEUL исследует и другой вид идентификаторов. SIDX (Semantic-aligned Index) — семантически выровненный идентификатор, дающий близкие значения близким по смыслу объектам. Цель — заложить смысл в сами биты, чтобы по одним старшим битам было видно, человек это, место или организация.
SIDX пока остаётся исследованием до v1. Грамматика лишь резервирует для него место — Reference GEUL-SIDX. Ширина не определена. Рассматриваются 64 бита, 256 бит и другие варианты; выбор сделают по статистике. Ни один SIDX ещё не назначен. Поэтому нынешние документы Викиданных пишутся с Q-ID, без SIDX. Когда SIDX будут назначены, существующий идентификатор и SIDX одного объекта свяжут через SAME-NODE.
Здесь Викиданные снова вступают в дело. Исследование SIDX исходит из системы классификации и частотной статистики Викиданных. Рассматриваемое направление таково.
Извлечение типов. Собрать Q-ID, используемые как объекты P31 (instance of). Это список «типов». «Человек (Q5)», «город (Q515)», «государство (Q6256)», «предприятие (Q4830453)»… Посчитать число экземпляров каждого типа.
Построение иерархии. Построить дерево по отношениям P279 (subclass of) между типами. «Город → населённый пункт → географический объект → сущность». Как обращаться с множественным наследованием, когда тип относится к нескольким родительским типам, — открытый вопрос.
Назначение битов. Структура дерева становится отношением префиксов битовых шаблонов. Подтипы одного родителя разделяют общий префикс. «Город» и «деревня» разделяют префикс «населённого пункта». Типы с большим числом экземпляров получают более короткий префикс, то есть более широкое пространство номеров. Та же идея, что у кодирования Хаффмана.
Это пока гипотеза. Остаются нерешённые задачи. Назначенный SIDX не должен сдвигаться при изменении статистики. Одно и то же значение никогда не должно достаться двум объектам. Нужно также решить, в каком формате публиковать кодовую книгу и реестр.
Что предоставляют Викиданные
На этом пути Викиданные предоставляют три вещи.
Идентификаторы. Ответ на вопрос «на что в мире мы указываем?». Q-ID и P-ID как есть становятся целочисленными Reference в GEUL. Знания Викиданных можно перенести в документы GEUL, а идентификаторы Викиданных можно прямо прочитать из документов GEUL.
Система классификации. Ответ на вопрос «какие виды вещей существуют в мире?». В CYC её проектировала команда экспертов. GEUL берёт её из Викиданных. Цель исследования — превратить систему классификации, согласованную редакторами за 14 лет, в битовое дерево SIDX.
Частотная статистика. Ответ на вопрос «сколько вещей каждого вида существует в мире?». Если людей 9 миллионов, а астероидов 1 миллион, тип «человек» должен получить более эффективный код, чем «астероид». Реальная частота использования становится основой проектирования кодов.
Чего Викиданные не предоставляют
Викиданные — словарь. Словарь — не язык.
Словарь даёт список слов. Язык даёт грамматику для построения предложений из слов.
То, чего Викиданные не предоставляют, добавляет GEUL.
От факта к утверждению. Базовая единица Викиданных — факт (Fact). «Население Сеула — 9,74 миллиона». Это либо истина, либо ложь.
Базовая единица GEUL — утверждение (Claim). «По данным A, население Сеула составляет около 9,74 миллиона. (уверенность 0,9, на 2023 год)» Кто утверждает, насколько уверенно и на какой момент — всё это входит в утверждение. Эта разница подробно обсуждается в Почему утверждения, а не факты.
Глагольные квалификаторы. В Викиданных нет места для выражения тонкостей глаголов. В «Ли Сунсин победил в битве при Мённяне» где время, вид, эвиденциальность, наклонение и уверенность? В Викиданных это частично выражается квалификаторами, но систематической системы глагольной квалификации нет.
GEUL проектирует систему глагольной квалификации, которая структурно прикрепляет к каждому утверждению такие измерения, как время, вид, полярность, эвиденциальность, наклонение, волитивность и уверенность. Это тоже работа до v1.
16-битные слова. Представления Викиданных не проектировались для контекстных окон. JSON-LD, RDF, SPARQL. Машиночитаемы, но не эффективны по токенам.
GEUL — последовательность 16-битных слов. Первое слово записи (TAG WORD) сообщает вид и длину этой записи. Записи можно фильтровать и пропускать даже без кодовой книги. Это система представления, построенная на предпосылке конечности контекстного окна. Это уже обсуждалось в Почему не MD/JSON/XML.
Контекстный конвейер. Викиданные — хранилище. GEUL — часть конвейера. Прояснение, проверка, фильтрация, проверка согласованности, исследование — всё, что обсуждалось в этой серии, работает поверх структурированного представления GEUL. У Викиданных нет такого конвейера. И он им не нужен. У Викиданных другая цель.
Отношение между словарём и языком
Итак:
Викиданные — словарь мира. Какие сущности существуют, какие отношения существуют, какие есть типы и как они классифицируются. Сообщество строило это 14 лет.
GEUL кладёт поверх этого словаря грамматику. Идентификаторы словаря → целочисленные Reference GEUL. Статьи словаря → по одному документу GEUL на сущность. Система классификации и частотная статистика словаря → материал для исследования SIDX.
И добавляет то, чего в словаре нет. Структуру утверждений. Глагольную квалификацию. 16-битные слова. Контекстный конвейер.
Можно ли построить GEUL без Викиданных? Можно. Спроектировать онтологию с нуля, как CYC. Но это пытались сделать 40 лет назад, и результаты известны.
Поскольку Викиданные существуют, GEUL не проектирует онтологию. Он переносит уже существующий консенсус.
Итог
Искусственному языку нужен словарь. Строить его с нуля пытался CYC, и 30 лет показали пределы этого подхода.
Викиданные — словарь мира: около 120 миллионов сущностей и около 1,78 миллиарда утверждений (дамп октября 2026 года). Сообщество строило его 14 лет.
GEUL переносит этот словарь как есть. wikipg загружает дамп в PostgreSQL без потерь, а wikigeul превращает каждую сущность в один документ GEUL со всеми языками. Элементы и свойства цитируются целыми числами, документы публикуются в архивах pack.
SIDX — следующее исследование. Оно проектирует семантически выровненный идентификатор на основе частот экземпляров P31 и иерархии P279. Ни ширина, ни назначения пока не определены.
Викиданные — словарь, GEUL — язык. Словарь даёт слова, язык даёт грамматику. GEUL строит поверх словаря Викиданных структуру утверждений, глагольную квалификацию, 16-битные слова и контекстный конвейер.
GEUL не отвергает Викиданные. Он стоит на них.