SILK — движок индексации и поиска, созданный специально для GEUL. Не декодируя документы GEUL целиком, он отвечает на запросы вида «в каких документах утверждается, что род занятий (P106) — физик (Q169470)?», используя только индексы записей.

СтатусРанняя разработка. Идёт проверка алгоритмов поиска; до первого релиза форматы могут измениться
ЯзыкGo
ВходАрхивы GEUL pack (без сжатия)
ЛицензияCC0
Репозиторийgithub.com/geul-org/silk

Основной тезис

Сложен не поиск — проблема в данных без структуры.

Традиционно: сначала записать → потом угадывать структуру (токенизация, эмбеддинги, анализ)
GEUL:        структурировать при записи → поиск сводится к сравнению целых чисел и просмотру диапазонов

В записи GEUL такие поля, как субъект, предикат, объект и язык, уже лежат на фиксированных позициях в виде целочисленных ID. SILK лишь извлекает эти поля и хранит их отсортированными.

Почему это подходит GEUL

Свойство GEULЧто получает SILK
Одно 16-битное TAG WORD содержит вид (Kind·Codec) и длинуЗаписи можно фильтровать и пропускать без кодовой книги
Поля Edge — это записи на фиксированных позицияхКлючи извлекаются по позиции. Отдельные правила разбора не нужны
Контролируемая лексика — целочисленные ID (Q, P, язык)Равенство проверяется сравнением целых чисел, без нормализации строк
pack состоит из неизменяемых объектов и поколенийИндекс тоже строится из неизменяемых сегментов и поколений, поэтому снимки безопасны
Преобразование детерминированоОдинаковый вход даёт одинаковый индекс. Результат инкрементального обновления можно побайтно сверить с индексом, построенным с нуля

Документы GEUL не пересортировываются. Индекс — лишь отсортированное представление (view); опубликованные байты, хеши содержимого и подписи остаются прежними.

Устройство

Вход

Архивы GEUL pack читаются через gogeul. Поскольку индекс указывает на байтовые позиции внутри data pack, набор должен хранить записи без сжатия (GEULCOMPRESS=none). Сжатие zstd предназначено для распространения и хранения; поисковый слой использует несжатые pack.

Спецификация партиций

Для каждого вида TAG ключ партиции и ключ сортировки объявляются как поля записи с фиксированной позицией. Ни предикаты, ни языки не зашиты в код; ниже приведены значения по умолчанию для документов Wikidata.

TAGКлюч партицииКлюч сортировки
TRIPLEПредикат (Predicate)Объект (Object)
QUALIFIERСвойство (Property)Значение (Value)
LABEL·ALIAS·DESCRIPTIONЯзыкСубъект (Subject)
SOURCEнетИсточник (Origin)
REFERENCE-NODEнетОбъект (Object)
  • Ключ — первые несколько байт (слот) записи поля. Если запись помещается в слот, равенство точное; если она длиннее, ключ лишь отбирает кандидатов.
  • Проверка спецификации отклоняет в качестве ключа партиции поля, позицию которых можно узнать только по кодовой книге, а также поля неограниченной длины.
  • Спецификация идентифицируется хешем содержимого. При её изменении перестраивается только соответствующий TAG.

Прогоны, инкременты и слияние

ЭлементНазначение
Отсортированный прогонНеизменяемый сегмент, отсортированный по (ключ сортировки, документ, смещение) в каждой партиции. Поиск — двоичный
Дописанный сегментСодержит только новые ревизии из инкрементального обновления (silk index update). Просматривается целиком
Битовая карта живых ревизийСтарые ревизии изменённых документов не удаляются, а помечаются как мёртвые
Слияние по уровням размераПрогоны одного уровня размера сливаются за O(n); если мёртвых строк много, слияние доходит до базового прогона
ПоколениеПоколение манифеста заменяется атомарно. Читатель фиксирует поколение, поэтому снимок сохраняется и во время слияния

Слияние можно ограничить периодами простоя (-idle, оставляя свободными 30% CPU и памяти). Оно останавливается на границах партиций и продолжается с контрольной точки.

Запросы

  1. Условие равенства: найти партицию и выполнить двоичный поиск по отсортированным прогонам.
  2. Несколько условий: соединение слиянием (merge join) по документу (субъекту). Все условия должны выполняться в пределах одного документа.
  3. Точная проверка: декодировать записи-кандидаты через gogeul, сравнить их по полям и прочитать Edge Id.
silk query -triple P106=Q169470 ARCHIVE
silk query -count -triple P31=Q5 -triple P106=Q169470 ARCHIVE
silk query -label ko -match LABEL:1=Q42 ARCHIVE

Замеры

Измерено на Wikidata Q1–Q10000 и 16 696 документах свойств (271 МБ, 7,07 млн индексных записей). 8 потоков, лучший результат из 7 запусков, без учёта времени запуска процесса.

Запросы

ЗапросДокументов в результатеПрежний способ (полный просмотр)Индекс SILK
P106=Q169470 (род занятий = физик)55~20ms0,12ms
P31=Q5 (человек)1 579~19ms~1ms
человек + физик54~38ms~1ms
LABEL ko9 746(невозможно)~4ms
  • Прежний способ полностью просматривал карту записей TRIPLE.
  • Для LABEL ko бо́льшая часть времени уходит на чтение 9 746 записей из pack для точной проверки.

Размер, сборка и инкременты

ПараметрЗначение
Размер индекса113MB (в среднем 15,7B на запись)
Сборка~3 с (разбор документов в одном потоке)
Инкрементальное обновление (изменено 4 217 ревизий)1,8 с
Результат инкрементаПосле 2 обновлений, 2 слияний и прерывания с возобновлением результаты запросов побайтно совпадают с индексом, построенным с нуля
Усиление записи1,31 накопительно (1,71 при полной пересборке каждый раз)
  • При экстраполяции на всю Wikidata (около 7,5 млрд записей) индекс займёт около 110 ГБ (оценка).
  • Цена — размер: примерно в 4 раза больше простой карты по 4 Б на запись. Следующие темы для изучения — сужение слота и сигнатуры сущностей.

Сканирование сигнатур (предварительный замер для сигнатур сущностей)

Время, пересчитанное на сканирование 100 млн 128-битных сигнатур по маске и шаблону (i7-14700K, AVX2).

РеализацияВремя
NumPy, 1 поток~1 с
Go, 1 поток~134ms
Go, 8 потоков~27ms
Go, 16–20 потоков~23ms (предел пропускной способности памяти)

Разницу создаёт не язык, а слитые циклы без промежуточных массивов и многопоточность.

Соотношение с векторным поиском

Это не замена, а разделение ролей.

SILKВекторный поиск
Обрабатываемые запросыСтруктурированные запросы (условия по предикату, объекту, языку, сущности)Смысловое сходство, которое трудно выразить структурой
РезультатМножество, удовлетворяющее условиям (точно)Ранжирование по сходству (приближённо)
ПредпосылкаДанные должны быть структурированы в GEULДостаточно исходного текста или эмбеддингов

Для запросов, ищущих факты, выраженные в GEUL, SILK точен и дёшев. Для неструктурированного исходного текста или запросов «найди похожее» лучше подходит векторный поиск.

Место в системе и следующие шаги

SILK — это поисковая технология, которую использует WMS (координатор хранения и извлечения GEUL). Оценку того, верно ли найденное утверждение, выполняет отдельный движок вынесения суждений.

Следующий шагСодержание
Сигнатуры сущностейБитовая строка фиксированной ширины 16–128 бит для каждой сущности. Поля объявляет пользователь (перечисление, one-hot, Bloom, префикс, диапазон). Это приближённый фильтр первого уровня, за которым следует точная проверка. Сейчас на стадии планирования (частично есть в библиотеке, в индекс ещё не встроено)
Спецификация как документ GEULОбъявлять JSON-спецификацию как документ GEUL и читать раскладку из документов спецификации кодеков (DECLARE·FIELD)
Индекс сборки утвержденийИндекс Target, который сразу находит TRIPLE, на который указывает QUALIFIER или SOURCE
Подготовка к большим объёмамВерхние пределы памяти при сборке и слиянии, распараллеливание разбора при сборке

Первоначальный замысел (2026-03) — проект на Python и NumPy, сканирующий 64-битные идентификаторы сущностей побитовым AND. Теперь это движок на Go, который напрямую индексирует записи GEUL.

Репозиторий и лицензия

  • Репозиторий: github.com/geul-org/silk
  • Установка: go install github.com/geul-org/silk/cmd/silk@latest
  • Лицензия: наши собственные материалы распространяются по CC0 1.0. Сторонние компоненты подчиняются своим лицензиям (NOTICE в репозитории).