SILK — движок индексации и поиска, созданный специально для GEUL. Не декодируя документы GEUL целиком, он отвечает на запросы вида «в каких документах утверждается, что род занятий (P106) — физик (Q169470)?», используя только индексы записей.
| Статус | Ранняя разработка. Идёт проверка алгоритмов поиска; до первого релиза форматы могут измениться |
| Язык | Go |
| Вход | Архивы GEUL pack (без сжатия) |
| Лицензия | CC0 |
| Репозиторий | github.com/geul-org/silk |
Основной тезис
Сложен не поиск — проблема в данных без структуры.
Традиционно: сначала записать → потом угадывать структуру (токенизация, эмбеддинги, анализ)
GEUL: структурировать при записи → поиск сводится к сравнению целых чисел и просмотру диапазонов
В записи GEUL такие поля, как субъект, предикат, объект и язык, уже лежат на фиксированных позициях в виде целочисленных ID. SILK лишь извлекает эти поля и хранит их отсортированными.
Почему это подходит GEUL
| Свойство GEUL | Что получает SILK |
|---|---|
| Одно 16-битное TAG WORD содержит вид (Kind·Codec) и длину | Записи можно фильтровать и пропускать без кодовой книги |
| Поля Edge — это записи на фиксированных позициях | Ключи извлекаются по позиции. Отдельные правила разбора не нужны |
| Контролируемая лексика — целочисленные ID (Q, P, язык) | Равенство проверяется сравнением целых чисел, без нормализации строк |
| pack состоит из неизменяемых объектов и поколений | Индекс тоже строится из неизменяемых сегментов и поколений, поэтому снимки безопасны |
| Преобразование детерминировано | Одинаковый вход даёт одинаковый индекс. Результат инкрементального обновления можно побайтно сверить с индексом, построенным с нуля |
Документы GEUL не пересортировываются. Индекс — лишь отсортированное представление (view); опубликованные байты, хеши содержимого и подписи остаются прежними.
Устройство
Вход
Архивы GEUL pack читаются через gogeul. Поскольку индекс указывает на байтовые позиции внутри data pack, набор должен хранить записи без сжатия (GEULCOMPRESS=none). Сжатие zstd предназначено для распространения и хранения; поисковый слой использует несжатые pack.
Спецификация партиций
Для каждого вида TAG ключ партиции и ключ сортировки объявляются как поля записи с фиксированной позицией. Ни предикаты, ни языки не зашиты в код; ниже приведены значения по умолчанию для документов Wikidata.
| TAG | Ключ партиции | Ключ сортировки |
|---|---|---|
| TRIPLE | Предикат (Predicate) | Объект (Object) |
| QUALIFIER | Свойство (Property) | Значение (Value) |
| LABEL·ALIAS·DESCRIPTION | Язык | Субъект (Subject) |
| SOURCE | нет | Источник (Origin) |
| REFERENCE-NODE | нет | Объект (Object) |
- Ключ — первые несколько байт (слот) записи поля. Если запись помещается в слот, равенство точное; если она длиннее, ключ лишь отбирает кандидатов.
- Проверка спецификации отклоняет в качестве ключа партиции поля, позицию которых можно узнать только по кодовой книге, а также поля неограниченной длины.
- Спецификация идентифицируется хешем содержимого. При её изменении перестраивается только соответствующий TAG.
Прогоны, инкременты и слияние
| Элемент | Назначение |
|---|---|
| Отсортированный прогон | Неизменяемый сегмент, отсортированный по (ключ сортировки, документ, смещение) в каждой партиции. Поиск — двоичный |
| Дописанный сегмент | Содержит только новые ревизии из инкрементального обновления (silk index update). Просматривается целиком |
| Битовая карта живых ревизий | Старые ревизии изменённых документов не удаляются, а помечаются как мёртвые |
| Слияние по уровням размера | Прогоны одного уровня размера сливаются за O(n); если мёртвых строк много, слияние доходит до базового прогона |
| Поколение | Поколение манифеста заменяется атомарно. Читатель фиксирует поколение, поэтому снимок сохраняется и во время слияния |
Слияние можно ограничить периодами простоя (-idle, оставляя свободными 30% CPU и памяти). Оно останавливается на границах партиций и продолжается с контрольной точки.
Запросы
- Условие равенства: найти партицию и выполнить двоичный поиск по отсортированным прогонам.
- Несколько условий: соединение слиянием (merge join) по документу (субъекту). Все условия должны выполняться в пределах одного документа.
- Точная проверка: декодировать записи-кандидаты через gogeul, сравнить их по полям и прочитать Edge Id.
silk query -triple P106=Q169470 ARCHIVE
silk query -count -triple P31=Q5 -triple P106=Q169470 ARCHIVE
silk query -label ko -match LABEL:1=Q42 ARCHIVE
Замеры
Измерено на Wikidata Q1–Q10000 и 16 696 документах свойств (271 МБ, 7,07 млн индексных записей). 8 потоков, лучший результат из 7 запусков, без учёта времени запуска процесса.
Запросы
| Запрос | Документов в результате | Прежний способ (полный просмотр) | Индекс SILK |
|---|---|---|---|
| P106=Q169470 (род занятий = физик) | 55 | ~20ms | 0,12ms |
| P31=Q5 (человек) | 1 579 | ~19ms | ~1ms |
| человек + физик | 54 | ~38ms | ~1ms |
| LABEL ko | 9 746 | (невозможно) | ~4ms |
- Прежний способ полностью просматривал карту записей TRIPLE.
- Для LABEL ko бо́льшая часть времени уходит на чтение 9 746 записей из pack для точной проверки.
Размер, сборка и инкременты
| Параметр | Значение |
|---|---|
| Размер индекса | 113MB (в среднем 15,7B на запись) |
| Сборка | ~3 с (разбор документов в одном потоке) |
| Инкрементальное обновление (изменено 4 217 ревизий) | 1,8 с |
| Результат инкремента | После 2 обновлений, 2 слияний и прерывания с возобновлением результаты запросов побайтно совпадают с индексом, построенным с нуля |
| Усиление записи | 1,31 накопительно (1,71 при полной пересборке каждый раз) |
- При экстраполяции на всю Wikidata (около 7,5 млрд записей) индекс займёт около 110 ГБ (оценка).
- Цена — размер: примерно в 4 раза больше простой карты по 4 Б на запись. Следующие темы для изучения — сужение слота и сигнатуры сущностей.
Сканирование сигнатур (предварительный замер для сигнатур сущностей)
Время, пересчитанное на сканирование 100 млн 128-битных сигнатур по маске и шаблону (i7-14700K, AVX2).
| Реализация | Время |
|---|---|
| NumPy, 1 поток | ~1 с |
| Go, 1 поток | ~134ms |
| Go, 8 потоков | ~27ms |
| Go, 16–20 потоков | ~23ms (предел пропускной способности памяти) |
Разницу создаёт не язык, а слитые циклы без промежуточных массивов и многопоточность.
Соотношение с векторным поиском
Это не замена, а разделение ролей.
| SILK | Векторный поиск | |
|---|---|---|
| Обрабатываемые запросы | Структурированные запросы (условия по предикату, объекту, языку, сущности) | Смысловое сходство, которое трудно выразить структурой |
| Результат | Множество, удовлетворяющее условиям (точно) | Ранжирование по сходству (приближённо) |
| Предпосылка | Данные должны быть структурированы в GEUL | Достаточно исходного текста или эмбеддингов |
Для запросов, ищущих факты, выраженные в GEUL, SILK точен и дёшев. Для неструктурированного исходного текста или запросов «найди похожее» лучше подходит векторный поиск.
Место в системе и следующие шаги
SILK — это поисковая технология, которую использует WMS (координатор хранения и извлечения GEUL). Оценку того, верно ли найденное утверждение, выполняет отдельный движок вынесения суждений.
| Следующий шаг | Содержание |
|---|---|
| Сигнатуры сущностей | Битовая строка фиксированной ширины 16–128 бит для каждой сущности. Поля объявляет пользователь (перечисление, one-hot, Bloom, префикс, диапазон). Это приближённый фильтр первого уровня, за которым следует точная проверка. Сейчас на стадии планирования (частично есть в библиотеке, в индекс ещё не встроено) |
| Спецификация как документ GEUL | Объявлять JSON-спецификацию как документ GEUL и читать раскладку из документов спецификации кодеков (DECLARE·FIELD) |
| Индекс сборки утверждений | Индекс Target, который сразу находит TRIPLE, на который указывает QUALIFIER или SOURCE |
| Подготовка к большим объёмам | Верхние пределы памяти при сборке и слиянии, распараллеливание разбора при сборке |
Первоначальный замысел (2026-03) — проект на Python и NumPy, сканирующий 64-битные идентификаторы сущностей побитовым AND. Теперь это движок на Go, который напрямую индексирует записи GEUL.
Репозиторий и лицензия
- Репозиторий: github.com/geul-org/silk
- Установка:
go install github.com/geul-org/silk/cmd/silk@latest - Лицензия: наши собственные материалы распространяются по CC0 1.0. Сторонние компоненты подчиняются своим лицензиям (NOTICE в репозитории).