SILKはGEUL専用の索引・探索エンジンである。GEUL文書をすべてデコードすることなく、レコード索引だけで「職業(P106)が物理学者(Q169470)だと述べている文書は?」といったクエリに答える。

状態初期開発。探索アルゴリズムを検証している段階で、最初のリリースまでに形式が変わる可能性がある
言語Go
入力GEUL packアーカイブ(無圧縮)
ライセンスCC0
リポジトリgithub.com/geul-org/silk

中心命題

難しいのは検索ではない。構造のないデータが問題だった。

従来:まず書く → 後から構造を推定する(トークナイズ、埋め込み、解析)
GEUL:書くときに構造化する → 検索に残るのは整数比較と範囲探索だけ

GEULレコードには、主語・述語・目的語・言語といったフィールドが、すでに決まった位置に整数IDとして入っている。SILKはそのフィールドを取り出して整列しておくだけである。

GEULとの相性

GEULの性質SILKが得るもの
16ビットのTAG WORD一つに種類(Kind・Codec)と長さがあるコードブックなしでレコードを絞り込み、読み飛ばせる
Edgeのフィールドは固定位置のレコードであるキーを位置で取り出せる。パース規則を別に用意する必要がない
統制語彙は整数ID(Q、P、言語)である文字列の正規化なしに整数で同一性を比較できる
packは不変オブジェクトと世代から成る索引も不変セグメントと世代で作るので、スナップショットが安全である
変換が決定的である同じ入力なら同じ索引になる。増分の結果を、ゼロから作った索引とバイト単位で照合できる

GEUL文書は並べ替えない。索引は整列された**ビュー(view)**にすぎず、公表済みのバイト・内容ハッシュ・署名はそのままである。

構造

入力

gogeulでGEUL packアーカイブを読む。索引はdata pack内のバイト位置を指すため、レコードを圧縮しないセット(GEULCOMPRESS=none)でなければならない。zstd圧縮は配布・保管用であり、探索層は無圧縮のpackを使う。

パーティション仕様

TAGの種類ごとに、パーティションキーとソートキーをレコードの固定位置フィールドとして宣言する。述語や言語などはハードコードせず、以下はウィキデータ文書用のデフォルトである。

TAGパーティションキーソートキー
TRIPLE述語(Predicate)目的語(Object)
QUALIFIERプロパティ(Property)値(Value)
LABEL·ALIAS·DESCRIPTION言語主語(Subject)
SOURCEなし出典(Origin)
REFERENCE-NODEなし目的語(Object)
  • キーはフィールドレコードの先頭数バイト(スロット)である。レコードがスロットに収まれば同一性の判定は正確で、それより長ければ候補を選ぶだけになる。
  • コードブックがなければ位置がわからないフィールドや、長さが無制限のフィールドをパーティションキーにすると、仕様検証で拒否される。
  • 仕様は内容ハッシュで識別する。仕様が変わったら、そのTAGだけを作り直す。

ラン・増分・マージ

要素役割
ソート済みランパーティションごとに(ソートキー、文書、オフセット)でソートした不変セグメント。二分探索する
追記セグメント増分更新(silk index update)で新たに入った版だけを持つ。スキャンする
生存版ビットマップ変更された文書の古い版を削除せず、死んだものとして印を付ける
サイズ段階別マージ同じサイズ段階のランをO(n)のマージでまとめ、死んだ行が多ければ基本ランまでマージする
世代マニフェストの世代をアトミックに入れ替える。読み手は世代を固定するので、マージ中もスナップショットが保たれる

マージはアイドル時にだけ実行させることもできる(-idle、CPU・メモリの30%を残す)。パーティション境界で止まり、チェックポイントから再開する。

クエリ

  1. 等値条件:パーティションを見つけ、ソート済みランで二分探索する。
  2. 複数条件:文書(主語)を基準にマージ結合する。すべての条件が一つの文書の中で成り立たなければならない。
  3. 精密確認:候補レコードをgogeulでデコードしてフィールドごとに比較し、Edge Idを読む。
silk query -triple P106=Q169470 ARCHIVE
silk query -count -triple P31=Q5 -triple P106=Q169470 ARCHIVE
silk query -label ko -match LABEL:1=Q42 ARCHIVE

実測

ウィキデータQ1–Q10000とプロパティ文書16,696件(271MB、索引レコード707万件)で測定した。8スレッド、7回中の最良値で、プロセス起動時間は除いている。

クエリ

クエリ結果文書従来方式(全件スキャン)SILK索引
P106=Q169470(職業=物理学者)55約20ms0.12ms
P31=Q5(人間)1,579約19ms約1ms
人間 + 物理学者54約38ms約1ms
LABEL ko9,746(不可)約4ms
  • 従来方式はTRIPLEレコードマップを全件スキャンしていた。
  • LABEL koの時間の大半は、9,746件をpackから読み出して精密確認する時間である。

サイズ・ビルド・増分

項目値
索引サイズ113MB(レコードあたり平均15.7B)
ビルド約3秒(文書パースはシングルスレッド)
増分更新(4,217版の変更)1.8秒
増分の結果更新2回・マージ2回・中断後の再開を経ても、ゼロから作った索引とクエリ結果がバイト単位で一致する
書き込み増幅累積1.31(毎回作り直すと1.71)
  • ウィキデータ全体(レコード約75億件)に外挿すると、索引は約110GBになる(推定)。
  • コストはサイズである。レコードあたり4Bの単純なマップより約4倍大きい。スロット幅の縮小とエンティティ署名が次の検討対象である。

署名スキャン(エンティティ署名のための事前測定)

128ビット署名1億件をマスクとパターンでスキャンする時間に換算した(i7-14700K、AVX2)。

実装時間
NumPy 1スレッド約1秒
Go 1スレッド約134ms
Go 8スレッド約27ms
Go 16–20スレッド約23ms(メモリ帯域の限界)

差を生むのは言語ではなく、中間配列のない融合ループとマルチスレッドである。

ベクトル検索との関係

置き換えではなく役割分担である。

SILKベクトル検索
担当するクエリ構造化クエリ(述語・目的語・言語・エンティティ条件)構造で表しにくい意味的な類似度
結果条件を満たす集合(正確)類似度の順位(近似)
前提データがGEULで構造化されている必要がある原文か埋め込みがあればよい

GEULで表現された事実を探すクエリなら、SILKが正確で安い。構造のない原文や「似たもの」を探すクエリには、ベクトル検索のほうが向いている。

位置づけと次の段階

SILKはWMS(GEULの保存・取り出しの調整役)が使う探索技術である。見つかった陳述が正しいかどうかの判定は、別の判定エンジンが担う。

次の段階内容
エンティティ署名エンティティごとに16–128ビットの固定幅ビット列。ユーザーがフィールド(列挙・ワンホット・ブルーム・接頭辞・区間)を宣言する。近似の一次フィルタなので、精密確認が後に続く。現在は計画段階(ライブラリに一部あるだけで、索引にはまだない)
仕様をGEUL文書にJSON仕様をGEUL文書として宣言し、レイアウトをコーデック規格文書(DECLARE・FIELD)から読む
陳述組み立て索引QUALIFIER・SOURCEが指すTRIPLEを直接見つけるTarget索引
大規模への備えビルド・マージのメモリ上限、ビルド時パースの並列化

初期構想(2026-03)は、Python・NumPyで64ビットのエンティティ識別子をビットANDでスキャンする設計だった。現在はGEULレコードを直接索引するGoエンジンに変わっている。

リポジトリ・ライセンス

  • リポジトリ:github.com/geul-org/silk
  • インストール:go install github.com/geul-org/silk/cmd/silk@latest
  • ライセンス:私たちの著作物はCC0 1.0。第三者の構成要素はそれぞれのライセンスに従う(リポジトリのNOTICE)。