SILKはGEUL専用の索引・探索エンジンである。GEUL文書をすべてデコードすることなく、レコード索引だけで「職業(P106)が物理学者(Q169470)だと述べている文書は?」といったクエリに答える。
| 状態 | 初期開発。探索アルゴリズムを検証している段階で、最初のリリースまでに形式が変わる可能性がある |
| 言語 | Go |
| 入力 | GEUL packアーカイブ(無圧縮) |
| ライセンス | CC0 |
| リポジトリ | github.com/geul-org/silk |
中心命題
難しいのは検索ではない。構造のないデータが問題だった。
従来:まず書く → 後から構造を推定する(トークナイズ、埋め込み、解析)
GEUL:書くときに構造化する → 検索に残るのは整数比較と範囲探索だけ
GEULレコードには、主語・述語・目的語・言語といったフィールドが、すでに決まった位置に整数IDとして入っている。SILKはそのフィールドを取り出して整列しておくだけである。
GEULとの相性
| GEULの性質 | SILKが得るもの |
|---|---|
| 16ビットのTAG WORD一つに種類(Kind・Codec)と長さがある | コードブックなしでレコードを絞り込み、読み飛ばせる |
| Edgeのフィールドは固定位置のレコードである | キーを位置で取り出せる。パース規則を別に用意する必要がない |
| 統制語彙は整数ID(Q、P、言語)である | 文字列の正規化なしに整数で同一性を比較できる |
| packは不変オブジェクトと世代から成る | 索引も不変セグメントと世代で作るので、スナップショットが安全である |
| 変換が決定的である | 同じ入力なら同じ索引になる。増分の結果を、ゼロから作った索引とバイト単位で照合できる |
GEUL文書は並べ替えない。索引は整列された**ビュー(view)**にすぎず、公表済みのバイト・内容ハッシュ・署名はそのままである。
構造
入力
gogeulでGEUL packアーカイブを読む。索引はdata pack内のバイト位置を指すため、レコードを圧縮しないセット(GEULCOMPRESS=none)でなければならない。zstd圧縮は配布・保管用であり、探索層は無圧縮のpackを使う。
パーティション仕様
TAGの種類ごとに、パーティションキーとソートキーをレコードの固定位置フィールドとして宣言する。述語や言語などはハードコードせず、以下はウィキデータ文書用のデフォルトである。
| TAG | パーティションキー | ソートキー |
|---|---|---|
| TRIPLE | 述語(Predicate) | 目的語(Object) |
| QUALIFIER | プロパティ(Property) | 値(Value) |
| LABEL·ALIAS·DESCRIPTION | 言語 | 主語(Subject) |
| SOURCE | なし | 出典(Origin) |
| REFERENCE-NODE | なし | 目的語(Object) |
- キーはフィールドレコードの先頭数バイト(スロット)である。レコードがスロットに収まれば同一性の判定は正確で、それより長ければ候補を選ぶだけになる。
- コードブックがなければ位置がわからないフィールドや、長さが無制限のフィールドをパーティションキーにすると、仕様検証で拒否される。
- 仕様は内容ハッシュで識別する。仕様が変わったら、そのTAGだけを作り直す。
ラン・増分・マージ
| 要素 | 役割 |
|---|---|
| ソート済みラン | パーティションごとに(ソートキー、文書、オフセット)でソートした不変セグメント。二分探索する |
| 追記セグメント | 増分更新(silk index update)で新たに入った版だけを持つ。スキャンする |
| 生存版ビットマップ | 変更された文書の古い版を削除せず、死んだものとして印を付ける |
| サイズ段階別マージ | 同じサイズ段階のランをO(n)のマージでまとめ、死んだ行が多ければ基本ランまでマージする |
| 世代 | マニフェストの世代をアトミックに入れ替える。読み手は世代を固定するので、マージ中もスナップショットが保たれる |
マージはアイドル時にだけ実行させることもできる(-idle、CPU・メモリの30%を残す)。パーティション境界で止まり、チェックポイントから再開する。
クエリ
- 等値条件:パーティションを見つけ、ソート済みランで二分探索する。
- 複数条件:文書(主語)を基準にマージ結合する。すべての条件が一つの文書の中で成り立たなければならない。
- 精密確認:候補レコードをgogeulでデコードしてフィールドごとに比較し、Edge Idを読む。
silk query -triple P106=Q169470 ARCHIVE
silk query -count -triple P31=Q5 -triple P106=Q169470 ARCHIVE
silk query -label ko -match LABEL:1=Q42 ARCHIVE
実測
ウィキデータQ1–Q10000とプロパティ文書16,696件(271MB、索引レコード707万件)で測定した。8スレッド、7回中の最良値で、プロセス起動時間は除いている。
クエリ
| クエリ | 結果文書 | 従来方式(全件スキャン) | SILK索引 |
|---|---|---|---|
| P106=Q169470(職業=物理学者) | 55 | 約20ms | 0.12ms |
| P31=Q5(人間) | 1,579 | 約19ms | 約1ms |
| 人間 + 物理学者 | 54 | 約38ms | 約1ms |
| LABEL ko | 9,746 | (不可) | 約4ms |
- 従来方式はTRIPLEレコードマップを全件スキャンしていた。
- LABEL koの時間の大半は、9,746件をpackから読み出して精密確認する時間である。
サイズ・ビルド・増分
| 項目 | 値 |
|---|---|
| 索引サイズ | 113MB(レコードあたり平均15.7B) |
| ビルド | 約3秒(文書パースはシングルスレッド) |
| 増分更新(4,217版の変更) | 1.8秒 |
| 増分の結果 | 更新2回・マージ2回・中断後の再開を経ても、ゼロから作った索引とクエリ結果がバイト単位で一致する |
| 書き込み増幅 | 累積1.31(毎回作り直すと1.71) |
- ウィキデータ全体(レコード約75億件)に外挿すると、索引は約110GBになる(推定)。
- コストはサイズである。レコードあたり4Bの単純なマップより約4倍大きい。スロット幅の縮小とエンティティ署名が次の検討対象である。
署名スキャン(エンティティ署名のための事前測定)
128ビット署名1億件をマスクとパターンでスキャンする時間に換算した(i7-14700K、AVX2)。
| 実装 | 時間 |
|---|---|
| NumPy 1スレッド | 約1秒 |
| Go 1スレッド | 約134ms |
| Go 8スレッド | 約27ms |
| Go 16–20スレッド | 約23ms(メモリ帯域の限界) |
差を生むのは言語ではなく、中間配列のない融合ループとマルチスレッドである。
ベクトル検索との関係
置き換えではなく役割分担である。
| SILK | ベクトル検索 | |
|---|---|---|
| 担当するクエリ | 構造化クエリ(述語・目的語・言語・エンティティ条件) | 構造で表しにくい意味的な類似度 |
| 結果 | 条件を満たす集合(正確) | 類似度の順位(近似) |
| 前提 | データがGEULで構造化されている必要がある | 原文か埋め込みがあればよい |
GEULで表現された事実を探すクエリなら、SILKが正確で安い。構造のない原文や「似たもの」を探すクエリには、ベクトル検索のほうが向いている。
位置づけと次の段階
SILKはWMS(GEULの保存・取り出しの調整役)が使う探索技術である。見つかった陳述が正しいかどうかの判定は、別の判定エンジンが担う。
| 次の段階 | 内容 |
|---|---|
| エンティティ署名 | エンティティごとに16–128ビットの固定幅ビット列。ユーザーがフィールド(列挙・ワンホット・ブルーム・接頭辞・区間)を宣言する。近似の一次フィルタなので、精密確認が後に続く。現在は計画段階(ライブラリに一部あるだけで、索引にはまだない) |
| 仕様をGEUL文書に | JSON仕様をGEUL文書として宣言し、レイアウトをコーデック規格文書(DECLARE・FIELD)から読む |
| 陳述組み立て索引 | QUALIFIER・SOURCEが指すTRIPLEを直接見つけるTarget索引 |
| 大規模への備え | ビルド・マージのメモリ上限、ビルド時パースの並列化 |
初期構想(2026-03)は、Python・NumPyで64ビットのエンティティ識別子をビットANDでスキャンする設計だった。現在はGEULレコードを直接索引するGoエンジンに変わっている。
リポジトリ・ライセンス
- リポジトリ:github.com/geul-org/silk
- インストール:
go install github.com/geul-org/silk/cmd/silk@latest - ライセンス:私たちの著作物はCC0 1.0。第三者の構成要素はそれぞれのライセンスに従う(リポジトリのNOTICE)。