SILK 是GEUL 专用的索引与检索引擎。它无需完整解码 GEUL 文档,仅凭记录索引即可回答诸如“哪些文档陈述了职业(P106)是物理学家(Q169470)?”之类的查询。

状态早期开发。正处于验证检索算法的阶段,首个正式版本发布前格式可能变化
语言Go
输入GEUL pack 归档(无压缩)
许可证CC0
仓库github.com/geul-org/silk

核心命题

难的不是检索,问题在于没有结构的数据。

传统:先写入 → 事后推测结构(分词、嵌入、分析)
GEUL:写入时即结构化 → 检索只剩整数比较和区间查找

GEUL 记录中,主语、谓语、宾语、语言等字段早已以整数 ID 的形式放在固定位置。SILK 只是把这些字段取出来排好序。

与 GEUL 的契合

GEUL 的特性SILK 由此获得
一个 16 位 TAG WORD 中包含类别(Kind·Codec)和长度无需码本即可筛选和跳过记录
Edge 的字段是位于固定位置的记录按位置取出键,无需另设解析规则
受控词是整数 ID(Q、P、语言)无需字符串规范化,直接用整数比较是否相等
pack 由不可变对象和世代构成索引同样由不可变段和世代构成,快照安全
转换是确定性的相同输入得到相同索引。增量结果可与从头构建的索引逐字节比对

GEUL 文档不会被重新排序。索引只是排好序的视图(view),已发布的字节、内容哈希和签名保持不变。

结构

输入

通过 gogeul 读取 GEUL pack 归档。由于索引指向 data pack 内的字节位置,记录必须是未压缩的集合(GEULCOMPRESS=none)。zstd 压缩用于分发和归档,检索层使用无压缩 pack。

分区规格

针对每种 TAG,将分区键和排序键声明为记录中的固定位置字段。谓语、语言等都不硬编码,下表是维基数据文档的默认值。

TAG分区键排序键
TRIPLE谓语(Predicate)宾语(Object)
QUALIFIER属性(Property)值(Value)
LABEL·ALIAS·DESCRIPTION语言主语(Subject)
SOURCE无来源(Origin)
REFERENCE-NODE无宾语(Object)
  • 键是字段记录的前几个字节(槽位)。记录能放进槽位时相等判断是精确的;更长时只用于筛选候选。
  • 若以需要码本才能确定位置的字段或长度不受限的字段作为分区键,规格校验会予以拒绝。
  • 规格以内容哈希标识。规格变化时只重建该 TAG。

运行段·增量·合并

要素作用
有序运行段按分区对(排序键、文档、偏移)排序的不可变段,使用二分查找
追加段只存放增量更新(silk index update)新进入的版本,使用扫描
存活版本位图不删除已变更文档的旧版本,而是将其标记为失效
分级合并以 O(n) 归并合并同一大小级别的运行段;失效行较多时一直合并到基础运行段
世代原子地替换清单世代。读取方固定世代,因此合并期间快照依然有效

合并可限定为仅在空闲时运行(-idle,保留 30% 的 CPU 和内存)。它在分区边界处停下,并从检查点继续。

查询

  1. 相等条件:找到分区,在有序运行段中二分查找。
  2. 多条件:以文档(主语)为基准做归并连接。所有条件必须在同一文档内成立。
  3. 精确确认:用 gogeul 解码候选记录,逐字段比较并读取 Edge Id。
silk query -triple P106=Q169470 ARCHIVE
silk query -count -triple P31=Q5 -triple P106=Q169470 ARCHIVE
silk query -label ko -match LABEL:1=Q42 ARCHIVE

实测

在维基数据 Q1–Q10000 及 16,696 个属性文档(271MB,707 万条索引记录)上测量。8 线程,取 7 次中的最佳值,不含进程启动时间。

查询

查询结果文档原方式(全量扫描)SILK 索引
P106=Q169470(职业=物理学家)55约 20ms0.12ms
P31=Q5(人类)1,579约 19ms约 1ms
人类 + 物理学家54约 38ms约 1ms
LABEL ko9,746(不可行)约 4ms
  • 原方式是全量扫描 TRIPLE 记录映射表。
  • LABEL ko 的耗时大部分花在从 pack 中读取 9,746 条记录做精确确认上。

大小·构建·增量

项目值
索引大小113MB(每条记录平均 15.7B)
构建约 3 秒(文档解析为单线程)
增量更新(4,217 个版本变更)1.8 秒
增量结果经过 2 次更新、2 次合并以及一次中断后恢复,查询结果仍与从头构建的索引逐字节一致
写放大累计 1.31(若每次都重建则为 1.71)
  • 外推到整个维基数据(约 75 亿条记录),索引约为 110GB(估算)。
  • 代价是体积。比每条记录 4B 的简单映射大约 4 倍。缩小槽位宽度和实体签名是下一步的研究对象。

签名扫描(为实体签名所做的预先测量)

换算了用掩码和模式扫描 1 亿个 128 位签名所需的时间(i7-14700K,AVX2)。

实现时间
NumPy 单线程约 1 秒
Go 单线程约 134ms
Go 8 线程约 27ms
Go 16–20 线程约 23ms(受内存带宽限制)

造成差异的不是语言,而是无中间数组的融合循环与多线程。

与向量检索的关系

不是替代,而是分工。

SILK向量检索
负责的查询结构化查询(谓语、宾语、语言、实体条件)难以用结构表达的语义相似度
结果满足条件的集合(精确)相似度排序(近似)
前提数据须已用 GEUL 结构化只要有原文或嵌入即可

对于查找以 GEUL 表达的事实的查询,SILK 精确且廉价。对于没有结构的原文或寻找“相似之物”的查询,向量检索更合适。

定位与下一步

SILK 是 WMS(GEUL 存储与提取协调器)所使用的检索技术。判断检索到的陈述是否正确,由单独的判定引擎负责。

下一步内容
实体签名每个实体一个 16–128 位的定宽位串。由用户声明字段(枚举、独热、布隆、前缀、区间)。属于近似的一级过滤,之后需精确确认。目前处于规划阶段(库中仅有部分实现,索引中尚未加入)
以 GEUL 文档表达规格将 JSON 规格声明为 GEUL 文档,并从编解码规格文档(DECLARE·FIELD)读取布局
陈述组装索引直接找到 QUALIFIER·SOURCE 所指向的 TRIPLE 的 Target 索引
面向大规模构建与合并的内存上限,构建解析的并行化

最初的构想(2026-03)是用 Python·NumPy 对 64 位实体标识符做按位 AND 扫描的设计。现在已转为直接索引 GEUL 记录的 Go 引擎。

仓库与许可证

  • 仓库:github.com/geul-org/silk
  • 安装:go install github.com/geul-org/silk/cmd/silk@latest
  • 许可证:我们的作品采用 CC0 1.0。第三方组件遵循各自的许可证(见仓库中的 NOTICE)。