SILK 是GEUL 专用的索引与检索引擎。它无需完整解码 GEUL 文档,仅凭记录索引即可回答诸如“哪些文档陈述了职业(P106)是物理学家(Q169470)?”之类的查询。
| 状态 | 早期开发。正处于验证检索算法的阶段,首个正式版本发布前格式可能变化 |
| 语言 | Go |
| 输入 | GEUL pack 归档(无压缩) |
| 许可证 | CC0 |
| 仓库 | github.com/geul-org/silk |
核心命题
难的不是检索,问题在于没有结构的数据。
传统:先写入 → 事后推测结构(分词、嵌入、分析)
GEUL:写入时即结构化 → 检索只剩整数比较和区间查找
GEUL 记录中,主语、谓语、宾语、语言等字段早已以整数 ID 的形式放在固定位置。SILK 只是把这些字段取出来排好序。
与 GEUL 的契合
| GEUL 的特性 | SILK 由此获得 |
|---|---|
| 一个 16 位 TAG WORD 中包含类别(Kind·Codec)和长度 | 无需码本即可筛选和跳过记录 |
| Edge 的字段是位于固定位置的记录 | 按位置取出键,无需另设解析规则 |
| 受控词是整数 ID(Q、P、语言) | 无需字符串规范化,直接用整数比较是否相等 |
| pack 由不可变对象和世代构成 | 索引同样由不可变段和世代构成,快照安全 |
| 转换是确定性的 | 相同输入得到相同索引。增量结果可与从头构建的索引逐字节比对 |
GEUL 文档不会被重新排序。索引只是排好序的视图(view),已发布的字节、内容哈希和签名保持不变。
结构
输入
通过 gogeul 读取 GEUL pack 归档。由于索引指向 data pack 内的字节位置,记录必须是未压缩的集合(GEULCOMPRESS=none)。zstd 压缩用于分发和归档,检索层使用无压缩 pack。
分区规格
针对每种 TAG,将分区键和排序键声明为记录中的固定位置字段。谓语、语言等都不硬编码,下表是维基数据文档的默认值。
| TAG | 分区键 | 排序键 |
|---|---|---|
| TRIPLE | 谓语(Predicate) | 宾语(Object) |
| QUALIFIER | 属性(Property) | 值(Value) |
| LABEL·ALIAS·DESCRIPTION | 语言 | 主语(Subject) |
| SOURCE | 无 | 来源(Origin) |
| REFERENCE-NODE | 无 | 宾语(Object) |
- 键是字段记录的前几个字节(槽位)。记录能放进槽位时相等判断是精确的;更长时只用于筛选候选。
- 若以需要码本才能确定位置的字段或长度不受限的字段作为分区键,规格校验会予以拒绝。
- 规格以内容哈希标识。规格变化时只重建该 TAG。
运行段·增量·合并
| 要素 | 作用 |
|---|---|
| 有序运行段 | 按分区对(排序键、文档、偏移)排序的不可变段,使用二分查找 |
| 追加段 | 只存放增量更新(silk index update)新进入的版本,使用扫描 |
| 存活版本位图 | 不删除已变更文档的旧版本,而是将其标记为失效 |
| 分级合并 | 以 O(n) 归并合并同一大小级别的运行段;失效行较多时一直合并到基础运行段 |
| 世代 | 原子地替换清单世代。读取方固定世代,因此合并期间快照依然有效 |
合并可限定为仅在空闲时运行(-idle,保留 30% 的 CPU 和内存)。它在分区边界处停下,并从检查点继续。
查询
- 相等条件:找到分区,在有序运行段中二分查找。
- 多条件:以文档(主语)为基准做归并连接。所有条件必须在同一文档内成立。
- 精确确认:用 gogeul 解码候选记录,逐字段比较并读取 Edge Id。
silk query -triple P106=Q169470 ARCHIVE
silk query -count -triple P31=Q5 -triple P106=Q169470 ARCHIVE
silk query -label ko -match LABEL:1=Q42 ARCHIVE
实测
在维基数据 Q1–Q10000 及 16,696 个属性文档(271MB,707 万条索引记录)上测量。8 线程,取 7 次中的最佳值,不含进程启动时间。
查询
| 查询 | 结果文档 | 原方式(全量扫描) | SILK 索引 |
|---|---|---|---|
| P106=Q169470(职业=物理学家) | 55 | 约 20ms | 0.12ms |
| P31=Q5(人类) | 1,579 | 约 19ms | 约 1ms |
| 人类 + 物理学家 | 54 | 约 38ms | 约 1ms |
| LABEL ko | 9,746 | (不可行) | 约 4ms |
- 原方式是全量扫描 TRIPLE 记录映射表。
- LABEL ko 的耗时大部分花在从 pack 中读取 9,746 条记录做精确确认上。
大小·构建·增量
| 项目 | 值 |
|---|---|
| 索引大小 | 113MB(每条记录平均 15.7B) |
| 构建 | 约 3 秒(文档解析为单线程) |
| 增量更新(4,217 个版本变更) | 1.8 秒 |
| 增量结果 | 经过 2 次更新、2 次合并以及一次中断后恢复,查询结果仍与从头构建的索引逐字节一致 |
| 写放大 | 累计 1.31(若每次都重建则为 1.71) |
- 外推到整个维基数据(约 75 亿条记录),索引约为 110GB(估算)。
- 代价是体积。比每条记录 4B 的简单映射大约 4 倍。缩小槽位宽度和实体签名是下一步的研究对象。
签名扫描(为实体签名所做的预先测量)
换算了用掩码和模式扫描 1 亿个 128 位签名所需的时间(i7-14700K,AVX2)。
| 实现 | 时间 |
|---|---|
| NumPy 单线程 | 约 1 秒 |
| Go 单线程 | 约 134ms |
| Go 8 线程 | 约 27ms |
| Go 16–20 线程 | 约 23ms(受内存带宽限制) |
造成差异的不是语言,而是无中间数组的融合循环与多线程。
与向量检索的关系
不是替代,而是分工。
| SILK | 向量检索 | |
|---|---|---|
| 负责的查询 | 结构化查询(谓语、宾语、语言、实体条件) | 难以用结构表达的语义相似度 |
| 结果 | 满足条件的集合(精确) | 相似度排序(近似) |
| 前提 | 数据须已用 GEUL 结构化 | 只要有原文或嵌入即可 |
对于查找以 GEUL 表达的事实的查询,SILK 精确且廉价。对于没有结构的原文或寻找“相似之物”的查询,向量检索更合适。
定位与下一步
SILK 是 WMS(GEUL 存储与提取协调器)所使用的检索技术。判断检索到的陈述是否正确,由单独的判定引擎负责。
| 下一步 | 内容 |
|---|---|
| 实体签名 | 每个实体一个 16–128 位的定宽位串。由用户声明字段(枚举、独热、布隆、前缀、区间)。属于近似的一级过滤,之后需精确确认。目前处于规划阶段(库中仅有部分实现,索引中尚未加入) |
| 以 GEUL 文档表达规格 | 将 JSON 规格声明为 GEUL 文档,并从编解码规格文档(DECLARE·FIELD)读取布局 |
| 陈述组装索引 | 直接找到 QUALIFIER·SOURCE 所指向的 TRIPLE 的 Target 索引 |
| 面向大规模 | 构建与合并的内存上限,构建解析的并行化 |
最初的构想(2026-03)是用 Python·NumPy 对 64 位实体标识符做按位 AND 扫描的设计。现在已转为直接索引 GEUL 记录的 Go 引擎。
仓库与许可证
- 仓库:github.com/geul-org/silk
- 安装:
go install github.com/geul-org/silk/cmd/silk@latest - 许可证:我们的作品采用 CC0 1.0。第三方组件遵循各自的许可证(见仓库中的 NOTICE)。