GEUL不否定维基数据,而是站在维基数据之上。


没有词典就无法创造语言

语言需要词汇表。

韩语有韩语词典。 英语有英语词典。 编程语言有标准库。

人工语言也是如此。 实体列表、关系列表、属性列表。 “三星电子"在这种语言中对应什么编码? “首都(capital)“这种关系对应什么编码? 有了词汇表才能写句子。

词汇表怎么构建? 有两种方式。

从零开始构建。 或者直接利用已有的。


从零开始构建:CYC的教训

CYC项目始于1984年。

目标是将通用常识知识形式化并存储。 本体论从头设计。 定义概念、定义关系、定义规则。 由专家手工录入。

三十年过去了。 数百万条规则被录入。

然而,要覆盖世界的知识,这远远不够。 每个领域都需要单独设计本体论。 跨领域的一致性难以维持。 每当出现新概念,就必须修改本体论。 修改与现有规则冲突的情况屡见不鲜。

CYC证明的不是可能性,而是局限性。 由少数专家设计世界的本体论, 一旦规模扩大就无法维持。


已有的东西:维基数据

维基数据(Wikidata)始于2012年。

由维基媒体基金会运营的结构化知识库。 任何人都可以编辑。 以2026年10月19日的转储为准,约有1亿2197万个实体。 其中属性13,991个。 约17.8亿条陈述。 标签使用的语言代码超过600个。

CYC用专家团队30年未能达到的规模, 维基数据用社区在14年内实现了。

看看维基数据提供了什么。

实体标识符。 Q-ID。三星电子是Q20718。首尔是Q8684。李舜臣是Q217300。全球唯一标识符,与语言无关。

属性标识符。 P-ID。“总部所在地"是P159。“成立日期"是P571。“人口"是P1082。关系和属性被唯一标识。

层级结构。 P31(instance of)和P279(subclass of)构成类型层级。“首尔 → 城市 → 人类聚居地 → 地理实体。“世界的分类体系通过这两个属性来表达。

多语言标签。 Q20718的中文标签是"三星电子”,英文标签是"Samsung Electronics”,日文标签是"サムスン電子”。标识符唯一,名称因语言而异。

社区验证。 遍布全球的编辑者。反破坏检测。来源要求。虽不完美,但比少数专家更具扩展性。

没有理由从头构建这些。


GEUL原样搬运维基数据

GEUL不为维基数据另造标识符。 而是原样使用。

GEUL语法中有专门指向维基数据的Reference。 WIKIDATA-QID把Q-ID的数字部分,WIKIDATA-PID把P-ID的数字部分,写成无符号整数。 Q42就是整数42。P31就是整数31。 因为是整数而不是字符串,比较是否相同时不需要规范化。

搬运的路径如下。

第1步:无损载入。 wikipg把维基数据JSON转储载入PostgreSQL。 它按转储顺序保存实体、标签、描述、别名、陈述、限定符、来源和站点链接, 并原文保留转储的每一行。 转储文件本身(URL、大小、校验和、载入工具的提交)也被记录下来。 什么都不丢,日后才能核对哪些搬过来了、哪些被跳过了。

第2步:每个实体一个文档。 wikigeul读取已载入的转储,为每个条目和每个属性各生成一个GEUL文档。 文档包含标签、描述、别名、带有限定符和来源的陈述,以及站点链接。 所有语言都放在同一个文档里,不按语言拆分。

所有文档的Issuer都是同一个:0x00010000(wikidata.geul.org)。 文档ID为64位。最高字节是实体种类的字母,低56位是编号。 Q42的文档是0x510000000000002a。0x51是Q,0x2a是42。 P31的文档是0x500000000000001f。 只看hex就知道是哪个实体的文档。 完整的真实文档可以在示例:Wikidata 条目中从头读到尾。

第3步:以整数引用。 在陈述中,条目和属性写成整数。 “Q42是人(Q5)“是由P31、Q42、Q5三个整数构成的TRIPLE。 这个整数就是文档ID中的编号。 从任何一条陈述都能直接到达所指对象的文档。

来源也一并搬运。 维基数据的一个来源(reference)成为GEUL的一个SOURCE。 文档头部记录了它来自哪个转储、由哪个工具(提交)转换。

第4步:以pack归档发布。 不可能把1亿2千万个实体发布成1亿2千万个文件。 文档按Issuer打包成pack归档,记录用zstd压缩。 读取方不必下载整个归档,只取出需要的文档。

目前正在用Q1–Q10000区间验证转换。 逆向转换往返、归档、完整性都做全量检查。 全量转换和发布在那之后。


SIDX在那之后

Q-ID是按注册顺序分配的编号。 编号相近,意义并不相近。 Q42是道格拉斯·亚当斯,Q41是希腊,Q43是土耳其。

GEUL也在研究另一种标识符。 SIDX(Semantic-aligned Index),一种给意义相近的对象分配相近值的语义对齐标识符。 目标是让比特本身承载意义, 只看高位就能知道"这是人、地点还是组织”。

SIDX仍处于v1之前的研究阶段。 语法中只为它留了GEUL-SIDX Reference的位置。 宽度尚未确定。正在考虑64位、256位等,将根据统计决定。 也还没有分配结果。 因此现在的维基数据文档不用SIDX,而用Q-ID书写。 SIDX分配之后,同一对象的现有标识符和SIDX用SAME-NODE连接。

在这里维基数据再次派上用场。 SIDX研究从维基数据的分类体系和频率统计出发。 正在考虑的方向如下。

类型提取。 收集作为P31(instance of)宾语的Q-ID。 这就是"类型"列表。 “人类(Q5)"、“城市(Q515)"、“国家(Q6256)"、“企业(Q4830453)"…… 统计每个类型的实例数。

层级构建。 用类型之间的P279(subclass of)关系构建树。 “城市 → 人类聚居地 → 地理实体 → 实体。” 一个类型属于多个上位类型的多重继承如何处理,是待解决的课题。

比特分配。 树结构成为比特前缀的关系。 同一上位类型下的子类型共享同一前缀。 “城市"和"村镇"共享"人类聚居地"的前缀。 实例多的类型获得更短的前缀,也就是更宽的编号空间。 这与霍夫曼编码是同一思路。

这仍是假说。 还有问题有待解决。 统计变化时,已分配的SIDX不能挪动。 同一个值不能分配给两个对象。 码本和注册表以什么格式公开,也有待确定。


维基数据提供的东西

在这条路径上,维基数据提供三样东西。

标识符。 对"指向世界上的什么"的回答。 Q-ID和P-ID原样成为GEUL的整数Reference。 维基数据的知识可以搬进GEUL文档, 也可以从GEUL文档中直接读出维基数据标识符。

分类体系。 对"世界上有哪些种类的东西"的回答。 CYC由专家团队设计这一点。 GEUL从维基数据中获取。 把编辑者们14年间达成共识的分类体系 转成SIDX的比特树,是研究的目标。

频率统计。 对"每种东西在世界上有多少"的回答。 如果人类实体有900万个,小行星有100万个, 那么"人类"这一类型应该比"小行星"获得更高效的编码。 实际使用频率成为编码设计的依据。


维基数据未提供的东西

维基数据是词典。词典不是语言。

词典提供词汇列表。 语言提供用词汇造句的语法。

维基数据未提供的,正是GEUL所补充的部分。

从事实到主张。 维基数据的基本单位是事实(Fact)。 “首尔的人口为974万。” 非真即假。

GEUL的基本单位是主张(Claim)。 “根据A,首尔的人口约为974万。(确信度0.9,时间点2023年)” 谁在主张、确定性有多高、基于何时——这些都嵌入在陈述中。 这一区别在为什么是主张而非事实中详细讨论。

动词限定词。 维基数据没有表达动词细微差别的位置。 在"李舜臣在鸣梁海战中获胜"中, 时态、体、证据性、语气、确信度在哪里? 在维基数据中,这些通过限定符部分表达, 但没有系统化的动词限定体系。

GEUL正在设计一套动词限定体系, 把时态、体、极性、证据性、语气、意志性、确信性等维度结构性地附加到陈述上。 这也是v1之前的课题。

16位字。 维基数据的表示不是为上下文窗口设计的。 JSON-LD、RDF、SPARQL。 机器可读,但token效率不高。

GEUL是16位字的序列。 记录的第一个字(TAG WORD)说明该记录的种类和长度。 即使没有码本,也能筛选和跳过记录。 这是以上下文窗口有限为前提的表示体系。 这在为什么MD/JSON/XML不行中已经讨论过。

上下文管道。 维基数据是存储库。GEUL是管道的一部分。 澄清、验证、过滤、一致性检查、探索——本系列讨论的一切, 都在GEUL的结构化表示之上运行。 维基数据没有这个管道。 也不需要。因为维基数据的目的不同。


词典与语言的关系

总结如下。

维基数据是世界的词汇表。 存在哪些实体, 存在哪些关系, 有哪些类型、它们如何分类。 这是社区在14年间积累起来的。

GEUL在这个词汇表之上加上语法。 词汇表的标识符 → GEUL的整数Reference。 词汇表的条目 → 每个实体一个GEUL文档。 词汇表的分类体系和频率统计 → SIDX研究的材料。

并补充词汇表中没有的东西。 主张的结构。动词的限定。16位字。上下文管道。

没有维基数据能构建GEUL吗? 能。像CYC那样从头设计本体论即可。 但那在40年前就尝试过了,结果已经摆在那里。

因为有维基数据,GEUL不设计本体论。 而是搬运已经存在的共识。


总结

人工语言需要词汇表。 从头构建词汇表是CYC尝试过的,30年证明了其局限。

维基数据是拥有约1.2亿个实体、约17.8亿条陈述的世界词汇表(以2026年10月转储为准)。 它由社区在14年间积累而成。

GEUL原样搬运这个词汇表。 wikipg把转储无损载入PostgreSQL, wikigeul为每个实体生成一个包含所有语言的GEUL文档。 条目和属性以整数引用,文档以pack归档发布。

SIDX是接下来的研究。 它用P31的实例频率和P279的层级来设计语义对齐标识符。 宽度和分配都尚未确定。

维基数据是词典,GEUL是语言。 词典提供词汇,语言提供语法。 GEUL在维基数据的词汇表之上加上主张的结构、动词限定、16位字和上下文管道。

GEUL不否定维基数据。 而是站在维基数据之上。