SILK는 GEUL 전용 색인·탐색 엔진이다. GEUL 문서를 모두 디코드하지 않고, 레코드 색인만으로 “직업(P106)이 물리학자(Q169470)라고 진술한 문서는?” 같은 질의에 답한다.

상태초기 개발. 탐색 알고리즘을 검증하는 단계이고, 첫 릴리스 전까지 형식이 바뀔 수 있다
언어Go
입력GEUL pack 아카이브(무압축)
라이선스CC0
저장소github.com/geul-org/silk

핵심 명제

검색이 어려운 것이 아니라 구조 없는 데이터가 문제였다.

기존: 먼저 쓰고 → 나중에 구조를 추정한다 (토크나이징, 임베딩, 분석)
GEUL: 쓸 때 구조화한다 → 검색은 정수 비교와 구간 탐색만 남는다

GEUL 레코드는 이미 주어·술어·목적어·언어 같은 필드가 정해진 위치에 정수 ID로 들어 있다. SILK는 그 필드를 꺼내 정렬해 둘 뿐이다.

GEUL과의 상성

GEUL의 성질SILK가 얻는 것
16비트 TAG WORD 하나에 종류(Kind·Codec)와 길이가 있다코덱북 없이 레코드를 거르고 건너뛴다
Edge의 필드가 고정 위치의 레코드다키를 위치로 꺼낸다. 파싱 규칙을 따로 둘 필요가 없다
통제어가 정수 ID다(Q, P, 언어)문자열 정규화 없이 정수로 같음을 비교한다
pack이 불변 객체와 세대로 이루어져 있다색인도 불변 세그먼트와 세대로 만들어 스냅샷이 안전하다
변환이 결정적이다같은 입력이면 같은 색인이 나온다. 증분 결과를 처음부터 만든 색인과 바이트 단위로 대조할 수 있다

GEUL 문서는 다시 정렬하지 않는다. 색인은 정렬된 **보기(view)**일 뿐이고, 공표된 바이트·내용 해시·서명은 그대로다.

구조

입력

gogeul로 GEUL pack 아카이브를 읽는다. 색인이 data pack 안의 바이트 위치를 가리키므로 레코드를 압축하지 않은 세트(GEULCOMPRESS=none)여야 한다. zstd 압축은 배포·보관용이고, 탐색 계층은 무압축 pack을 쓴다.

파티션 명세

TAG 종류마다 파티션 키와 정렬 키를 레코드의 고정 위치 필드로 선언한다. 술어나 언어 같은 것은 하드코딩하지 않으며, 아래는 위키데이터 문서용 기본값이다.

TAG파티션 키정렬 키
TRIPLE술어(Predicate)목적어(Object)
QUALIFIER속성(Property)값(Value)
LABEL·ALIAS·DESCRIPTION언어주어(Subject)
SOURCE없음출처(Origin)
REFERENCE-NODE없음목적어(Object)
  • 키는 필드 레코드의 앞 몇 바이트(슬롯)다. 레코드가 슬롯 안에 들어가면 같음이 정확하고, 더 길면 후보만 고른다.
  • 코덱북이 있어야 위치를 알 수 있는 필드나 길이가 무제한인 필드를 파티션 키로 쓰면 명세 검증에서 거부한다.
  • 명세는 내용 해시로 식별한다. 명세가 바뀌면 그 TAG만 다시 만든다.

런·증분·합치기

요소역할
정렬 런파티션별로 (정렬 키, 문서, 오프셋)을 정렬한 불변 세그먼트. 이분 탐색한다
덧붙인 세그먼트증분 갱신(silk index update)으로 새로 들어온 판만 담는다. 스캔한다
살아 있는 판 비트맵바뀐 문서의 옛 판을 지우지 않고 죽은 것으로 표시한다
크기 단계별 합치기같은 크기 단계의 런을 O(n) 병합으로 합치고, 죽은 행이 많으면 기본 런까지 합친다
세대매니페스트 세대를 원자적으로 교체한다. 읽는 쪽은 세대를 고정하므로 합치기 중에도 스냅샷이 유지된다

합치기는 유휴 시에만 돌릴 수 있다(-idle, CPU·메모리 30%를 남긴다). 파티션 경계에서 멈추고 체크포인트에서 이어 쓴다.

질의

  1. 같음 조건: 파티션을 찾고 정렬 런에서 이분 탐색한다.
  2. 여러 조건: 문서(주어) 기준으로 병합 조인한다. 모든 조건이 한 문서 안에서 성립해야 한다.
  3. 정밀 확인: 후보 레코드를 gogeul로 디코드해 필드별로 비교하고 Edge Id를 읽는다.
silk query -triple P106=Q169470 ARCHIVE
silk query -count -triple P31=Q5 -triple P106=Q169470 ARCHIVE
silk query -label ko -match LABEL:1=Q42 ARCHIVE

실측

위키데이터 Q1–Q10000과 속성 문서 16,696개(271MB, 색인 레코드 707만 개)에서 쟀다. 8스레드, 7회 중 최선값이고 프로세스 기동 시간은 뺐다.

질의

질의결과 문서이전 방식(전수 스캔)SILK 색인
P106=Q169470 (직업=물리학자)55약 20ms0.12ms
P31=Q5 (사람)1,579약 19ms약 1ms
사람 + 물리학자54약 38ms약 1ms
LABEL ko9,746(불가)약 4ms
  • 이전 방식은 TRIPLE 레코드 맵을 전수 스캔했다.
  • LABEL ko는 대부분 9,746건을 pack에서 읽어 정밀 확인하는 시간이다.

크기·빌드·증분

항목값
색인 크기113MB (레코드당 평균 15.7B)
빌드약 3초 (문서 파싱 단일 스레드)
증분 갱신 (4,217개 판 변경)1.8초
증분 결과갱신 2번·합치기 2번·중단 후 재개를 거쳐도 처음부터 만든 색인과 질의 결과가 바이트 단위로 같다
쓰기 증폭누적 1.31 (매번 다시 빌드하면 1.71)
  • 위키데이터 전체(레코드 약 75억 개)로 외삽하면 색인은 약 110GB다(추정).
  • 비용은 크기다. 레코드당 4B인 단순 맵보다 약 4배 크다. 슬롯 폭 축소와 개체 서명이 다음 검토 대상이다.

서명 스캔 (개체 서명용 사전 측정)

128비트 서명 1억 개를 마스크·패턴으로 스캔하는 시간을 환산했다(i7-14700K, AVX2).

구현시간
NumPy 1스레드약 1초
Go 1스레드약 134ms
Go 8스레드약 27ms
Go 16–20스레드약 23ms (메모리 대역폭 한계)

차이를 만드는 것은 언어가 아니라 중간 배열 없는 융합 루프와 다중 스레드다.

벡터 검색과의 관계

대체가 아니라 역할 분담이다.

SILK벡터 검색
맡는 질의구조화 질의 (술어·목적어·언어·개체 조건)구조로 표현하기 어려운 의미 유사도
결과조건을 만족하는 집합 (정확)유사도 순위 (근사)
전제데이터가 GEUL로 구조화되어 있어야 한다원문이나 임베딩만 있으면 된다

GEUL로 표현된 사실을 찾는 질의라면 SILK가 정확하고 싸다. 구조가 없는 원문이나 “비슷한 것"을 찾는 질의는 벡터 검색이 낫다.

위치와 다음 단계

SILK는 WMS(GEUL 저장·인출 조율자)가 쓰는 탐색 기술이다. 찾은 진술이 옳은지 따지는 판정은 별도 판정 엔진이 맡는다.

다음 단계내용
개체 서명개체마다 16–128비트 고정 폭 비트열. 사용자가 필드(열거·원핫·블룸·접두·구간)를 선언한다. 근사 1차 필터라 정밀 확인이 뒤따른다. 현재 계획 단계(라이브러리 일부만 있고 색인에는 아직 없음)
명세를 GEUL 문서로JSON 명세를 GEUL 문서로 선언하고, 레이아웃을 코덱 규격 문서(DECLARE·FIELD)에서 읽는다
진술 조립 색인QUALIFIER·SOURCE가 가리키는 TRIPLE을 바로 찾는 Target 색인
대용량 대비빌드·합치기 메모리 상한, 빌드 파싱 병렬화

초기 구상(2026-03)은 Python·NumPy로 64비트 개체 식별자를 비트 AND 스캔하는 설계였다. 지금은 GEUL 레코드를 직접 색인하는 Go 엔진으로 바뀌었다.

저장소·라이선스

  • 저장소: github.com/geul-org/silk
  • 설치: go install github.com/geul-org/silk/cmd/silk@latest
  • 라이선스: 우리 저작물은 CC0 1.0. 제3자 구성요소는 각자의 라이선스를 따른다(저장소 NOTICE).