SILK adalah mesin indeks dan pencarian khusus GEUL. Tanpa mendekode seluruh dokumen GEUL, SILK menjawab kueri seperti “dokumen mana yang menyatakan bahwa pekerjaan (P106) adalah fisikawan (Q169470)?” hanya dengan indeks rekaman.

StatusPengembangan awal. Algoritme pencarian sedang divalidasi, dan format dapat berubah sebelum rilis pertama
BahasaGo
MasukanArsip GEUL pack (tanpa kompresi)
LisensiCC0
Repositorigithub.com/geul-org/silk

Tesis Inti

Yang sulit bukan pencariannya. Masalahnya adalah data tanpa struktur.

Cara lama: tulis dulu → tebak strukturnya belakangan (tokenisasi, embedding, analisis)
GEUL:      strukturkan saat menulis → pencarian tinggal perbandingan bilangan bulat dan penelusuran rentang

Rekaman GEUL sudah memuat field seperti subjek, predikat, objek, dan bahasa sebagai ID bilangan bulat pada posisi tetap. SILK hanya mengambil field tersebut dan menyimpannya dalam keadaan terurut.

Kecocokan dengan GEUL

Sifat GEULYang diperoleh SILK
Satu TAG WORD 16-bit memuat jenis (Kind·Codec) dan panjangRekaman dapat disaring dan dilewati tanpa codebook
Field Edge adalah rekaman pada posisi tetapKunci diambil berdasarkan posisi. Tidak perlu aturan parsing tersendiri
Kosakata terkendali berupa ID bilangan bulat (Q, P, bahasa)Kesamaan dibandingkan sebagai bilangan bulat, tanpa normalisasi string
pack terdiri atas objek imutabel dan generasiIndeks juga dibangun dari segmen imutabel dan generasi, sehingga snapshot aman
Konversi bersifat deterministikMasukan yang sama menghasilkan indeks yang sama. Hasil inkremental dapat dicocokkan byte demi byte dengan indeks yang dibangun dari awal

Dokumen GEUL tidak pernah diurutkan ulang. Indeks hanyalah tampilan (view) yang terurut; byte yang dipublikasikan, hash konten, dan tanda tangan tetap tidak berubah.

Struktur

Masukan

SILK membaca arsip GEUL pack melalui gogeul. Karena indeks menunjuk posisi byte di dalam data pack, set harus menyimpan rekaman tanpa kompresi (GEULCOMPRESS=none). Kompresi zstd dipakai untuk distribusi dan penyimpanan arsip; lapisan pencarian memakai pack tanpa kompresi.

Spesifikasi Partisi

Untuk setiap jenis TAG, kunci partisi dan kunci urut dideklarasikan sebagai field berposisi tetap pada rekaman. Predikat, bahasa, dan sejenisnya tidak di-hardcode; tabel di bawah adalah nilai bawaan untuk dokumen Wikidata.

TAGKunci partisiKunci urut
TRIPLEPredikat (Predicate)Objek (Object)
QUALIFIERProperti (Property)Nilai (Value)
LABEL·ALIAS·DESCRIPTIONBahasaSubjek (Subject)
SOURCEtidak adaAsal (Origin)
REFERENCE-NODEtidak adaObjek (Object)
  • Kunci adalah beberapa byte pertama (slot) dari rekaman field. Jika rekaman muat dalam slot, kesamaannya tepat; jika lebih panjang, kunci hanya memilih kandidat.
  • Validasi spesifikasi menolak field yang posisinya hanya bisa diketahui dengan codebook, atau field yang panjangnya tak terbatas, sebagai kunci partisi.
  • Spesifikasi diidentifikasi dengan hash kontennya. Jika spesifikasi berubah, hanya TAG tersebut yang dibangun ulang.

Run, Inkremen, dan Penggabungan

ElemenPeran
Run terurutSegmen imutabel yang diurutkan berdasarkan (kunci urut, dokumen, offset) per partisi. Ditelusuri dengan pencarian biner
Segmen tambahanHanya memuat revisi baru dari pembaruan inkremental (silk index update). Dipindai
Bitmap revisi hidupMenandai revisi lama dari dokumen yang berubah sebagai mati, alih-alih menghapusnya
Penggabungan bertingkat ukuranMenggabungkan run dalam tingkat ukuran yang sama dengan merge O(n), dan jika baris mati banyak, menggabungkannya sampai ke run dasar
GenerasiGenerasi manifest diganti secara atomik. Pembaca mengunci satu generasi, sehingga snapshot tetap terjaga bahkan selama penggabungan

Penggabungan dapat dibatasi hanya saat menganggur (-idle, menyisakan 30% CPU dan memori). Prosesnya berhenti di batas partisi dan dilanjutkan dari checkpoint.

Kueri

  1. Kondisi kesamaan: temukan partisi, lalu lakukan pencarian biner pada run terurut.
  2. Beberapa kondisi: lakukan merge join berdasarkan dokumen (subjek). Semua kondisi harus terpenuhi di dalam satu dokumen.
  3. Verifikasi presisi: dekode rekaman kandidat dengan gogeul, bandingkan per field, dan baca Edge Id.
silk query -triple P106=Q169470 ARCHIVE
silk query -count -triple P31=Q5 -triple P106=Q169470 ARCHIVE
silk query -label ko -match LABEL:1=Q42 ARCHIVE

Hasil Pengukuran

Diukur pada Wikidata Q1–Q10000 dan 16.696 dokumen properti (271 MB, 7,07 juta rekaman indeks). 8 thread, nilai terbaik dari 7 kali percobaan, tidak termasuk waktu startup proses.

Kueri

KueriDokumen hasilCara sebelumnya (pemindaian penuh)Indeks SILK
P106=Q169470 (pekerjaan = fisikawan)55~20ms0,12ms
P31=Q5 (manusia)1.579~19ms~1ms
manusia + fisikawan54~38ms~1ms
LABEL ko9.746(tidak bisa)~4ms
  • Cara sebelumnya memindai seluruh peta rekaman TRIPLE.
  • Untuk LABEL ko, sebagian besar waktunya habis untuk membaca 9.746 rekaman dari pack guna verifikasi presisi.

Ukuran, Build, dan Inkremen

ItemNilai
Ukuran indeks113MB (rata-rata 15,7B per rekaman)
Build~3 detik (parsing dokumen satu thread)
Pembaruan inkremental (4.217 revisi berubah)1,8 detik
Hasil inkrementalSetelah 2 kali pembaruan, 2 kali penggabungan, serta interupsi lalu dilanjutkan, hasil kueri tetap identik byte demi byte dengan indeks yang dibangun dari awal
Amplifikasi tulisKumulatif 1,31 (1,71 jika dibangun ulang setiap kali)
  • Jika diekstrapolasi ke seluruh Wikidata (sekitar 7,5 miliar rekaman), ukuran indeks sekitar 110 GB (perkiraan).
  • Biayanya adalah ukuran: sekitar 4 kali lebih besar dari peta sederhana 4 B per rekaman. Penyempitan lebar slot dan tanda tangan entitas menjadi bahan kajian berikutnya.

Pemindaian Tanda Tangan (pengukuran awal untuk tanda tangan entitas)

Waktu yang dikonversi untuk memindai 100 juta tanda tangan 128-bit dengan mask dan pola (i7-14700K, AVX2).

ImplementasiWaktu
NumPy 1 thread~1 detik
Go 1 thread~134ms
Go 8 thread~27ms
Go 16–20 thread~23ms (batas bandwidth memori)

Yang membuat perbedaan bukan bahasanya, melainkan loop terfusi tanpa array perantara dan multithreading.

Hubungan dengan Pencarian Vektor

Bukan pengganti, melainkan pembagian peran.

SILKPencarian vektor
Kueri yang ditanganiKueri terstruktur (kondisi predikat, objek, bahasa, entitas)Kemiripan makna yang sulit dinyatakan sebagai struktur
HasilHimpunan yang memenuhi kondisi (tepat)Peringkat kemiripan (aproksimasi)
PrasyaratData harus sudah terstruktur dalam GEULCukup teks asli atau embedding

Untuk kueri yang mencari fakta yang dinyatakan dalam GEUL, SILK tepat dan murah. Untuk teks asli tanpa struktur atau kueri yang mencari “sesuatu yang mirip”, pencarian vektor lebih cocok.

Posisi dan Langkah Berikutnya

SILK adalah teknologi pencarian yang dipakai WMS (koordinator penyimpanan dan pengambilan GEUL). Penilaian apakah pernyataan yang ditemukan itu benar ditangani oleh mesin penilai tersendiri.

Langkah berikutnyaIsi
Tanda tangan entitasUntaian bit lebar tetap 16–128 bit per entitas. Pengguna mendeklarasikan field-nya (enumerasi, one-hot, Bloom, prefiks, rentang). Ini filter tahap pertama yang bersifat aproksimasi, diikuti verifikasi presisi. Saat ini masih tahap perencanaan (baru sebagian ada di pustaka, belum masuk ke indeks)
Spesifikasi sebagai dokumen GEULMendeklarasikan spesifikasi JSON sebagai dokumen GEUL dan membaca tata letak dari dokumen spesifikasi codec (DECLARE·FIELD)
Indeks perakitan pernyataanIndeks Target yang langsung menemukan TRIPLE yang ditunjuk oleh QUALIFIER·SOURCE
Persiapan skala besarBatas atas memori untuk build dan penggabungan, paralelisasi parsing saat build

Gagasan awal (2026-03) adalah desain Python·NumPy yang memindai pengenal entitas 64-bit dengan operasi AND bit. Kini telah berubah menjadi mesin Go yang langsung mengindeks rekaman GEUL.

Repositori dan Lisensi

  • Repositori: github.com/geul-org/silk
  • Instalasi: go install github.com/geul-org/silk/cmd/silk@latest
  • Lisensi: karya kami berlisensi CC0 1.0. Komponen pihak ketiga mengikuti lisensinya masing-masing (NOTICE di repositori).