O Que Acontece Quando um ID e Conhecimento, Nao um Endereco
Um Endereco Nao Sabe Nada
Para encontrar Yi Sun-sin em um banco de dados, voce precisa de um ID.
No Wikidata, o ID de Yi Sun-sin e Q50184.
Esse numero aponta para Yi Sun-sin.
Mas a string Q50184 em si nao sabe nada.
Ela nao sabe se se trata de uma pessoa ou um edificio. Ela nao sabe se e um coreano ou um cidadao frances. Ela nao sabe se e uma figura do seculo XVI ou do seculo XXI. Ela nao sabe se a pessoa esta viva ou morta.
Q50184 e um endereco.
Um carteiro entregando correspondencia nao tem ideia do que esta escrito dentro do envelope.
Ele simplesmente olha o endereco no envelope e entrega.
UUID e o mesmo. 550e8400-e29b-41d4-a716-446655440000.
128 bits de numeros aleatorios. Unicos apenas para evitar colisoes –
nao dizem nada sobre o que referenciam.
Nos ultimos cinquenta anos, IDs de bancos de dados funcionaram assim. Um ID e um endereco, e para saber qualquer coisa, voce precisa seguir esse endereco e ler os dados.
Voce Precisa Seguir Para Saber
Por que isso e um problema?
Suponha que voce queira encontrar “um filosofo do sexo masculino de nacionalidade alema nascido no seculo XIX”.
Em um banco de dados tradicional, funciona assim:
1. Filtrar tabela de pessoas onde genero = 'masculino'
2. JOIN com tabela de nacionalidades e filtrar pais = 'Alemanha'
3. JOIN com tabela de datas_nascimento e filtrar ano BETWEEN 1800 AND 1899
4. JOIN com tabela de ocupacoes e filtrar ocupacao = 'filosofo'
Quatro operacoes JOIN. Cada JOIN compara linhas entre duas tabelas. Se as tabelas sao grandes, percorre um indice; se nao ha indice, faz uma varredura completa. Com um bilhao de registros, esse processo leva de segundos a dezenas de segundos.
Por que e tao complexo?
Porque o ID nao sabe nada.
Olhando para Q50184, voce nao consegue dizer se e um alemao ou um coreano,
entao precisa ir a outra tabela para obter essa informacao.
Para cada pergunta, voce precisa seguir para onde o ID aponta. Esse e o custo que bancos de dados pagam ha cinquenta anos.
E Se o ID Ja Soubesse?
Vamos inverter a premissa.
E se o proprio ID contivesse as informacoes essenciais?
E se, simplesmente olhando para o ID, voce pudesse dizer se ele se refere a um humano, de qual pais ele vem, a qual epoca pertence e como e classificado?
Para encontrar “um filosofo alemao do sexo masculino do seculo XIX”, JOINs se tornam desnecessarios.
Varrendo um bilhao de IDs, voce pode determinar instantaneamente se cada um corresponde examinando seus bits.
Essa e a ideia central do Indice Semanticamente Alinhado.
Alinhando significado no ID
O SIDX (Semantically-Aligned Index) é a pesquisa para construir um ID assim. A gramática GEUL já tem um espaço de Reference que aponta para um alvo por SIDX (GEUL-SIDX). Mas a largura e o método de atribuição ainda não foram decididos. Serão definidos a partir de estatísticas de uso acumuladas. A seguir, 64 bits são usados como exemplo para a explicação.
Os bits de um SIDX não são números aleatórios. A posição de cada bit recebe um significado.
Os bits superiores contêm a informação mais importante. Que tipo de entidade é esta? Uma pessoa, um lugar, um evento, um conceito?
Os bits seguintes contêm informação de classificação. Se é uma pessoa, de que época? De que região?
Os bits inferiores trazem informação cada vez mais específica.
O princípio central é este:
A ordem dos bits é a ordem de importância da informação.
A classificação mais fundamental no topo, as distinções mais finas na base.
Isso não é mera ordenação. É uma filosofia de design.
De um bilhão para dez mil, em uma única passagem
O poder prático do SIDX aparece nos números.
Suponha um bilhão de entidades, cada uma com um SIDX de 64 bits. Tamanho total: 1 bilhão × 8 bytes = 8 GB.
Esses 8 GB cabem inteiros na memória.
Você quer encontrar “entidades humanas originárias do Leste Asiático”. Se os bits superiores contêm uma marca de “humano” e um código de “Leste Asiático”, dá para filtrar com uma única máscara de bits.
mask = 0xFF00_0000_0000_0000 (8 bits superiores: tipo + região)
target = 0x8100_0000_0000_0000 (humano + Leste Asiático)
for each sidx in 1_bilhão:
if (sidx & mask) == target:
adicionar aos candidatos
Essa operação é paralelizada com SIMD. O limite não é o cálculo, mas a largura de banda da memória. Numa medição preliminar para o SILK, varrer com uma máscara 100 milhões de assinaturas de 128 bits (1,6 GB) levou cerca de 27 milissegundos com 8 threads Go. No mesmo ritmo, um bilhão de SIDX de 64 bits (8 GB) levaria pouco mais de 0,1 segundo.
Um bilhão de registros reduzido a dez mil. Filtrar em detalhe os dez mil restantes é instantâneo.
Zero JOIN. Zero percursos de árvore de índice. Apenas um AND de bits.
Qual deve ser a largura?
No início, achei que fosse preciso um espaço maior.
32 bytes (256 bits). Um vetor FP16 de 32 dimensões. Tentei enfiar no ID todos os atributos-chave de uma entidade. Se é humano, gênero, nacionalidade, época, ocupação, região, se está vivo, caminho de classificação…
Mas percebi uma coisa.
O ID não precisa saber tudo.
Basta reduzir um bilhão de registros a dez mil. A verificação precisa cuida do resto.
É como um posto de controle. Num pedágio de rodovia, para saber pela placa que “este veículo vai em direção à província de Gyeonggi”, não é preciso saber o que está no porta-malas.
Então talvez 64 bits bastem. Com os bits superiores para o tipo e a classificação geral, e os inferiores para a classificação fina, reduzir um bilhão de registros a dez mil parece folgadamente possível. 64 bits = quatro palavras de 16 bits. Leve mesmo dentro de um fluxo.
Mas isso ainda é uma hipótese. O GEUL não decide a largura numa escrivaninha. Com candidatos como 4 WORD (64 bits) e 16 WORD, decidirá a partir de estatísticas reais de uso. Até lá, os alvos são referenciados por IDs atribuídos em sequência, e, uma vez atribuído um SIDX, os dois IDs são ligados como o mesmo alvo.
Degradacao Graciosa: O Significado Sobrevive Mesmo Quando Bits Sao Truncados
Outra forca do alinhamento semantico sao suas caracteristicas de degradacao.
Como os bits do SIDX sao ordenados do mais ao menos importante, mesmo que os bits inferiores sejam danificados ou truncados, a informacao central nos bits superiores e preservada.
64 bits completos: "Yi Sun-sin, comandante naval do Joseon do seculo XVI"
48 bits: "Oficial militar do Joseon do seculo XVI"
32 bits: "Humano do Leste Asiatico do seculo XVI"
16 bits: "Humano"
8 bits: "Entidade fisica"
A medida que a informacao e truncada, a especificidade e perdida, mas a classificacao mais fundamental sobrevive ate o fim.
Essa e uma implementacao em nivel de bits do principio de “degradacao graciosa”.
Mesmo que uma interrupcao de rede entregue apenas dados parciais, o sistema sabe “nao sei exatamente quem e, mas e pelo menos uma historia sobre um humano” e pode continuar raciocinando.
Um contorno borrado e melhor do que silencio total. Compreensao parcial e melhor do que falha completa.
Uma consulta se torna um ID
A possibilidade mais intrigante que a indexação semanticamente alinhada abre:
E se uma consulta em linguagem natural pudesse virar um SIDX temporário?
Um usuário pergunta: “Quem foi o general que derrotou a marinha japonesa na Guerra de Imjin?”
O codificador analisa a pergunta. Humano. Leste Asiático. Século XVI. Relacionado a assuntos militares. Montar esses atributos em bits produz um SIDX temporário.
Esse SIDX temporário varre um bilhão de SIDX. As entidades com padrões de bits mais parecidos surgem como candidatas. Yi Sun-sin, Won Gyun, Gwon Yul, Yi Eok-gi…
Confrontar a informação detalhada com esses candidatos dá a resposta final.
Busca e vinculação de entidades (entity linking) poderiam virar um único mecanismo. Sem um mecanismo de busca separado, sem um pipeline de NER (reconhecimento de entidades nomeadas) separado, com uma única comparação de SIDX.
Por que não uma B-Tree?
Bancos de dados tradicionais usam índices B-Tree.
As B-Trees se destacam em encontrar um valor específico em dados ordenados em O(log n). Para “encontrar Q50184”, são ótimas.
Mas para “encontrar todas as entidades humanas originárias do Leste Asiático”, são fracas. Buscas com condições compostas exigem cruzar vários índices, e o custo desse cruzamento cresce bruscamente com a escala dos dados.
A varredura exaustiva SIDX + SIMD é outra abordagem.
Se a B-Tree é uma lista telefônica que responde rápido “quem mora neste endereço”, a varredura SIDX é um perfilamento que responde rápido “quem tem estas características”.
O tipo de pergunta é diferente, e por isso a estrutura de dados ideal também é.
| Tipo de consulta | B-Tree | Varredura SIDX |
|---|---|---|
| Busca por ID específico | O(log n), ótimo | Desnecessária (resolve-se com hash) |
| Filtragem por condições compostas | Exige JOIN, lenta | Um AND de bits, rápida |
| Busca de entidades semelhantes | Impossível | Possível por similaridade de bits |
| Inserção | O(log n), rebalanceamento | O(1), anexar |
| Complexidade de implementação | Alta | Baixa |
As duas não competem: dividem o trabalho. Hoje o SILK responde a consultas exatas como “documentos cujo predicado é P106 e cujo objeto é Q169470” com runs ordenados e busca binária. A varredura de assinaturas de bits, como primeiro filtro antes disso, está planejada como próximo passo.
Simples. Força bruta. Rápido.
A sabedoria de Huffman
A atribuição de bits do SIDX segue o princípio da codificação de Huffman.
Na codificação de Huffman, símbolos frequentes recebem códigos curtos e símbolos raros, códigos longos.
No SIDX, a informação de classificação mais necessária ocupa os bits superiores, e os detalhes raramente necessários ocupam os inferiores.
A atribuição de Codec na gramática GEUL segue o mesmo princípio. Formatos com frequência confirmada recebem um código direto curto dentro da TAG WORD, e os raros vão para formatos de Issuer com TAG de extensão.
A sabedoria de Huffman atravessa todo este design. O menor custo para o que é mais usado.
Resumo
Um ID tradicional é um endereço. Um endereço não sabe nada.
- Se o ID não carrega significado, é preciso segui-lo até os dados toda vez. Isso é um JOIN.
- Quatro JOINs sobre um bilhão de registros são lentos.
- O SIDX é a pesquisa para codificar o significado no próprio ID por alinhamento semântico.
- Um único AND com máscara de bits pode reduzir um bilhão de registros a dez mil. Zero JOIN.
- O ID não precisa saber tudo; basta estreitar os candidatos. A largura será definida por estatísticas de uso.
- Como a informação mais importante fica nos bits superiores, o núcleo do significado sobrevive mesmo com bits truncados.
- Se uma consulta em linguagem natural puder virar um SIDX temporário, a busca vira uma operação de bits.
No momento em que um ID deixa de ser endereço e se torna conhecimento, as regras do banco de dados mudam.