El lenguaje natural inevitablemente se alarga para resolver la ambiguedad. En una estructura clara, ese costo desaparece.
El costo de la ambiguedad
“El fue al banco.”
7 tokens. Corto. Parece eficiente.
Pero esta frase es inutilizable. No puede ponerse en el contexto de razonamiento de la IA. Porque es ambigua.
Quien es “el”? Es “banco” una institucion financiera o la orilla de un rio? Cuando fue? Por que fue?
Razonar a partir de esta frase produce cuatro ramas de incertidumbre. La incertidumbre se propaga a traves de cada paso subsiguiente de razonamiento. Cuando la incertidumbre propagada se emite como si fuera certeza, eso es alucinacion.
Entonces el lenguaje natural intenta resolver la ambiguedad. La unica forma de resolverla es usar mas palabras.
El costo de la resolucion
Veamos una version inequivoca de la frase.
“Kim Cheolsu, jefe de seccion del equipo de finanzas de Samsung Electronics, visito la sucursal de Gangnam del Banco Shinhan el lunes 15 de enero de 2024, para abrir una cuenta corporativa.”
Ahora no hay ambiguedad. El sujeto esta especificado. La ubicacion esta especificada. La marca de tiempo esta declarada. El proposito esta declarado.
Pero 7 tokens se han convertido en 40.
Los 33 tokens adicionales son completamente el costo de desambiguacion. No son informacion nueva. Especificar “el” como “Kim Cheolsu, jefe de seccion del equipo de finanzas de Samsung Electronics” no anadio significado — removio ambiguedad.
En lenguaje natural, la claridad no es gratuita. Para ser claro, debes ser extenso. Esta es una propiedad estructural del lenguaje natural.
Por que el lenguaje natural inevitablemente se alarga
El lenguaje natural evoluciono para la comunicacion entre humanos. En la comunicacion humana, la ambiguedad es una caracteristica.
“El fue al banco, me dicen.”
Si el hablante y el oyente comparten el mismo contexto, ya saben quien es “el” y cual es el “banco.” 7 tokens es suficiente. La ambiguedad es un mecanismo de compresion. Omite confiando en el contexto compartido.
El problema surge en el lado de la descompresion.
Para transmitir el mensaje a alguien que no comparte el contexto, todo lo que fue omitido debe restaurarse. La restauracion lo alarga.
En lenguaje natural, claridad y brevedad son un trade-off. Claro significa largo. Corto significa ambiguo. No puedes tener ambos a la vez.
Esta es la restriccion fundamental del lenguaje natural.
La IA no tiene contexto compartido
En la conversacion entre humanos, la ambiguedad es eficiente. Decadas de experiencia compartida, trasfondo cultural y flujo conversacional resuelven automaticamente la ambiguedad.
La IA no tiene esto.
El texto dentro de la ventana de contexto de la IA es todo lo que hay. El contexto fuera del texto no existe.
Pon “El fue al banco” en el contexto, y la IA comienza a razonar con cuatro ramas de incertidumbre. Elige la interpretacion “mas plausible” y acepta el riesgo de equivocarse.
Por eso el lenguaje natural es desventajoso para el contexto de la IA.
Escribe claramente y el recuento de tokens se infla, desperdiciando espacio de ventana. Escribe brevemente y la ambiguedad se convierte en materia prima para la alucinacion.
Mientras uses lenguaje natural, no hay escape de este dilema.
La claridad estructural como solucion
Para resolver este dilema, debes romper el trade-off entre claridad y brevedad.
En lenguaje natural, esto es imposible. Resolver la ambiguedad requiere anadir palabras.
Pero en una representacion estructuralmente clara, es posible.
En lenguaje natural, especificar “Kim Cheolsu” requiere escribir “Kim Cheolsu, jefe de seccion del equipo de finanzas de Samsung Electronics.” En una representacion estructurada, un solo identificador unico hace el trabajo. El identificador es inherentemente unico. El modificador “equipo de finanzas de Samsung Electronics” es innecesario. Los modificadores son dispositivos de desambiguacion para humanos — son innecesarios para maquinas.
En lenguaje natural, resolver si “banco” significa una institucion financiera o la orilla de un rio requiere escribir “Banco Shinhan, sucursal de Gangnam.” En una representacion estructurada, el identificador de la entidad apunta a la institucion financiera. La ambiguedad se bloquea en la fuente por la estructura.
En lenguaje natural, precisar un momento exige escribir “lunes 15 de enero de 2024”. En una representación estructurada, un valor va en el lugar reservado al tiempo. Como el lugar existe, una omisión se ve como omisión. Como el valor está tipado, no hay ambigüedad interpretativa.
Con claridad estructural, el costo de desambiguar tiende a cero. Los identificadores no son ambiguos, así que sobran los modificadores. Los lugares existen, así que las omisiones se ven. Los valores están tipados, así que la interpretación es determinista.
La compresion es un subproducto de la clarificacion
Aqui es donde sucede algo interesante.
Hacerlo claro lo hace mas corto.
En lenguaje natural, la claridad alarga las cosas. En representacion estructurada, la claridad acorta las cosas.
Por que?
Porque la mayor parte de lo que hace largas las frases en lenguaje natural es el costo de desambiguacion.
En “Kim Cheolsu, jefe de seccion del equipo de finanzas de Samsung Electronics”, “equipo de finanzas de Samsung Electronics” y “jefe de seccion” no son informacion — son dispositivos de identificacion. Son modificadores para acotar quien es “el.” Con un identificador unico, todos estos modificadores desaparecen.
En “lunes, 15 de enero de 2024”, la palabra “lunes” es redundante. El 15 de enero ya determina el dia de la semana. Sin embargo, en lenguaje natural, tal redundancia se anade convencionalmente para claridad. En un campo de tiempo tipado, tal redundancia es estructuralmente imposible.
Como resultado de la clarificacion estructural, la expresion se vuelve mas corta que el lenguaje natural.
Esto no es compresion intencional. Es el resultado de la desaparicion del costo de desambiguacion.
La paradoja de una sola frase
Hay algo que admitir aqui.
Para una sola frase, una representacion estructurada puede ser mas larga que el lenguaje natural.
“Yi Sun-sin fue grandioso.”
En lenguaje natural, esto se dice en 7 tokens. Al convertirlo en representación estructurada —una Reference que apunta al objeto, una Edge que une la afirmación, registros que añaden fuente y tiempo— la sobrecarga estructural puede ser mayor que la propia oración.
Esto es cierto. Hay un costo fijo al incrustar claridad en la estructura.
Pero a medida que el numero de enunciados crece, ocurre una inversion.
Si hay 100 enunciados sobre Yi Sun-sin, el lenguaje natural escribe “Yi Sun-sin” 100 veces. En una representacion estructurada, defines el nodo de Yi Sun-sin una vez y 100 aristas lo referencian.
Si 50 enunciados provienen de la misma fuente, el lenguaje natural cita la fuente cada vez o la omite y se vuelve ambiguo. En una representacion estructurada, los metadatos se vinculan una vez.
A medida que los enunciados se acumulan, las tasas de comparticion de nodos suben. A medida que las tasas de comparticion de nodos suben, las ganancias de la claridad estructural crecen.
Cuántas afirmaciones hacen falta para la inversión depende de la forma de las afirmaciones. Pero en ingeniería de contexto, lo que entra en la ventana rara vez es una o dos oraciones: suele ser un conjunto de afirmaciones que comparten los mismos objetos y las mismas fuentes.
Y hay algo más importante que la longitud. El valor de una representación estructurada está menos en ser corta que en poder encontrarse.
La reaccion en cadena que la claridad crea
La clarificacion no solo produce compresion.
La indexación se vuelve posible. Con identificadores no ambiguos, la búsqueda precisa se vuelve posible. Buscar “ingresos de Apple” no trae “datos nutricionales de la manzana”. Los identificadores son enteros, así que se busca por comparación de enteros y búsqueda por rangos, sin comparar cadenas.
La validacion se hace posible. Cuando la estructura esta tipada, “es esta una expresion valida?” puede juzgarse mecanicamente. En lenguaje natural, el concepto de una “frase invalida” no existe. En una estructura clara, si un campo requerido esta vacio, es invalido.
La comprobación de consistencia se vuelve posible. Cuando las afirmaciones sobre la misma entidad no son ambiguas, “¿se contradicen estas dos afirmaciones?” puede juzgarse mecánicamente. En lenguaje natural, saber si “el CEO es A” y “el CEO es B” se contradicen exige que la IA lea ambas oraciones y razone. En una estructura clara —misma entidad, misma relación, valores distintos— una máquina lo encuentra.
La claridad es la precondicion para todo el pipeline de ingenieria de contexto. Indexacion, validacion, filtrado, verificacion de consistencia — nada de eso funciona si la informacion no es clara.
La clarificacion no es una etapa del pipeline. Es la condicion que hace posible el pipeline.
Resumen
En lenguaje natural, claridad y brevedad son un trade-off. Claro significa largo. Corto significa ambiguo.
La IA no tiene contexto compartido. La ambiguedad del lenguaje natural se convierte en materia prima para la alucinacion. Resolver la ambiguedad infla el recuento de tokens y desperdicia la ventana.
Una representación estructuralmente clara rompe este compromiso. Los identificadores únicos bloquean la ambigüedad en origen. Los lugares tipados hacen visibles las omisiones. Cuando desaparece el costo de desambiguar, la compresión llega como subproducto.
La clarificacion es la precondicion para la ingenieria de contexto. Si la informacion no es clara, la indexacion, validacion y verificacion de consistencia no funcionan.
La compresion no es el objetivo. La clarificacion es el objetivo. La compresion sigue.