Почему эпоха промпт-инженерии закончилась
Чем умнее модели, тем важнее не «как сказать», а «что показать». Переход от промптов к контексту и семь элементов инфраструктуры, нужных инженерии контекста.
GEUL — Искусственный язык для однозначной коммуникации между людьми и ИИ
Чем умнее модели, тем важнее не «как сказать», а «что показать». Переход от промптов к контексту и семь элементов инфраструктуры, нужных инженерии контекста.
Выглядеть релевантным и быть релевантным -- не одно и то же
Естественный язык вынужден удлиняться, чтобы снять неоднозначность. В структуре с идентификаторами и типизированными местами компромисс между ясностью и краткостью ломается, и ясность становится предпосылкой индексации, проверки и контроля согласованности.
В естественном языке нет понятия «недопустимого предложения», поэтому информация попадает в контекст без проверки. Почему механическая проверка формы по спецификации должна стоять в конвейере первой.
Не всякая достоверная информация нужна. Фильтр, который по релевантности, надёжности и актуальности отбирает только нужное сейчас, и почему в структурированном представлении эти критерии становятся операциями над полями.
Сведения, верные по отдельности, могут противоречить друг другу, когда собраны вместе. Три вида противоречий (временные, между источниками, логические) и почему в структурированном представлении их обнаружение сводится к сравнению полей и арифметике.
Естественный язык эволюционировал для человеческого общения. Неоднозначность, избыточность и подтекст — преимущества для людей, но причины галлюцинаций для ИИ. Ни языки программирования, ни существующие семантические фреймворки не дают ответа. Нужен новый искусственный язык, удовлетворяющий шести условиям одновременно.
Когда знаний становится так много, что даже индекс не помещается в контекстное окно, поиск за один шаг упирается в предел. Зачем нужно исследование — выбор направления на каждом уровне иерархической карты.
Галлюцинация — не баг LLM, а структурная неизбежность четырёх пороков естественного языка: неоднозначности, отсутствия источника, достоверности и времени. Более крупные модели не устранят её.
Markdown, JSON и XML создавались для разных эпох и целей. В них есть структура, но нет единого смысла и нет места для источников. Почему для записи и накопления рассуждений ИИ нужен отдельный формат.
Языки программирования описывают процедуры. Они не могут описать мир. JSON предоставляет структуру, но не смысл. Даже LISP лишь заимствует синтаксис.
Перестановка эмбеддинг-векторов ломает модель. Чтобы избежать поломки, нужно перестроить модель с нуля. Нужна не прозрачность внутри чёрного ящика, а прозрачный слой снаружи.
Эсперанто потерпел неудачу, потому что его нужно было учить, он пытался заменить существующие языки и существовал ради общения. Искусственный язык для ИИ идёт другим путём: людям не нужно его учить, он не заменяет естественный язык, а его цель — запись и проверка.
GEUL не отвергает Викиданные. Он загружает дамп без потерь и превращает каждую из примерно 120 миллионов сущностей в один документ GEUL со всеми языками. Проектирование семантически выровненного идентификатора (SIDX) по их классификации и частотной статистике — продолжающееся исследование.
Если строить систему глаголов самому, в ней будут пробелы, произвол и нет обоснования. GEUL изучил структуру, построив временную кодовую книгу из 13 767 глаголов WordNet, накопленных за 40 лет. Поскольку WordNet не CC0 и привязан к английскому, эта временная версия будет заменена кодовой книгой глаголов без WordNet.
Истина недоступна; нам остаются лишь чьи-то утверждения. Почему система знаний должна брать первичными данными утверждения, а не факты, и давать место для записи источника, времени и уверенности.
Если бы идентификатор был знанием, а не адресом, одна битовая операция сужала бы кандидатов без всяких JOIN. Эссе о SIDX — семантически выровненном идентификаторе, который исследует GEUL, и о том, почему его ширину определят статистика использования.
Одно 16-битное слово спроектировано как единица трёх миров: сетевого потока, формата файла и словаря LLM. Почему 16 бит, а не 8, 32 или переменная длина.
ИИ хорошо пишет файлы, но не может найти собственные файлы. Проблема не в хранении, а в извлечении. Путь от одной карты «что где лежит», как оглавление или указатель, к структурированной памяти.
Вместо того чтобы LLM каждый раз рассуждала с нуля, каждое умозаключение кристаллизуется в код и кэшируется. Структура, похожая на JIT-компилятор, вызывающая LLM только при промахе кэша, и то, к чему она приводит со временем.
Комментарии пишутся для людей. Но когда функций 10 000, машины тоже должны их читать. Если превратить комментарии из повествования в индекс, полное сканирование становится мгновенным поиском.
GEUL оставляет пустыми 75% пространства 16-битного TAG WORD, с которого начинается каждая запись. Уроки IPv4, Unicode и ASCII: цена заполнения необратима, а цена пустоты — три бита на запись.