RAG — это не архитектура: выбор правильной стратегии поиска для GenAI

Поисково-дополненная генерация (RAG) стала одним из шаблонов по умолчанию для создания приложений GenAI. Но есть проблема. Многие системы рассматривают RAG как архитектуру, а не как стратегию поиска. Типичная конструкция выглядит так: Пользовательский запрос ↓ Векторный поиск ↓ Топ-К Чанки ↓ Магистр права ↓ Ответ Это работает. Это может даже выглядеть впечатляюще в демо-версии. Однако производственные системы редко бывают такими простыми. Настоящий вопрос не в том: «Стоит ли мне использовать RAG?» Это: «Какого рода поиск действительно требует этой проблемы?» RAG — это шаблон, а не законченная архитектура RAG по сути означает извлечение внешней информации и предоставление ее генеративной модели в качестве контекста. Это полезно, но не говорит вам: как следует получать информацию достаточно ли одного шага поиска достаточно ли семантического сходства имеют ли значение отношения между сущностями должна ли модель решать, что получить нужен ли вообще поиск Это архитектурные решения. А выбор неправильной стратегии поиска может создать проблемы с точностью, задержкой, стоимостью и удобством обслуживания. Наивная ТРЯПКА Самая простая реализация — поиск семантических векторов. Цюй