Большинство проблем RAG не начинаются с LLM

Если вы работали с RAG, вы наверняка видели это: Ответ неправильный. Итак, вы меняете подсказку. Попробуйте другую модель. Увеличить контекстное окно. Может быть, даже переключиться на более крупный LLM. И как-то... ответ все еще неправильный. Я начал думать, что иногда мы смотрим не на ту часть системы. Проблема могла возникнуть еще до того, как LLM увидел этот вопрос. Сначала посмотрите на весь поток Простую систему RAG можно представить как: Вопрос пользователя ↓ Поиск ↓ Контекст ↓ Магистр права ↓ Ответ LLM – это только одна часть этого. Прежде чем что-либо сгенерировать, система уже приняла несколько решений: Какую информацию следует искать? Как были разделены документы? Какие результаты актуальны? Сколько результатов должно быть возвращено? Следует ли отфильтровать некоторые результаты? Какие результаты должны появиться первыми? Что в конечном итоге входит в контекст модели? Поэтому, когда окончательный ответ плохой, модель не обязательно говорит о том, что что-то пошло не так. Вот простой пример Представьте, что вы создаете внутреннего помощника по поддержке. Кто-то спрашивает: «Какова наша политика возврата средств для предоплаченных заказов?» У компании есть ответ где-то в документации. Ваш LLM способен на вас