Как вы на самом деле оцениваете свое приложение RAG?

Оценка RAG: как узнать, действительно ли работает ваша система RAG Вы создали чат-бот RAG. Он отвечает на вопросы из ваших документов. Вы проверяете это несколько раз. Ответы выглядят хорошо. Итак... вы можете отправить это? Нет. Один хороший ответ не скажет вам, работает ли ваша система RAG. Приложение RAG состоит из нескольких движущихся частей. Ретривер может выйти из строя. Генератор может выйти из строя. Они могут работать как по отдельности, так и в сочетании друг с другом. И как только приложение будет запущено, ваши пользователи будут задавать вопросы, которые вы никогда не проверяли. Так как же на самом деле оценить систему RAG? Ответ — оценочный пакет. Компоненты → Конвейер → Приложение → Регрессия → Онлайн-оценка В этой статье рассматривается та же структура, которую я использую в своем оценочном видео RAG. ▶ Посмотрите видео полностью Проблема: «Так лучше» — это не оценка Представьте, что вы создаете чат-бота поддержки авиакомпаний для вымышленной авиакомпании SkyHigh Airlines. Пассажиры могут задать вопросы о: Багаж Возвраты Домашние животные Политика путешествий Чат-бот использует RAG для поиска в политических документах авиакомпании и получения ответа. Пассажир спрашивает: «Сколько стоит взять с собой мою кошку?» Чат-бот отвечает: «Привезти кошку стоит 95 долларов».