Использование LLM для рекомендательных систем: глубокий технический обзор

Традиционные рекомендательные системы сжимают поведение пользователя в скрытые векторы посредством матричной факторизации или сетей с двумя башнями. Этот подход масштабируется, но он жертвует интерпретируемостью и сталкивается с проблемами холодного запуска, разреженными сигналами и междоменными рассуждениями. Большие языковые модели меняют этот компромисс. Используя необработанные истории взаимодействия, метаданные элементов и обзоры как естественный язык, LLM могут явно рассуждать о предпочтениях пользователей, а не аппроксимировать их с помощью скалярных произведений. Задача смещается от архитектуры модели к архитектуре вывода: как вложить в модель богатый контекст, контролировать ее выходные данные и сделать это с затратами, позволяющими пережить производственный трафик? Ранжирование на основе подсказок и контекстный бюджет Самая простая интеграция рассматривает рекомендации как задачу ранжирования. Вы создаете приглашение, содержащее профиль пользователя, сжатую историю взаимодействия и список элементов-кандидатов с метаданными. Модель возвращает упорядоченный список или оценки релевантности. Лучше всего это работает, когда набор кандидатов небольшой, обычно менее 50 элементов, и когда описания элементов семантически богаты. Узким местом является длина контекста. Подробная история пользователя с метками времени, рейтингами,