Что будет после LLM? Мамба, диффузия и модели мира

Ажиотаж вокруг искусственного интеллекта следует определенному ритму: примерно каждые три года архитектура, на которую все делают ставку, заменяется чем-то новым. Следующая смена уже формируется в исследовательских лабораториях. Далее следует осмотр наиболее сильных кандидатов на замену трансформатора и доказательств того, что сдвиг уже идет. Схема повторяется: доминирующая архитектура, стена, мимо которой невозможно перелезть, и новый дизайн, обходящий эту стену. В этой статье рассматриваются четыре ограничения, связанные с трансформаторами, три альтернативные архитектуры и то, что говорят нам уже находящиеся в производстве гибридные системы. Цель — практическое чтение для инженеров, решающих, что строить на 2027 год и далее — не рынок прогнозов, а просто доказательства в их нынешнем виде в 2026 году. Схема: трехлетний цикл прорыва ИИ Каждые несколько лет центр тяжести ИИ смещается: блок-схема LR A["~2017Трансформеры заменяютRNN и CNN"] --> B["2020-2022Диффузионные модели требуютгенерации изображений"] B --> C["2022LLM доступны всем(GPT-3, ChatGPT)"] C --> D["2026-2028Гибридные посттрансформаторныесистемы в производстве"] Трансформеры появились примерно в 2017 году и создали RNN и CN.