Ландшафт потерь в магистратуре: карта под градиентным спуском

Здравствуйте, меня зовут Шриджит Венкатрамана, и я создаю LiveReview — систему проверки кода ИИ с учетом радиуса взрыва, созданную для ваших критически важных бизнес-систем. Поставьте нам звездочку, чтобы помочь разработчикам открыть для себя проект, попробовать его и поделиться своими отзывами, чтобы помочь улучшить продукт. Есть странный факт об обучении большой языковой модели: Модель с сотнями миллиардов параметров обучается путем многократного перемещения точки в невообразимо многомерном пространстве вниз. Это предложение звучит почти абсурдно. Представьте себе ландшафт, где каждая координата является весом модели. С 70 миллиардами параметров ваша «позиция» представляет собой вектор с 70 миллиардами координат. Цель обучения присваивает этой позиции одно скалярное значение. Градиентный спуск смотрит на местный склон и говорит: Двигайтесь сюда. Затем он делает это снова. И снова. И снова. В результате объектом является ландшафт потерь. Для разработчиков картина потерь — это нечто большее, чем просто математическая диковинка. Они предоставляют полезную мысленную модель для понимания того, почему скорость обучения резко возрастает, почему инициализация имеет значение, почему некоторые архитектуры обучаются значительно лучше, чем другие, почему независимо обученные модели иногда можно объединить или соединить и почему геометрия