Основы LLM + подсказки: как они на самом деле работают

Прежде чем мы создадим что-нибудь полезное с помощью ИИ, нам нужно понять, что на самом деле происходит, когда вы отправляете сообщение в LLM. Не поверхностное объяснение, а реальный механизм. Потому что как только вы это поймете, все остальное в этой серии обретет гораздо больше смысла. Что такое LLM на самом деле? По своей сути LLM — это предсказатель следующего токена. Вот и все. Вы передаете ему последовательность текста, и он прогнозирует наиболее вероятный следующий фрагмент текста, а затем повторяет этот процесс снова и снова, пока ответ не будет завершен. «Небо есть» → скорее всего, следующий токен: «синий» → менее вероятно: «фиолетовый» → очень маловероятно: «банан» Он научился делать это, обучаясь на огромном объеме текста — книгах, веб-сайтах, коде, разговорах. В ходе этого процесса он усвоил языковые шаблоны, факты о мире, о том, как работает код, как протекает рассуждение. Все это теперь закодировано в миллиардах чисел, называемых весами. Это не мышление. Это предсказание. Но масштабное прогнозирование с достаточным количеством данных приводит к чему-то, очень похожему на мышление. Токены, а не слова Вот что удивляет многих: студенты LLM не читают слова — они читают жетоны. Токен — это небольшой фрагмент текста, обычно длиной около 3–4 символов. «Хель