Хорошей новостью об API языковой модели является то, что на бумаге цены просты: вы платите за токен. Ловушка в том, что «за токен» скрывается несколько множителей, которые определяют, стоит ли функция 50 долларов в месяц или 5000 долларов. Вот как получить защищенный н...
Хорошей новостью об API языковой модели является то, что на бумаге цены просты: вы платите за токен. Ловушка в том, что «за токен» скрывается несколько множителей, которые определяют, стоит ли функция 50 долларов в месяц или 5000 долларов.
Вот как получить оправданный номер перед совершением сделки.
Основная формула
Текст разбивается на токены — фрагменты примерно из трех-четырех символов. Вы платите за две вещи:
Токены ввода: ваше приглашение, включая системные инструкции и любой прикрепленный вами контекст.
Выходные токены: то, что модель генерирует обратно.
Оба обычно оцениваются за миллион токенов, а выход обычно в три-пять раз превышает скорость ввода, поскольку генерация текста требует больше работы, чем его чтение.
стоимость запроса = (входные токены ÷ 1 000 000 × входная цена)
(выходные токены ÷ 1 000 000 × выходная цена)
Умножьте на ожидаемое количество запросов, и вы получите месячную цифру.
Примерное руководство по размерам во время рисования: 1000 токенов ≈ 750 слов ≈ 4000 символов английского языка. Код и другие языки работают выше.
Чего не хватает наивной оценке
В приведенной выше формуле предполагается один чистый запрос на каждый вызов. Производство более запутанное:
Повторные попытки и неудачи. Таймауты, ограничения скорости, неверные ответы — каждая повторная попытка — еще одна платная.