Помните DFlash? В начале года о нём много шумели: способ ускорить любую LLM, не трогая саму модель. Nvidia тогда выкатила заголовки «До 15x к пропускной способности на Blackwell». Цифра весомая, звучит как революция. Мы, конечно, решили пок...
Помните DFlash? В начале года о нём много шумели: способ ускорить любую LLM, не трогая саму модель. Nvidia тогда выкатила заголовки «До 15x к пропускной способности на Blackwell». Цифра весомая, звучит как революция.
Мы, конечно, решили покрутить это вручную. Для этого взяли драфтер DFlash для Gemma 4 26B, который лежит прямо в репозитории модели, прогнали на своём стенде.
Но вместо 15x получили 2,3x, и только пока на карте висит один-единственный запрос… Если запустить 4 пользователей одновременно – ускорение исчезает, а на 8 параллельных запросах DFlash начинает проигрывать.
Сейчас расскажу, откуда берутся магические 15x и почему наши графики расходятся с вендорскими.