Компания ZFLOW AI представила результаты оптимизации модели DeepSeek V4-Pro на платформе NVIDIA 8×B300. Используя метод симуляции с учетом специфики железа (hardware-aware simulation), инженерам удалось найти конфигурацию для стека SGLang, которая значительно превосходит стандартные настройки при высокой нагрузке.

Разделение Prefill и Decode

Ключевым фактором успеха стало использование дезагрегированной конфигурации (disaggregated configuration), где процессы prefill и decode разделены. В условиях высокой конкурентности запросов такая архитектура показала пиковую пропускную способность в 826 токенов в секунду.

Это в 1.54 раза выше, чем у монолитной конфигурации. Более того, задержка на хвосте (tail latency) улучшилась в 2–3 раза. Однако для одиночных потоков и работы с длинным контекстом (до 1 млн токенов) монолитный подход по-прежнему остается более эффективным.

Спекулятивное декодирование без потери качества

В тестах также проверялась работа технологии спекулятивного декодирования EAGLE. Результаты показали:

• Прирост производительности без деградации качества ответов.
• Точность по бенчмарку GSM8K осталась в пределах ±1% по сравнению с конфигурациями без MTP (Multi-Token Prediction).

Что это значит для разработчиков

Для вайбкодеров и команд, развертывающих собственные инстансы DeepSeek, этот кейс подтверждает переход индустрии от ручного подбора параметров к автоматизированным системам управления инфраструктурой. ZFLOW AI фактически строит «умную прослойку» над рантаймами (вроде SGLang), которая сама решает, как лучше распределить веса модели по узлам кластера.

Следующим шагом ZFLOW планирует протестировать двухнодовую конфигурацию B300, которая, согласно симуляции, станет оптимальным решением для продакшн-сред с экстремальными нагрузками.