Команда vLLM представила обновление библиотеки Speculators v0.5.0, которое существенно меняет подход к обучению моделей спекулятивного декодирования. Главное новшество — поддержка алгоритма DFlash, позволяющего генерировать цепочки токенов-черновиков значительно быстрее предшественников.

Однопроходная генерация с DFlash

В отличие от популярной архитектуры Eagle 3, которая генерирует черновики (draft tokens) авторегрессионно за несколько проходов, DFlash использует блочную диффузию. Это позволяет предсказать весь блок черновиков за один прямой проход (forward pass).

Основные технические особенности:

• Не-каузальное внимание: Внутри блока токены могут «видеть» друг друга, что повышает точность предсказания.
• Механизм якорей (anchors): Чтобы избежать раздувания маски внимания на длинных контекстах, обучение происходит только на выбранных «якорных» позициях. Это делает потребление памяти фиксированным и позволяет работать с очень длинными последовательностями.

Онлайн-обучение и интеграция с vLLM

Версия 0.5.0 завершает миграцию на нативную систему извлечения скрытых состояний (hidden states) vLLM. Теперь онлайн- и офлайн-обучение полностью унифицированы.

Для вайбкодеров и тех, кто разворачивает свои модели, это означает упрощение пайплайна: можно дообучать «спекулятора» (маленькую модель-помощника) прямо в связке с основной моделью (например, Qwen3-8B или Gemma 4) через стандартный API-эндпоинт vLLM.

Что это дает на практике

Спекулятивное декодирование — это основной способ снизить задержку (latency) при генерации текста без потери качества. С DFlash накладные расходы на работу модели-помощника снижаются, что особенно заметно при генерации длинных кусков кода или сложных ответов.

В релизе также обновили документацию и добавили примеры для быстрого старта обучения с параметром --speculator-type dflash.