Команды vLLM, TorchSpec и EAGLE представили обновление одного из самых популярных алгоритмов спекулятивного декодирования — EAGLE 3.1. Если вы используете локальные LLM или строите свои инференс-сервисы, это обновление напрямую влияет на задержку (latency) и пропускную способность ваших моделей.

Что починили: Проблема «дрейфа внимания»

Главная беда спекулятивного декодирования (когда маленькая модель-черновик «угадывает» токены для большой модели) — это деградация на длинных дистанциях. Разработчики обнаружили эффект attention drift: чем глубже спекуляция, тем сильнее модель-черновик отвлекается от системного промпта и фокусируется на собственных свежесгенерированных токенах.

В версии 3.1 это решили архитектурно:

• Добавили FC-нормализацию после каждого скрытого состояния целевой модели.
• Стали передавать нормализованные состояния на следующий шаг декодирования.

На практике это делает работу черновика похожей на рекурсивный вызов, а не просто на нагромождение слоев, что стабилизирует генерацию.

Почему это важно для вайбкодеров

Для тех, кто гоняет Cursor или свои агенты на собственных инстансах vLLM, профит очевиден:

1. Длинный контекст: В задачах с большим объемом кода EAGLE 3.1 показывает в 2 раза большую длину принятия (acceptance length), чем версия 3.0. Это значит, что основная модель подтверждает в два раза больше токенов за раз — генерация летит.
2. Устойчивость к промптам: Алгоритм перестал «сыпаться» при смене чат-шаблонов или сложных системных инструкций.
3. Готовая интеграция: В рамках релиза уже выкатили открытую модель-черновик для Kimi K2.6, обученную через TorchSpec.

Обучение через TorchSpec

Вместе с релизом обновился и фреймворк TorchSpec. Теперь обучать собственные модели-черновики под конкретные задачи стало проще и дешевле. Это открывает путь к созданию узкоспециализированных «ускорителей» для кодинговых моделей, которые будут понимать ваш стек лучше универсальных решений.