Команды vLLM, TorchSpec и EAGLE представили обновление одного из самых популярных алгоритмов спекулятивного декодирования — EAGLE 3.1. Если вы используете локальные LLM или строите свои инференс-сервисы, это обновление напрямую влияет на задержку (latency) и пропускную способность ваших моделей.
Что починили: Проблема «дрейфа внимания»
Главная беда спекулятивного декодирования (когда маленькая модель-черновик «угадывает» токены для большой модели) — это деградация на длинных дистанциях. Разработчики обнаружили эффект attention drift: чем глубже спекуляция, тем сильнее модель-черновик отвлекается от системного промпта и фокусируется на собственных свежесгенерированных токенах.
В версии 3.1 это решили архитектурно:
- Добавили FC-нормализацию после каждого скрытого состояния целевой модели.
- Стали передавать нормализованные состояния на следующий шаг декодирования.
На практике это делает работу черновика похожей на рекурсивный вызов, а не просто на нагромождение слоев, что стабилизирует генерацию.
Почему это важно для вайбкодеров
Для тех, кто гоняет Cursor или свои агенты на собственных инстансах vLLM, профит очевиден:
- Длинный контекст: В задачах с большим объемом кода EAGLE 3.1 показывает в 2 раза большую длину принятия (acceptance length), чем версия 3.0. Это значит, что основная модель подтверждает в два раза больше токенов за раз — генерация летит.
- Устойчивость к промптам: Алгоритм перестал «сыпаться» при смене чат-шаблонов или сложных системных инструкций.
- Готовая интеграция: В рамках релиза уже выкатили открытую модель-черновик для Kimi K2.6, обученную через TorchSpec.
Обучение через TorchSpec
Вместе с релизом обновился и фреймворк TorchSpec. Теперь обучать собственные модели-черновики под конкретные задачи стало проще и дешевле. Это открывает путь к созданию узкоспециализированных «ускорителей» для кодинговых моделей, которые будут понимать ваш стек лучше универсальных решений.
