🎯 О чём этот конспект: Разбор технологии Multi-Token Prediction (MTP), которая недавно была добавлена в Llama CPP. Это программное улучшение позволяет значительно увеличить скорость генерации текста (TPS) на локальном железе без использования дополнительных "черновых" моделей.

👤 Кому будет полезно: Вайбкодерам и разработчикам, запускающим модели локально через Llama CPP, LM Studio или Anything LLM и желающим выжать максимум производительности из своего GPU/CPU.

✨ Что получите: Пошаговую инструкцию по настройке MTP, понимание того, какие модели поддерживают эту фичу, и как правильно подобрать параметры, чтобы не замедлить, а ускорить инференс.

1. Что такое Multi-Token Prediction (MTP) и почему это важно

Контекст: Традиционно LLM предсказывают один следующий токен за раз. Существует метод Speculative Decoding (спекулятивное декодирование), где маленькая модель-черновик предсказывает токены быстрее, а большая их проверяет. Однако это требует загрузки двух моделей в память, что критично для локальных систем. MTP — это эволюция идеи: теперь одна и та же модель может предсказывать несколько токенов вперед одновременно. Это дает "бесплатный" прирост скорости без потери точности ответов.

Тайминг: [00:33], [01:47], [03:03]

Выгода: Прирост скорости генерации до 25% и выше на том же железе.

Как применить:

• Шаг 1: Обновление софта — Убедитесь, что у вас установлена последняя версия Llama CPP (релиз от конца февраля 2025 года или новее), так как поддержка MTP была добавлена совсем недавно.
• Шаг 2: Выбор модели — MTP работает только со специфическими моделями, в архитектуру которых это заложено.
• Шаг 3: Загрузка правильного веса — Обычные GGUF файлы не содержат необходимых тензоров для MTP. Нужно искать версии с пометкой MTP на HuggingFace.

Результат: Увеличение количества токенов в секунду (TPS) при сохранении исходного качества модели.

2. Какие модели поддерживают MTP прямо сейчас

Контекст: Не каждая модель может использовать MTP. Технология должна быть внедрена на этапе обучения. Автор перечисляет ключевые семейства моделей, которые уже поддерживают этот функционал в формате GGUF.

Тайминг: [03:39], [04:04]

Список поддерживаемых моделей:

1. Deepseek V3 / V4 (Base & Flash) — пионеры технологии.
2. Qwen 3.5 / 3.6 — популярные модели от Alibaba, отлично показывают себя в MTP.
3. Nemotron 3 (Super & Ultra) — массивные модели от NVIDIA.
4. Gemma 2/4 — поддержка технически есть, но активация в GGUF на данный момент может быть затруднена из-за особенностей публикации весов Google.

Важное замечание по MoE (Mixture of Experts): Для моделей типа MoE (например, Qwen 122B) прирост может быть менее заметным или отсутствовать вовсе. Лучшие результаты MTP показывает на Dense (плотных) моделях.

3. Практическая настройка Llama CPP для активации MTP

Контекст: Для запуска недостаточно просто обновить софт. Нужно использовать специфические флаги в командной строке, чтобы указать Llama CPP, сколько токенов предсказывать наперед.

Тайминг: [05:52], [07:45]

Как применить: Используйте следующие аргументы при запуске сервера или исполняемого файла Llama CPP:

# Пример команды запуска с MTP
./llama-server -m qwen3.5-9b-mtp-q4_k_m.gguf \
  --draft-mtp \
  --draft-n-max 1

Разбор параметров:

• --draft-mtp: Активирует режим Multi-Token Prediction.
• --draft-n-max [число]: Определяет, на сколько токенов вперед модель будет пытаться "заглянуть".

Результат: Если всё сделано правильно, модель загрузится с новыми тензорами и начнет генерацию с использованием спекулятивного метода внутри одной архитектуры.

4. Тонкая настройка: Почему "больше" не значит "быстрее"

Контекст: Самая частая ошибка — выставить слишком большое значение предсказания (например, 6 токенов). Автор наглядно показывает на бенчмарках, что при слишком высоком значении n-max скорость падает ниже базовой.

Тайминг: [08:05], [08:40]

Результаты тестов автора (Qwen 3.5 9B на M4 Pro):

• Без MTP: 45 TPS
• MTP (n=1): 55.38 TPS (Максимальный прирост ~25%)
• MTP (n=3): 49 TPS (Прирост всего ~8%)
• MTP (n=6): 28 TPS (Падение производительности!)

Как применить:

1. Начните с --draft-n-max 1. Это самый безопасный вариант, дающий стабильный прирост.
2. Протестируйте n=2 или n=3. Если TPS растет — оставляйте. Если падает — возвращайтесь к n=1.
3. Помните, что оптимальное число зависит от вашего железа (CPU/GPU) и конкретной модели.

Результат: Оптимизированная скорость генерации, подобранная под ваше конкретное оборудование.

FAQ

В: Можно ли использовать MTP со старыми GGUF файлами? О: Нет. Старые квантования не содержат необходимых данных (тензоров) для предсказания нескольких токенов. Вам нужно заново скачать модель с пометкой MTP (например, от Unsloth).

В: Будет ли работать MTP в LM Studio или Anything LLM? О: Да, как только эти приложения обновят встроенный движок Llama CPP до последней версии. В Anything LLM поддержка появляется очень быстро, так как автор видео является его создателем.

В: Влияет ли MTP на точность ответов (галлюцинации)? О: Нет. Это чисто архитектурное ускорение процесса генерации. Если предсказанные токены не проходят проверку основной логики модели, они отбрасываются и пересчитываются. Результат идентичен работе без MTP.

В: Работает ли это с Vision-моделями? О: Да, MTP поддерживает визуальный ввод, хотя на этапе обработки промпта (prompt processing) может быть небольшая задержка, которая будет оптимизирована в будущих обновлениях.

В: Нужно ли больше видеопамяти (VRAM) для MTP? О: Накладные расходы по памяти минимальны. Если модель влезает в вашу память сейчас, она влезет и с активированным MTP. Это гораздо экономнее, чем классический Speculative Decoding с двумя моделями.

Ресурсы и ссылки

• Anything LLM — All-in-one приложение для локального AI от автора видео — https://useanything.com/
• Llama.cpp GitHub — Основной репозиторий движка — https://github.com/ggerganov/llama.cpp
• Unsloth HuggingFace — Рекомендуемый источник качественных MTP GGUF квантований — https://huggingface.co/unsloth
• Deepseek V3/V4 — Модели, поддерживающие MTP — упомянуты в видео
• Qwen 3.5/3.6 — Модели от Alibaba с поддержкой MTP — упомянуты в видео

Конспект создан на основе видео «Multi-Token Prediction is FINALLY in Llama.cpp (25%+ Speed Increase)» канала Timothy Carambat. Все права на оригинальный материал принадлежат авторам. Источник: https://youtu.be/hAHFENCe59M