Опубликованы результаты десятого батча тестов на профпригодность AI-агентов. В этот раз проверяли 10 моделей на реальных задачах: работа с файлами, выполнение shell-команд, обработка ошибок и парсинг данных. Результаты ломают стереотип о том, что за качество нужно платить сотни долларов.

Лидеры: Точность 90% за копейки

Две модели повторили исторический рекорд бенчмарка, сравнявшись с MiniMax M2 и Ernie 4.5:

• Qwen3 Coder 30B A3B: Абсолютный фаворит. Выполнил задачи за 28 секунд с точностью 90%, потратив всего $0.0004. Модель идеально сбалансирована: она не тратит лишние токены на «размышления» там, где это не нужно.
• DeepSeek Chat (Original): Старый конь борозды не портит. Оригинальная версия все еще выдает 90% точности за $0.0018. Это наглядный пример того, что «новее» не всегда значит «лучше» для агентских пайплайнов.

Сюрпризы и разочарования

Настоящим открытием стала LFM 2 24B A2B от Liquid. Она показала 85% точности, но сделала это за феноменальные $0.0002 и 15 секунд. Это самая дешевая и быстрая модель в истории теста. Если вы строите массовый продукт, где важна экономика каждого вызова — это ваш выбор.

Mistral Small 3.2 тоже показала рост: прыжок с 75% до 85% точности в рамках одного бюджетного тира.

А вот флагманы разочаровали. Qwen3.7 Max выдала те же 85%, что и бюджетники, но обошлась в 300 раз дороже ($0.13) из-за «налога на размышления» (thinking tokens). Claude Opus 4 и вовсе допустил критическую ошибку (hard fail), что при цене в $0.10 за 10 задач выглядит сомнительно.

Что это значит для вайбкодеров

Для разработки через Cursor или кастомных агентов сейчас наступает золотое время «малых» моделей.

1. Qwen3 Coder 30B — лучший выбор для ежедневных задач.
2. LFM 2 — идеальна для быстрых проверок и простых атомарных правок.
3. Избегайте Qwen3 14B для агентов: из-за принудительного режима размышлений она уходит в таймаут раньше, чем выдает код.

Методология теста: 10 задач через OpenRouter, лимит 300 токенов, температура 0.1. Проверка велась по паттернам ожидаемых выходных данных.