Китайский гигант Zhipu AI (известный как «китайский OpenAI») совершил технологический прорыв, выпустив API GLM-5.1 High-Speed. Скорость генерации достигла 400 токенов в секунду, что делает её самой быстрой LLM флагманского уровня на рынке. Для сравнения: GPT-4o выдает в среднем 100–150 токенов/с, а Claude 3.5 Sonnet — около 80–120 токенов/с.

Технологический стек

Такой скачок производительности — не просто результат «разгона» железа, а следствие глубокой оптимизации архитектуры:

• Движок TileRT: Новая логика инференса, минимизирующая задержки.
• Архитектура ZCube: Сетевая структура без spine-уровня, которая увеличила пропускную способность на 15% и снизила хвостовые задержки (tail latency) на 40.6%.
• Гетерогенный параллелизм GPU: Позволяет эффективнее распределять нагрузку между чипами.

Что это значит для вайбкодеров

Для тех, кто строит продукты на базе AI-агентских фреймворков, скорость 400 токенов/с меняет правила игры в двух аспектах:

1. Мгновенный кодинг: В тестах на написание кода и суммаризацию длинных текстов GLM-5.1 High-Speed оказалась почти в 7 раз быстрее стандартных версий. Это значит, что генерация целых модулей в Cursor или Windsurf будет происходить практически в реальном времени, без томительного ожидания «печатающейся» строки.
2. Сложные цепочки агентов: Когда один агент вызывает другого, общая задержка (latency) часто становится критической. С такой скоростью многошаговые пайплайны начинают работать с отзывчивостью локального софта.

Zhipu заявляет, что высокая скорость не пошла в ущерб качеству — модель сохраняет возможности флагманской линейки GLM-5. На фоне релиза акции компании взлетели на 26%, а рыночная капитализация достигла $73 млрд, что подтверждает серьезность намерений Китая доминировать в инфраструктуре инференса.