Компания Weights and Biases (W&B) официально представила Weave 2.0. Это масштабное обновление превращает инструмент из простого логгера в полноценный фреймворк для автоматизированной оценки (evaluation) и мониторинга LLM-приложений. Релиз нацелен на решение главной боли AI-разработки — переход от субъективных «вайб-чеков» к системным метрикам.

Прощай, ручное тестирование

По данным индустриальных опросов, более 60% команд до сих пор оценивают качество ответов нейросетей «на глаз». Weave 2.0 обещает сократить время на ручную проверку на 80% за счет внедрения автоматизированных пайплайнов оценки. Теперь разработчики могут прогонять тысячи тестов одновременно, используя структурированные скореры.

Ключевые фишки Weave 2.0

• LLM-as-a-judge: встроенная возможность использовать мощные модели (например, GPT-4o или Claude 3.5) для оценки работы менее мощных или специализированных агентов.
• Гибридный скоринг: поддержка как детерминированных проверок (Regex, JSON schema, точное совпадение), так и качественных оценок через LLM.
• Глубокий трейсинг: фиксация каждого вызова модели, шага ретривала (RAG) и обращения к инструментам в реальном времени.
• Версионирование датасетов: гарантия того, что результаты тестов воспроизводимы даже после изменения промптов или обновления базовой модели.

Что это значит для вайбкодеров

Если вы строите сложные системы на базе Cursor или Claude Code, где один промпт тянет за собой цепочку действий агента, Weave 2.0 становится вашим «юнит-тестом» для AI. Инструмент позволяет быстро понять, не сломало ли изменение системного промпта логику работы приложения в специфических краевых случаях.

Weave 2.0 работает через унифицированный SDK и легко интегрируется с OpenAI, Anthropic, Google Gemini и локальными моделями. Это прямой конкурент таким платформам, как LangSmith и Braintrust, но с глубокой интеграцией в экосистему W&B, которую многие уже используют для обучения моделей.