🎯 О чём этот конспект: Разбор перехода от простого написания промптов к созданию устойчивых архитектурных паттернов для LLM. Видео объясняет, почему длинные промпты «ломаются» в продакшене и как заменить их системой из пяти ключевых компонентов.

👤 Кому будет полезно: Разработчикам, вайбкодерам и архитекторам AI-решений, которые столкнулись с галлюцинациями моделей, нестабильностью JSON-ответов или неконтролируемыми расходами на API.

✨ Что получите: Готовую архитектурную схему из 5 паттернов (Routing, Fallbacks, Structured Output, Validation, Cost Tracking), которую можно реализовать на 200 строках Python без тяжелых фреймворков типа LangChain.

1. Паттерн «Роутинг» (Routing)

Контекст: Попытка создать один «мега-промпт» на 900 слов, который учитывает все правила и крайние случаи, неизбежно ведет к деградации качества. Модель начинает игнорировать инструкции в середине или конце текста. Вместо этого нужно сначала классифицировать запрос пользователя и направлять его в узкоспециализированный промпт. Это позволяет держать системные инструкции короткими (до 50 слов), что резко повышает точность следования правилам.

Выгода: Снижение частоты ошибок в 2 раза и уменьшение контекстного окна (экономия токенов).

Как применить:

• Шаг 1: Классификация — Используйте дешевую и быструю модель (например, GPT-4o-mini или Claude Haiku) как диспетчер.
• Шаг 2: Специализация — Создайте отдельные промпты под каждую категорию (например: refund_request, tech_support, general_chat).

# Пример промпта для роутера
ROUTER_PROMPT = """Выдели категорию запроса: [REFUND, TECH, SALES]. 
Верни только одно слово."""

Результат: Вместо одного путанного промпта у вас набор «хирургически точных» инструментов.

2. Цепочки отказоустойчивости (Fallback Chains)

Контекст: В продакшене ошибки API, галлюцинации или невалидный JSON — это норма («это просто вторник»). Хобби-проекты падают при ошибке, а профессиональные системы имеют запасной план. Паттерн подразумевает автоматический перезапуск запроса с добавлением контекста ошибки или переключение на более мощную модель.

Выгода: Повышение надежности системы без участия человека; исправление 80% ошибок валидации на лету.

Как применить:

• Шаг 1: Итерация — Создайте цикл по списку моделей (от дешевой к дорогой).
• Шаг 2: Инъекция ошибки — Если первая попытка выдала неверный формат, передайте этот вывод и текст ошибки обратно модели.

# Логика исправления (Error Injection)
"Твой предыдущий ответ: {old_output}. 
Ошибка: отсутствует поле 'price'. Исправь JSON, используя схему: {schema}."

Результат: Система сама «чинит» свои ответы перед тем, как показать их пользователю.

3. Структурированный вывод (Structured Output)

Контекст: Разработчики часто просят «верни JSON» и надеются на чудо, используя регулярные выражения для очистки текста. Это хрупкий подход. Современные API поддерживают Tool Use (Claude) или Function Calling (OpenAI), которые гарантируют соответствие ответа заданной схеме на уровне провайдера.

Выгода: Получение типизированных объектов вместо строк; автоматическая валидация типов данных.

Как применить:

• Шаг 1: Определение схемы — Используйте библиотеку Pydantic для описания структуры данных.
• Шаг 2: Использование Instructor — Библиотека instructor оборачивает клиент LLM и возвращает готовый Python-объект.

import instructor
from pydantic import BaseModel
from openai import OpenAI
 
class UserDetails(BaseModel):
    name: str
    age: int
 
client = instructor.patch(OpenAI())
user = client.chat.completions.create(
    model="gpt-4o",
    response_model=UserDetails,
    messages=[{"role": "user", "content": "Extract: Jason is 25"}]
)
# На выходе сразу объект: user.name == "Jason"

Результат: Гарантированный формат данных, который не ломает ваш бэкенд.

4. Циклы валидации (Validation Loops)

Контекст: Структурированный вывод проверяет типы (что это число), но не логику (что цена не может быть отрицательной или дата 30 февраля). Ни один промпт не может эффективно проверить сам себя. Нужен «второй проход» — отдельный валидатор.

Выгода: Исключение логических галлюцинаций, которые могут стоить компании тысяч долларов.

Как применить:

• Шаг 1: Детерминированная проверка — Напишите код для проверки бизнес-логики (цены, даты, наличие ID в базе).
• Шаг 2: Семантическая проверка — Используйте LLM-валидатор для оценки смысла (например: «Соответствует ли саммари исходному тексту?»).
• Шаг 3: Цикл — Если валидация не прошла, отправьте фидбек обратно генератору (максимум 3 попытки).

Результат: Многоуровневый фильтр качества контента.

5. Трекинг стоимости и обсервабилити (Cost Tracking)

Контекст: Архитектура, которую нельзя измерить — это плохая архитектура. Без мониторинга вы не узнаете, что цепочка Fallback срабатывает в 30% случаев из-за плохого роутера, увеличивая расходы в 5 раз.

Выгода: Прозрачность экономики проекта и быстрое нахождение «бутылочных горлышек».

Как применить:

• Шаг 1: Логирование 4 метрик — Для каждого вызова пишите в БД: input_tokens, output_tokens, latency (задержка), is_valid (прошел ли валидацию).
• Шаг 2: Инструменты — На старте используйте простой структурированный логгер. При росте выше 10к запросов/день переходите на Langfuse, Langsmith или Braintrust.

Результат: Вы точно знаете стоимость каждого запроса и можете оптимизировать самые дорогие узлы.

FAQ

В: Почему нельзя просто написать очень подробный промпт? О: Исследования показывают, что при увеличении длины промпта модель начинает «забывать» инструкции в середине (эффект Lost in the Middle). Сложные промпты часто содержат противоречия, которые модель не может разрешить, что ведет к непредсказуемым отказам.

В: Роутинг делает систему медленнее из-за лишнего вызова? О: Да, добавляется около 200-500 мс на классификацию. Однако использование сверхбыстрых моделей (Haiku/Mini) делает эту задержку незаметной для пользователя, при этом точность ответов и надежность системы возрастают кратно.

В: В чем разница между Chain, Tree и Graph of Thought? О: Chain — линейное рассуждение (подходит для 90% задач). Tree — генерация нескольких путей и выбор лучшего (идеально для кода). Graph — нелинейное мышление с объединением контекста (сложно отлаживать, пока на стадии исследований).

В: Зачем использовать Instructor, если есть нативный JSON mode? О: Instructor интегрируется с Pydantic, что дает вам не просто строку в формате JSON, а полноценную валидацию данных, автоматические повторные попытки при ошибках парсинга и поддержку IDE (автодополнение полей).

В: Можно ли обойтись без LangChain? О: Да. Автор утверждает, что всю описанную архитектуру можно реализовать на ~200 строках чистого Python. Это дает полный контроль над системой и понимание того, где именно происходит сбой, без «магии» тяжелых фреймворков.

Конспект создан на основе видео «Prompt Engineering is Dead. Prompt Architecture is the Future» канала The Machine Pulse. Источник: https://youtu.be/raRFsZMKpfY