🎯 О чём этот конспект: Разбор инструмента Auto-research, созданного Андреем Карпатым (экс-Tesla, OpenAI). Это метод автоматического улучшения любых измеримых метрик продукта (скорость сайта, конверсия, точность промптов) с помощью AI-агентов, которые сами выдвигают гипотезы, пишут код, тестируют его и внедряют лучшие решения.

👤 Кому будет полезно: Вайбкодерам, разработчикам, маркетологам и владельцам продуктов, которые хотят автоматизировать процесс оптимизации и A/B тестирования без ручного написания кода.

✨ Что получите: Пошаговый алгоритм настройки автономного цикла оптимизации, который может работать «пока вы спите», улучшая ваш проект итерация за итерацией.

1. Архитектура и логика Auto-research

Контекст: Auto-research — это не сложный фреймворк, а методология, основанная на трех файлах. Изначально Карпатый создал его для улучшения бенчмарков языковых моделей (GPT-2), но сообщество адаптировало его под любые задачи. Суть в том, что AI-агент (Claude, GPT-4) работает внутри цикла: читает задачу -> пишет код -> замеряет результат -> сохраняет, если стало лучше, или откатывает, если стало хуже. Это позволяет проводить сотни экспериментов автоматически.

Выгода: Полное исключение человеческого фактора из рутинной оптимизации. Возможность найти неочевидные решения (например, замена тяжелого React на Vanilla JS для ускорения сайта в 10 раз).

Как применить:

• Шаг 1: Подготовка файлов — Создайте структуру из трех компонентов: program.md (инструкция), train.py (логика эксперимента) и prepare.py (валидация метрик).
• Шаг 2: Выбор модели — Используйте продвинутых агентов (Claude 3.5 Sonnet или Claude Code) для управления циклом.
• Шаг 3: Запуск цикла — Задайте количество итераций (например, 15–50) и позвольте агенту модифицировать файлы проекта.

Результат: Автономная система, которая итеративно повышает заданную метрику (Score) до максимально возможного значения.

2. Настройка метрик и Baseline

Контекст: Инструмент работает эффективно только тогда, когда есть объективная цифровая метрика. Нельзя сказать «сделай сайт лучше», нужно сказать «увеличь Score в Lighthouse с 80 до 100» или «подними конверсию рассылки на 5%». Сначала замеряется Baseline (исходная точка), от которой агент начинает отталкиваться.

Выгода: Прозрачность прогресса. Вы точно видите в логах, какая гипотеза сработала, а какая была отброшена.

Как применить:

• Шаг 1: Определение цели — Сформулируйте задачу в program.md.

# Цель эксперимента
Оптимизировать скорость загрузки сайта (Lighthouse Performance Score).
# Ограничения
Не изменять визуальный функционал для пользователя.
# Метрика успеха
Рост Performance Score и уменьшение Page Size (KB).

• Шаг 2: Настройка замера — Напишите скрипт (например, на Python с использованием Playwright или Lighthouse CLI), который возвращает числовое значение.

Результат: Четкая система координат для AI-агента, исключающая «галлюцинации» и бесцельное изменение кода.

3. Практический кейс: Оптимизация Frontend через Claude Code

Контекст: В примере рассматривается сайт на HTML/JS/CSS, написанный «грязным» кодом (как Junior). Задача — прогнать его через 15 итераций Auto-research для достижения 100 баллов в Lighthouse. Агент последовательно внедряет: асинхронную загрузку шрифтов, минификацию CSS, оптимизацию тяжелых JS-скриптов и Lazy Loading.

Выгода: Повышение производительности сайта на 15–20% за 10–15 минут работы агента без участия программиста.

Как применить:

• Шаг 1: Клонирование репозитория — Используйте Claude Code или Cursor для развертывания структуры Auto-research.
• Шаг 2: Адаптация под задачу — Попросите AI адаптировать оригинальный код Карпатого под ваш проект.
• Промпт для адаптации:

В папке /autoresearch лежит оригинальный проект. 
Адаптируй файлы program.md и train.py под мой веб-сайт (index.html, script.js, style.css). 
Цель: оптимизация скорости загрузки. 
Используй Lighthouse для замеров. 
Положи адаптированные файлы в папку /research.

• Шаг 3: Запуск итераций — Дайте команду на выполнение цикла.

Загляни в папку /research, прочитай program.md и запусти 15 итераций 
для улучшения скорости загрузки. Результаты записывай в results.tsv.

Результат: Полностью оптимизированный код проекта и файл results.tsv с историей всех успешных и неудачных гипотез.

4. Визуализация результатов и аналитика

Контекст: После завершения итераций важно наглядно увидеть, какие изменения дали наибольший профит. Данные из results.tsv можно мгновенно превратить в интерактивный дашборд.

Выгода: Удобный отчет для клиента или команды, подтверждающий эффективность проведенной работы в цифрах и графиках.

Как применить:

• Шаг 1: Генерация дашборда — Попросите AI создать визуализацию на основе накопленных данных.
• Промпт для визуализации:

Нарисуй красивый HTML-дашборд с градиентами и графиками на основе файла results.tsv. 
Покажи тренд Performance Score и уменьшение размера страницы по итерациям. 
Выдели итерации, которые были приняты (win) и отклонены (discard).

Результат: Профессиональный отчет с графиками (Score Trend, Page Size Trend), который показывает путь от Baseline до финальной оптимизации.

FAQ

В: Можно ли использовать Auto-research для маркетинга, а не только для кода?

О: Да. Вы можете выгрузить данные о конверсии email-рассылок или рекламных креативов в CSV. Агент будет менять тексты или структуру писем, запускать (через API) тесты и анализировать, какая версия дает лучший CTR или Open Rate.

В: Сколько токенов расходует такой процесс?

О: Это зависит от сложности проекта и модели. Для 15–30 итераций на Claude 3.5 Sonnet затраты вполне приемлемы в рамках дневных лимитов. Однако для сотен итераций на тяжелых проектах стоит следить за бюджетом API.

В: Что если AI «сломает» сайт в погоне за скоростью?

О: Для этого в program.md прописываются жесткие ограничения, а в prepare.py — тесты на функциональность. Если после оптимизации кнопка перестала нажиматься, тест должен вернуть ошибку, и агент откатит изменения.

В: Какие модели лучше всего подходят для роли агента?

О: Рекомендуются модели с сильными способностями к кодингу и рассуждению: Claude 3.5 Sonnet, Claude 3 Opus, GPT-4o. Инструменты типа Claude Code идеально подходят, так как имеют прямой доступ к терминалу и файловой системе.

В: Нужны ли навыки программирования для запуска?

О: Желательно понимать основы Python для корректировки скриптов замера, но современные AI-агенты способны сами настроить окружение (установить Lighthouse, Git, зависимости), если им дать правильный системный промпт.

Конспект создан на основе видео «Как Андрей Карпатый автоматизировал оптимизацию (Auto-research)» канала [The AI Solopreneur / Артур Курицкий]. Все права на оригинальный материал принадлежат авторам. Источник: https://youtu.be/_lZGVSFDQmM