🎯 О чём этот конспект: Разбор инструмента Auto-research, созданного Андреем Карпатым (экс-Tesla, OpenAI). Это метод автоматического улучшения любых измеримых метрик продукта (скорость сайта, конверсия, точность промптов) с помощью AI-агентов, которые сами выдвигают гипотезы, пишут код, тестируют его и внедряют лучшие решения.
👤 Кому будет полезно: Вайбкодерам, разработчикам, маркетологам и владельцам продуктов, которые хотят автоматизировать процесс оптимизации и A/B тестирования без ручного написания кода.
✨ Что получите: Пошаговый алгоритм настройки автономного цикла оптимизации, который может работать «пока вы спите», улучшая ваш проект итерация за итерацией.
1. Архитектура и логика Auto-research
Контекст: Auto-research — это не сложный фреймворк, а методология, основанная на трех файлах. Изначально Карпатый создал его для улучшения бенчмарков языковых моделей (GPT-2), но сообщество адаптировало его под любые задачи. Суть в том, что AI-агент (Claude, GPT-4) работает внутри цикла: читает задачу -> пишет код -> замеряет результат -> сохраняет, если стало лучше, или откатывает, если стало хуже. Это позволяет проводить сотни экспериментов автоматически.
Выгода: Полное исключение человеческого фактора из рутинной оптимизации. Возможность найти неочевидные решения (например, замена тяжелого React на Vanilla JS для ускорения сайта в 10 раз).
Как применить:
- Шаг 1: Подготовка файлов — Создайте структуру из трех компонентов:
program.md(инструкция),train.py(логика эксперимента) иprepare.py(валидация метрик). - Шаг 2: Выбор модели — Используйте продвинутых агентов (Claude 3.5 Sonnet или Claude Code) для управления циклом.
- Шаг 3: Запуск цикла — Задайте количество итераций (например, 15–50) и позвольте агенту модифицировать файлы проекта.
Результат: Автономная система, которая итеративно повышает заданную метрику (Score) до максимально возможного значения.
2. Настройка метрик и Baseline
Контекст: Инструмент работает эффективно только тогда, когда есть объективная цифровая метрика. Нельзя сказать «сделай сайт лучше», нужно сказать «увеличь Score в Lighthouse с 80 до 100» или «подними конверсию рассылки на 5%». Сначала замеряется Baseline (исходная точка), от которой агент начинает отталкиваться.
Выгода: Прозрачность прогресса. Вы точно видите в логах, какая гипотеза сработала, а какая была отброшена.
Как применить:
- Шаг 1: Определение цели — Сформулируйте задачу в
program.md.
# Цель эксперимента
Оптимизировать скорость загрузки сайта (Lighthouse Performance Score).
# Ограничения
Не изменять визуальный функционал для пользователя.
# Метрика успеха
Рост Performance Score и уменьшение Page Size (KB).- Шаг 2: Настройка замера — Напишите скрипт (например, на Python с использованием Playwright или Lighthouse CLI), который возвращает числовое значение.
Результат: Четкая система координат для AI-агента, исключающая «галлюцинации» и бесцельное изменение кода.
3. Практический кейс: Оптимизация Frontend через Claude Code
Контекст: В примере рассматривается сайт на HTML/JS/CSS, написанный «грязным» кодом (как Junior). Задача — прогнать его через 15 итераций Auto-research для достижения 100 баллов в Lighthouse. Агент последовательно внедряет: асинхронную загрузку шрифтов, минификацию CSS, оптимизацию тяжелых JS-скриптов и Lazy Loading.
Выгода: Повышение производительности сайта на 15–20% за 10–15 минут работы агента без участия программиста.
Как применить:
- Шаг 1: Клонирование репозитория — Используйте Claude Code или Cursor для развертывания структуры Auto-research.
- Шаг 2: Адаптация под задачу — Попросите AI адаптировать оригинальный код Карпатого под ваш проект.
- Промпт для адаптации:
В папке /autoresearch лежит оригинальный проект.
Адаптируй файлы program.md и train.py под мой веб-сайт (index.html, script.js, style.css).
Цель: оптимизация скорости загрузки.
Используй Lighthouse для замеров.
Положи адаптированные файлы в папку /research.- Шаг 3: Запуск итераций — Дайте команду на выполнение цикла.
Загляни в папку /research, прочитай program.md и запусти 15 итераций
для улучшения скорости загрузки. Результаты записывай в results.tsv.Результат: Полностью оптимизированный код проекта и файл results.tsv с историей всех успешных и неудачных гипотез.
4. Визуализация результатов и аналитика
Контекст: После завершения итераций важно наглядно увидеть, какие изменения дали наибольший профит. Данные из results.tsv можно мгновенно превратить в интерактивный дашборд.
Выгода: Удобный отчет для клиента или команды, подтверждающий эффективность проведенной работы в цифрах и графиках.
Как применить:
- Шаг 1: Генерация дашборда — Попросите AI создать визуализацию на основе накопленных данных.
- Промпт для визуализации:
Нарисуй красивый HTML-дашборд с градиентами и графиками на основе файла results.tsv.
Покажи тренд Performance Score и уменьшение размера страницы по итерациям.
Выдели итерации, которые были приняты (win) и отклонены (discard).Результат: Профессиональный отчет с графиками (Score Trend, Page Size Trend), который показывает путь от Baseline до финальной оптимизации.
Auto-research: ответы на частые вопросы
В: Можно ли использовать Auto-research для маркетинга, а не только для кода?
О: Да. Вы можете выгрузить данные о конверсии email-рассылок или рекламных креативов в CSV. Агент будет менять тексты или структуру писем, запускать (через API) тесты и анализировать, какая версия дает лучший CTR или Open Rate.
В: Сколько токенов расходует такой процесс?
О: Это зависит от сложности проекта и модели. Для 15–30 итераций на Claude 3.5 Sonnet затраты вполне приемлемы в рамках дневных лимитов. Однако для сотен итераций на тяжелых проектах стоит следить за бюджетом API.
В: Что если AI «сломает» сайт в погоне за скоростью?
О: Для этого в program.md прописываются жесткие ограничения, а в prepare.py — тесты на функциональность. Если после оптимизации кнопка перестала нажиматься, тест должен вернуть ошибку, и агент откатит изменения.
В: Какие модели лучше всего подходят для роли агента?
О: Рекомендуются модели с сильными способностями к кодингу и рассуждению: Claude 3.5 Sonnet, Claude 3 Opus, GPT-4o. Инструменты типа Claude Code идеально подходят, так как имеют прямой доступ к терминалу и файловой системе.
В: Нужны ли навыки программирования для запуска?
О: Желательно понимать основы Python для корректировки скриптов замера, но современные AI-агенты способны сами настроить окружение (установить Lighthouse, Git, зависимости), если им дать правильный системный промпт.
Конспект создан на основе видео «Как Андрей Карпатый автоматизировал оптимизацию (Auto-research)» канала [The AI Solopreneur / Артур Курицкий]. Все права на оригинальный материал принадлежат авторам. Источник: https://youtu.be/_lZGVSFDQmM
