Анализ видео через Gemini в AI-агентах: кратко о главном
🎯 О чём этот конспект: Разбор специализированного скилла для AI-агентов (Cursor, Claude Code), который позволяет нейросети буквально «видеть» происходящее на экране в видеороликах. Описана архитектура работы с мультимодальным входом, обход жестких лимитов контекста Claude через бесплатный Gemini API и реальные сценарии: извлечение кода из туториалов, автогенерация таймкодов и дебаг багов по скринкастам.
👤 Кому будет полезно: Вайбкодерам, разработчикам, техническим авторам контента и всем, кто работает в Cursor / Claude Code и хочет автоматизировать анализ видеоматериалов, митингов и скринкастов с ошибками.
✨ Что получите: Понимание трех уровней обработки видео нейросетями, готовую инструкцию по настройке скилла для Claude Code и Cursor, шаблоны промптов для извлечения терминальных команд и методику быстрой генерации таймкодов без ручного отсмотра.
1. Три уровня работы нейросетей с видео: решение проблемы сжигания лимитов
Контекст: Большинство разработчиков застряли на примитивном уровне взаимодействия с видеоконтентом, передавая AI лишь аудио-транскрипт. Однако текстовая расшифровка не передает происходящего на экране: код в IDE, параметры терминала, клики по интерфейсу и ошибки. AI-модели вроде Claude 3.5 Sonnet или GPT-4o не умеют нативно воспроизводить видеопоток — они воспринимают видео как последовательность сотен скриншотов и аудиодорожку. Для 10-минутного видео требуется обработка около 600 кадров, что мгновенно сжигает дорогой контекст и лимиты платных подписок. Решением является перенос нагрузки по распознаванию кадров на Gemini.
Тайминг: , ,
Выгода: Экономия лимитов платных моделей (Claude Code / Cursor Pro) за счет делегирования тяжелого мультимодального анализа бесплатному API Gemini (до 20 бесплатных запросов в сутки).
Как применить:
- Шаг 1: Оценка архитектуры уровней — Выберите подходящий уровень под задачу:
- Уровень 1 (Транскрипция): AI переводит аудио в текст через Whisper/YouTube Subtitles. Экрана не видит.
- Уровень 2 (Скриншоты в основную модель): AI режет видео на кадры и скармливает их в Claude/Cursor. Слишком быстро сжигает токены.
- Уровень 3 (Мультимодальный оффлоад в Gemini): Видеоряд анализирует Gemini, передавая в Claude/Cursor уже структурированную выжимку и точные данные с экрана.
- Шаг 2: Получение API-ключа Gemini — Перейдите в Google AI Studio и сгенерируйте бесплатный токен доступа к API с лимитом 20 RPM/RPD.
Результат: Понимание ограничений контекстных окон моделей и экономия лимитов при работе с тяжелыми медиафайлами.
2. Локальный режим vs режим Gemini: два сценария работы скилла
Контекст: Интегрируемый скилл поддерживает два принципиально разных режима работы в зависимости от источника видео и требований к приватности. Первый режим — локальный: алгоритм отслеживает смену сцен на видео, делает захват ключевых кадров и выкачивает субтитры (с YouTube) либо запускает локальную транскрибацию. Второй режим — прямой стриминг ссылки в Gemini: файл не скачивается на диск, а нейросеть анализирует видеопоток в облаке, вытаскивая точные визуальные фрагменты (например, параметры из терминала) по таймкодам.
Тайминг: ,
Выгода: Гибкость в работе: нулевой расход дискового пространства и трафика при работе с YouTube-ссылками через облако Gemini или возможность офлайн-обработки приватных файлов.
Как применить:
- Шаг 1: Установка скилла в окружение — Загрузите конфигурационные файлы скилла и добавьте их в рабочую директорию вашего AI-агента (Cursor Rules или Claude Code config).
- Шаг 2: Выбор режима под тип задачи — Используйте локальный режим для локальных записей экрана (
.mp4/.mov), а облачный режим Gemini — для прямых ссылок на YouTube-видео. - Шаг 3: Вызов команды в терминале агента — Сформулируйте запрос, явно указав метод анализа:
Проанализируй видео по ссылке https://www.youtube.com/watch?v=EXAMPLE_ID через режим Watch with Gemini. Извлеки все параметры конфигурации, которые автор прописывает в терминале.Результат: AI-агент автоматически парсит визуальный ряд видео без ручного скачивания гигабайтов видеоматериалов.
3. Извлечение скрытых промптов и терминальных команд из часовых туториалов
Контекст: Часто авторы обучающих видео показывают эффективные промпты, команды терминала или конфиги прямо на экране, не прикрепляя их в описание к ролику. Вручную останавливать часовое видео на паузу и перепечатывать текст с размытого экрана долго и неэффективно. Скилл позволяет скормить ссылку на длинный туториал и поручить модели найти и переписать все текстовые блоки, вводившиеся на экране автором за все время записи.
Тайминг: ,
Выгода: Сокращение времени на разбор часового обучающего видео с 60 минут до 30 секунд.
Как применить:
- Шаг 1: Передача ссылки в чат Claude Code или Cursor — Отправьте ссылку на видеоролик вашему AI-агенту с четким целевым указанием.
- Шаг 2: Запуск специализированного промпта — Передайте инструкцию по захвату конкретного типа экранной информации:
I want to understand what prompts the video author entered in this video: [ВСТАВЬТЕ_ССЫЛКУ]. Use Watch with Gemini and list all prompts and terminal commands step by step.- Шаг 3: Сохранение результата — Попросите агента сохранить извлеченные промпты в отдельный Markdown-файл проекта.
Результат: Чистый список всех промптов, конфигов и консольных команд, показанных в видео, готовый к копированию.
4. Автоматическая генерация таймкодов и транскрибация готовых роликов
Контекст: Создание таймкодов перед публикацией видео на YouTube обычно занимает 15–20 минут ручной рутины: автор вынужден просматривать готовый монтаж, фиксировать моменты смены тем и записывать таймстемпы. С помощью скилла видео передается напрямую в Claude Code: модель производит транскрибацию звуковой дорожки, сопоставляет ее со сменой визуальных сцен на экране и выдает валидный блок таймкодов менее чем за одну минуту.
Тайминг: ,
Выгода: Экономия до 20 минут на каждом публикуемом видеоролике при 100% точности тайм-якорей.
Как применить:
- Шаг 1: Подготовка локального видео — Поместите готовый
.mp4файл в папку проекта или скопируйте путь к файлу. - Шаг 2: Отправка задачи в Claude Code — Укажите локальный путь к видеофайлу и запросите структуру глав:
# Пример запроса внутри Claude Code CLI
claude "Сделай транскрибацию и напиши точные таймкоды для видео по пути ./assets/final_render.mp4 для описания на YouTube."- Шаг 3: Проверка вывода — Получите структурированный список таймкодов в формате YouTube Chapters:
00:00 - Введение и демонстрация проблемы
01:15 - Настройка API ключа Gemini
02:40 - Тестирование скилла в Claude Code
04:10 - Автоматическое создание таймкодовРезультат: Готовый блок таймкодов и расшифровка видео менее чем за 60 секунд.
5. Дебаггинг ошибок по видеозаписи экрана и суммаризация митингов
Контекст: Часто возникают баги в UI/UX или сложные ошибки логики, которые трудно описать текстом или логами, из-за чего AI-агенты (Cursor, Claude) не могут понять контекст сбоя. Записав короткое видео экрана с демонстрацией воспроизведения бага, можно передать его модели. Нейросеть проанализирует видеоряд, поймет, в какой момент и почему падает приложение, составит детальный технический баг-репорт и передаст его в Claude или Codex для мгновенного исправления кода. Аналогично система работает с записями созвонов, считывая не только речь, но и демонстрируемые слайды/дашборды.
Тайминг: ,
Выгода: Устранение необходимости долго формулировать баг-репорты вручную; моментальное нахождение багов в UI по короткому скринкасту.
Как применить:
- Шаг 1: Запись скринкаста воспроизведения бага — Запишите 10-30 секундное видео экрана с моментом возникновения ошибки в приложении (включая открытую консоль браузера/терминала).
- Шаг 2: Анализ видео через скилл — Скормите файл агенту:
Посмотри видео bug_recording.mp4. Опиши, что происходит на экране в момент ошибки, в чем причина сбоя и предложи diff-патч для исправления этого бага в нашем коде.- Шаг 3: Автоматический фикс — Claude Code считывает отчет о визуальном поведении интерфейса и вносит правки в кодовую базу проекта.
Результат: Быстрое исправление сложных UI/UX и логических багов без ручного составления тикетов.
6. Настройка отказоустойчивости: OpenRouter как фолбэк для Gemini API
Контекст: Бесплатный уровень Gemini API от Google иногда работает нестабильно, возвращает ошибки превышения квоты (Rate Limit) или сталкивается с региональными блокировками. Чтобы пайплайн работы с видео в Cursor и Claude Code не падал в ответственный момент, необходимо настроить резервный шлюз маршрутизации запросов через OpenRouter с подключением модели Gemini 1.5 Pro / Flash.
Тайминг: ,
Выгода: Бесперебойная работа AI-скилла 24/7 без зависаний и ошибок лимитов.
Как применить:
- Шаг 1: Создание ключа в OpenRouter — Зарегистрируйтесь на OpenRouter и сгенерируйте API-ключ с минимальным балансом ($1–2 хватит на тысячи минут видео).
- Шаг 2: Настройка переменных окружения — Добавьте параметры в конфигурацию скилла или файл
.env:
# Конфигурация фолбэка для видео-скилла
GEMINI_API_KEY="ваш_бесплатный_ключ_google"
OPENROUTER_API_KEY="ваш_openrouter_ключ"
FALLBACK_MODEL="google/gemini-flash-1.5"- Шаг 3: Тестирование переключения — При отказе прямого Google API скилл автоматически перенаправит видеопоток через шлюз OpenRouter.
Результат: Отказоустойчивая инфраструктура для визуального анализа видеоматериалов агентами.
Анализ видео через Gemini в AI-агентах: ответы на частые вопросы
В: Почему нельзя просто скормить видео напрямую в Claude 3.5 Sonnet внутри Cursor?
О: Claude — текстово-графическая модель, которая не принимает видеофайлы напрямую. Для обработки видео системе приходится нарезать его на сотни кадров (скриншотов), что моментально забивает контекстное окно (600+ изображений на 10 минут видео) и сжигает все доступные лимиты подписки за 1–2 запроса.
В: Сколько стоит использование Gemini для просмотра видео?
О: Базовый тариф Google AI Studio предоставляет бесплатный доступ с лимитом до 20 запросов в сутки. Этого объема достаточно для повседневного анализа нескольких длинных роликов или десятка коротких скринкастов с багами.
В: С какими инструментами совместим данный скилл?
О: Скилл кроссплатформенный и работает как в Claude Code (CLI интерфейс от Anthropic), так и в IDE Cursor (через Cursor Rules / custom tools / agent integration) или Codex.
В: Можно ли анализировать видео, которых нет на YouTube (локальные файлы)?
О: Да. Скилл поддерживает локальный режим: он обрабатывает локальный .mp4 файл на вашей машине, делает детекцию смены сцен, транскрибирует аудио и передает структурированные данные модели.
В: Как именно видео передается в Gemini при использовании ссылки?
О: При передаче ссылки на YouTube скилл не загружает тяжелое видео на ваш жесткий диск. Ссылка передается в API Gemini, который на стороне серверов Google напрямую считывает видеоряд и аудиопоток.
В: Что делать, если бесплатный API Gemini выдает ошибку квоты или недоступен?
О: Настройте фолбэк-конфигурацию через OpenRouter. Подключение модели google/gemini-flash-1.5 через OpenRouter стоит доли цента за видео и обеспечивает 100% стабильность запросов.
Анализ видео через Gemini в AI-агентах: инструменты и ссылки из видео
- Google AI Studio (Gemini API) — Платформа для получения бесплатного API-ключа с поддержкой мультимодального анализа видео — упомянут в видео.
- Claude Code — Консольный AI-агент от компании Anthropic для автономной работы с кодом и проектами — упомянут в видео.
- Cursor — AI-first IDE с поддержкой интеграции кастомных агентов и правил — упомянут в видео.
- OpenRouter — Агрегатор API нейросетей, используемый как резервный шлюз для вызова моделей Gemini — упомянут в видео.
- Jeff — Инструмент / метод интеграции в рабочий процесс вайбкодинга — упомянут в видео.
- Telegram Bot автора — Источник для загрузки готового скилла анализа видео — упомянут в видео (
первая ссылка в описании оригинала).
Конспект создан на основе видео «Now AI can watch videos for free» канала автора. Все права на оригинальный материал принадлежат авторам. Источник: https://www.youtube.com/watch?v=-_FPJwWsLMc
