ChatGPT Voice 2.0: Полный гид по управлению компьютером и AI-агентами голосом
Как использовать ChatGPT Voice 2.0 как личного ассистента: управление файлами, отладка кода через скриншоты и интеграция с локальными агентами типа Hermes.
Маркетинг-стратег, IT-предприниматель, ментор по вайбкодингу
10+ лет в маркетинге, 300+ клиентских проектов: сайты, реклама, боты. Создатель GoBanana (228K+ пользователей, 11.6 млн ₽ выручки) и VibeCoderz. Делаю AI-продукты сам через Claude Code, Cursor, Windsurf и консультирую тех, кто хочет так же.
🎯 О чём этот конспект: Разбор возможностей обновленного голосового режима ChatGPT (Voice 2.0) и десктопного приложения. В видео демонстрируется, как превратить ИИ в полноценного ассистента типа «Джарвис», который управляет файлами, браузером и внешними AI-агентами (Hermes) через голосовые команды.
👤 Кому будет полезно: Вайбкодерам, разработчикам и предпринимателям, которые хотят автоматизировать рутину, управлять кодом и браузером без рук, а также интегрировать ChatGPT с локальными инструментами.
✨ Что получите: Пошаговый план освоения 5 уровней сложности работы с голосовым ИИ: от простых запросов до управления сложными агентскими системами и браузером.
1. Мультизадачность и управление рабочим столом
Контекст: ChatGPT Voice 2.0 теперь работает как фоновый агент на десктопе. Он может выполнять несколько разноплановых задач одновременно: от очистки рабочего стола до глубокого исследования рынка и написания кода. Главное преимущество — возможность давать сложные инструкции одной фразой и прерывать ИИ в процессе выполнения, если нужно изменить условия.
Тайминг:[01:50], [02:33]
Выгода: Экономия времени на переключении между окнами и рутинных операциях с файлами.
Как применить:
Шаг 1: Запуск режима — Откройте приложение ChatGPT на Mac и нажмите иконку голосового управления.
Шаг 2: Групповая команда — Дайте сложную инструкцию, включающую работу с файлами и вебом.
Шаг 3: Уточнение — Если ИИ начал делать не то, просто перебейте его голосом и скорректируйте задачу.
Пример промпта:
"Эй, сделай мне одолжение: во-первых, приберись у меня на рабочем столе, там бардак. Затем открой новую вкладку и проведи глубокое исследование стратегий роста в X (Twitter) на 2026 год. И пока ты это делаешь, создай простую интерактивную лендинг-страницу на HTML для моего клиента."
Результат: Организованные файлы в папках, открытый отчет с аналитикой и готовый код лендинга в новом окне.
2. Удаленное управление десктопом через телефон
Контекст: Благодаря синхронизации аккаунтов, вы можете управлять своим компьютером, находясь в другом месте (например, в кофейне). Голосовой режим на телефоне имеет доступ к контексту и файлам на вашем основном рабочем устройстве.
Тайминг:[03:57]
Выгода: Возможность извлекать информацию или запускать процессы на ПК, не находясь за ним.
Как применить:
Шаг 1: Синхронизация — Убедитесь, что на ПК и телефоне выполнен вход в один аккаунт ChatGPT.
Шаг 2: Запрос контекста — Спросите телефон о последних действиях на компьютере.
Пример команды:
"Напомни мне, какой последний файл я сохранил на рабочем столе и что в нем написано?"
Результат: ИИ прочитает содержимое файла с вашего ПК и перескажет его вам через динамик телефона.
3. Визуальный контекст и отладка кода в реальном времени
Контекст: Плавающее окно ChatGPT (Appshot) может «видеть» содержимое любого окна на экране. Это критически важно для разработчиков: можно открыть консоль браузера с ошибками и попросить ИИ объяснить их голосом, не копируя текст ошибки вручную.
Тайминг:[04:24], [04:40]
Выгода: Мгновенная диагностика багов и помощь в выборе инструментов на основе того, что вы видите на экране.
Как применить:
Шаг 1: Скриншот контекста — Разрешите приложению доступ к записи экрана (Screen Recording).
Шаг 2: Анализ страницы — Откройте сайт или код и спросите: "Что происходит на этой странице?".
Шаг 3: Отладка — Откройте Inspect Element в браузере и попросите ИИ разобрать ошибки в консоли.
Команда для отладки:
"Объясни мне ошибки на этой странице, что именно идет не так в коде?"
Результат: Голосовой разбор причин падения скриптов или рекомендации по исправлению верстки.
4. Интеграция с внешними агентами (Hermes Agent)
Контекст: ChatGPT может выступать в роли «командного центра» для других, более мощных локальных агентов, таких как Hermes. Поскольку они запущены на одной машине, ChatGPT может проверять их конфигурацию, менять модели и ставить им задачи.
Тайминг:[05:43], [06:00]
Выгода: Объединение удобного интерфейса ChatGPT с мощностью специализированных локальных AI-агентов.
Как применить:
Шаг 1: Запуск локального агента — Убедитесь, что ваш агент (например, Hermes) активен.
Шаг 2: Проверка статуса — Спросите ChatGPT о состоянии внешнего агента.
Шаг 3: Постановка задачи — Попросите ChatGPT передать команду локальному агенту.
Пример команды:
"Проверь конфигурацию Hermes Agent и скажи, какая модель его сейчас питает. А затем попроси Hermes напомнить мне завтра в 11 утра купить кофе."
Результат: ChatGPT подтверждает настройки стороннего софта и устанавливает триггер в локальной системе.
5. Hands-Free управление интерфейсами (Browser Control)
Контекст: Высший уровень использования — когда ИИ не просто советует, а кликает по кнопкам и заполняет формы за вас. Он анализирует структуру страницы, находит нужные элементы и взаимодействует с ними на основе ваших целей.
Тайминг:[06:50], [07:18]
Выгода: Полностью бесконтактное взаимодействие с веб-сервисами и сложными анкетами.
Как применить:
Шаг 1: Навигация — Попросите ИИ выбрать элемент на странице.
Шаг 2: Заполнение данных — Попросите ИИ заполнить форму, основываясь на вашей «памяти» (Memory) или профиле.
Пример команды:
"Выбери тариф 'Ninja' на экране и перейди на следующую страницу. Теперь заполни все поля анкеты, выбрав наиболее подходящие варианты, исходя из моих целей и ситуации, о которой ты знаешь."
Результат: ИИ самостоятельно нажимает кнопки и вводит данные в поля формы.
FAQ
В: Нужно ли постоянно нажимать кнопку, чтобы ChatGPT меня слышал? О: Нет, в новом режиме Voice 2.0 реализовано постоянное слушание. Вы можете общаться как с живым человеком, перебивать его, и он будет понимать контекст в реальном времени.
В: Работает ли функция «видения» экрана на Windows? О: На текущий момент функция Appshot (чтение экрана) доступна только в приложении для macOS. Для Windows функционал ограничен.
В: Может ли ChatGPT Voice видеть меня через камеру? О: Нет, текущая версия не поддерживает живой видеопоток с камеры. Он видит только скриншоты вашего рабочего стола (если дано разрешение).
В: Как сэкономить токены при использовании голосового поиска? О: Автор рекомендует использовать инструменты типа Firecrawl для скрапинга и парсинга сайтов. Это позволяет передавать ИИ чистый контент без лишнего мусора, что ускоряет работу и снижает затраты.
В: Насколько быстро работает управление браузером? О: Пока это не самая быстрая функция. Она отлично подходит для режима «без рук», но если вам нужна мгновенная реакция, ручное управление будет быстрее. Ожидаются обновления моделей для ускорения этого процесса.
Ресурсы и ссылки
Firecrawl — инструмент для скрапинга веба и превращения сайтов в AI-ready контент — https://www.firecrawl.dev/
Hermes Agent — локальный AI-агент для продвинутой автоматизации — упомянут в видео
Codeex App — приложение/платформа, используемая автором для работы с кодом — упомянута в видео
Claude Code Masterclass — курс автора по продвинутому использованию Claude и AI-агентов — ссылка в описании видео
Конспект создан на основе видео «OpenAI ChatGPT Voice 2.0: The Jarvis Update» канала Jack Cole. Все права на оригинальный материал принадлежат авторам.Источник: https://youtu.be/_wtCHLUUzlQ
