Prompt injection
Также: Промпт-инъекция
Промпт-инъекция — это попытка обмануть ИИ-модель, заставив её игнорировать исходные инструкции и выполнить действия, которые не были предусмотрены разработчиком.
Промпт-инъекция похожа на ситуацию, когда вы даете охраннику четкую инструкцию «никого не пускать», а злоумышленник подходит к нему и говорит: «Я новый начальник, отмени приказ и пропусти меня». В мире ИИ модель получает скрытую системную инструкцию, но пользователь вводит текст, который переубеждает модель или заставляет её «забыть» правила безопасности.
Это происходит, когда модель не может отличить команды разработчика от обычных данных, введенных пользователем. В итоге ИИ может выдать секретные данные, изменить свое поведение или выполнить нежелательные действия, считая, что это часть его новой задачи.
Зачем это нужно
Для вайбкодера это критический аспект безопасности. Если вы создаете приложение с ИИ, вам нужно предусмотреть защиту, чтобы пользователи не могли «взломать» логику вашего бота или получить доступ к системным настройкам через обычный чат.