Robots.txt
Файл в корне сайта, который говорит поисковым роботам и ИИ, какие страницы можно сканировать, а какие лучше пропустить.
Robots.txt — это текстовый файл, который лежит в корне вашего сайта и работает как табличка «Вход разрешен» или «Служебное помещение» на двери офиса. Когда поисковик или ИИ-агент заходит на ваш сайт, он первым делом смотрит на этот файл, чтобы понять, какие разделы ему можно изучать, а какие — нет.
Представьте, что вы пустили гостя в квартиру. Robots.txt — это список правил, где написано: «В гостиную заходи, на кухню можно, а в спальню — нельзя». Это помогает скрыть от посторонних глаз технические страницы, личные данные или промежуточные результаты работы, которые не должны попадать в поисковую выдачу или обучающие выборки ИИ.
Зачем это нужно
Для вайбкодера это критически важно, чтобы контролировать, как именно ИИ-агенты и поисковики взаимодействуют с вашим проектом. Правильная настройка robots.txt защищает ваш контент от нежелательного парсинга и помогает экономить ресурсы сервера, не давая роботам тратить время на бесполезные страницы.