X-Robots-Tag
X-Robots-Tag — это специальная инструкция в заголовках HTTP, которая говорит поисковым роботам, можно ли индексировать конкретную страницу или файл.
Представьте, что вы вешаете на дверь своей комнаты табличку «Не беспокоить» или «Входите, но не трогайте бумаги». X-Robots-Tag работает точно так же для поисковых систем вроде Google. В отличие от файла robots.txt, который лежит в корне сайта, этот тег передается прямо в ответе сервера при загрузке конкретной страницы.
Это полезно, когда вам нужно скрыть от поиска не весь сайт, а только его часть, например, служебные документы, PDF-файлы или страницы с результатами поиска. Вы как бы даете команду роботу: «Эту страницу можно прочитать, но не добавляй её в результаты поиска», не меняя при этом код самой страницы.
Зачем это нужно
Для вайбкодера и разработчика важно понимать этот инструмент, чтобы случайно не «замусорить» поисковую выдачу техническими страницами или временными файлами, которые не должны видеть пользователи.