Crawl budget
Также: Краулинговый бюджет
Crawl budget — это лимит страниц сайта, которые поисковый робот готов просканировать за один раз.
Представьте, что поисковый робот — это курьер, у которого есть ограниченное время на обход всех квартир в огромном жилом комплексе. Ваш сайт — это этот комплекс. Краулинговый бюджет определяет, сколько именно «дверей» (страниц) курьер успеет постучать, прежде чем его смена закончится и он уйдет.
Если на сайте тысячи страниц, но бюджет маленький, робот может просто не дойти до самых важных разделов. Это как если бы курьер обошел только первый подъезд, а до вашей квартиры на десятом этаже так и не добрался. В итоге новые или важные страницы просто не попадают в поиск, потому что «время вышло».
Зачем это нужно
Для вайбкодера и AI-разработчика это важно, чтобы поисковики видели ваш контент. Если вы создаете много динамических страниц или используете сложные структуры, нужно следить, чтобы роботы не тратили время на мусорные страницы и индексировали только то, что действительно нужно пользователям.