بودجه خزش

تعریف مستقل

بودجه خزش تعداد صفحاتی است که گوگل‌بات طی یک بازه زمانی مشخص در یک سایت بررسی می‌کند. این بودجه از دو مؤلفه محاسبه می‌شود: نرخ خزش (تعداد درخواست در ثانیه) و تقاضای خزش (ارزش محتوایی صفحات از نظر گوگل). سایت‌های بزرگ با صفحات Orphan یا محتوای تکراری بخش زیادی از بودجه را هدر می‌دهند.

مثال عملیاتی در پروژه

یک فروشگاه اینترنتی با ۵۰ هزار SKU که فیلترهای URL پارامتریک ایندکس‌پذیر دارد ممکن است ۷۰٪ از بودجه خزش را صرف صفحات بی‌ارزش کند. اضافه‌کردن پارامترهای رنگ و سایز به disallow در robots.txt سهم صفحات اصلی را به شکل معناداری بالا می‌برد.