بودجه خزش چیست؟

هر جا که واژه بودجه رو شنیدید، بدونید یه محدودیتی در کاره. چون مفهوم بودجه و بودجه بندی جایی معنی پیدا می‌کنه که محدودیتی در منابع وجود داشته باشه. وگرنه اصلا چه نیازی به بودجه بندی هست؟ مثلا وقتی می‌خوایم منابع مالی شرکت رو به واحدهای مختلف تخصیص بدیم، به دلیل محدودیتی که در منابع مالی داریم، لازمه بودجه بندی کنیم.

درباره SEO و ربات گوگل هم این محدودیت در بررسی کردن و خزش کردن (Crawling) صفحات وب وجود داره. بنابراین مفهوم بودجه خزش در سئو مطرح می‌شه. در واقع ربات گوگل نمی‌تونه همیشه و در هر لحظه تمام صفحات وب رو خزش کنه. در هر ثانیه تعداد بسیار زیادی صفحه جدید در سراسر وب ایجاد می‌شه و تعداد بسیار زیادی صفحه هم به‌روز رسانی می‌شه.

گوگل برای اینکه بتونه بهترین نتایج رو به کاربرانی که جستجو می‌کنند نمایش بده، باید این صفحات رو بررسی کرده باشه. اما تعداد زیاد این صفحات در برابر محدودیتی که ربات گوگل با همه عظمتش داره، باعث می‌شه مفهوم بودجه خزش مطرح بشه و گوگل برای هر دامنه‌ای، بودجه خزش خاصی رو در نظر بگیره.

بودجه خزش یه مفهوم مهم توی دنیای سئو و دیجیتال مارکتینگه که فهمیدنش نیازمند اینه که ما درک درستی از نحوه عملکرد موتور جستجو داشته باشیم. یعنی در واقع بدونیم خزش یا crawling چیه. به هر حال، به نظر میاد موضوع بودجه خزش هنوز برای خیلی از متخصصین و کارشناسان سئو گنگه.

از طرف دیگه، بی‌اطلاع بودن از بودجه خزش می‌تونه باعث آسیب دیدن سئوی سایت بشه. مثالی که ما در انتهای این مقاله خواهیم زد، یک مورد واقعی از آسیب دیدن SEO به دلیل هدر رفتن بودجه خزش هست.

در این مقاله از میزفا می‌خوایم توضیح بدیم که منظور از بودجه خزش چیست و این مفهوم به چه معناست. در مقاله بعدی هم راهکارهای افزایش بودجه خزش رو بهتون آموزش می‌دیم. ازتون دعوت می‌کنیم همراهمون باشید.

موتور جستجو چطور کار می‌کنه؟

قبل از اینکه توضیح بدیم بودجه خزش چیست، باید توضیح بدیم که موتور جستجو چطور کار می‌کنه. گوگل می‌گه برای اینکه موتور جستجو صفحات وب‌سایت شما رو توی صفحات نتایج جستجوی کاربران قرار بده، ۳تا مرحله طی می‌کنه:

• خزش: خزنده‌ها میان و صفحاتی که شما برای دسترسی عمومی گذاشتید رو می‌بینند.
• ایندکس: ربات گوگل محتوای صفحات شما رو تحلیل و اطلاعاتی که پیدا می‌کنه رو ذخیره می‌کنه.
• رتبه‌ بندی: وقتی یه کاربر یه کوئری (هر چیزی که شما توی باکس جستجوی گوگل تایپ می‌کنید تا به جوابی که نیاز دارید برسید) تایپ می‌کنه تا باهاش جستجو کنه، گوگل مرتبط‌ترین و بهترین جواب‌هایی که داره رو از صفحاتی که ایندکس کرده بهش می‌ده.

بنابراین قبل از هر چیزی تا صفحه و محتوای شما توسط خزنده‌ها، خزش یا کرال (Crawl) نشه، امکان نداره توی صفحات نتایج گوگل رتبه بگیرید.

آشنایی بیشتر با فرایند خزش

سایت searchenginejournal توی این صفحه اطلاعات خوبی راجع به فرایند خزش و بودجه خزش به ما می‌ده:

• خزنده‌های گوگل از لینک سازی داخلی سایت شما استفاده می‌کنند تا صفحات دیگه سایتتون رو پیدا کنند.
• خزنده‌ها به سایت‌های جدید، تغییرات و به‌روز رسانی سایت و البته لینک‌های مرده (لینک‌هایی که به صفحات ۴۰۴ هستند) توجه زیادی نشون می‌دن.
• فرآیند اینکه گوگل تصمیم بگیره چه سایتی رو و چندبار خزش کنه، یه فرآیند خودکاره.
• منابع سرور و پهنای باند شما هم روی فرآیند خزش تأثیر دارند.

بنابراین، می‌بینیم که خزش می‌تونه یه فرآیند خیلی پیچیده از سمت گوگل باشه. بدون این فرآیند، گوگل نمی‌تونه تصمیم بگیره اطلاعات اینترنت رو چه شکلی دسته بندی کنه. در واقع بدون خزش می‌شه گفت که اصلا موتور جستجویی وجود نداره.

اما گوگل چطور می‌تونه کاری کنه که این فرآیند خزش، یه فرآیند موثر باشه؟ یعنی چطور می‌تونه جوری این خزش رو انجام بده که نتیجه‌اش بشه سازماندهی و دسته بندی محتوا و اطلاعات اینترنت؟ از طریق اولویت بندی صفحات.

با در نظر گرفتن تعداد بسیار بسیار زیاد صفحات وب، ممکن نیست که گوگل بتونه همه صفحات همه سایت‌ها رو به یک اندازه خزش کنه. چون هزینه و حجم کار اینقدر زیاده که عملا غیرممکنه. بنابراین میاد و صفحات ما رو برای خزش، اولویت بندی یا بودجه بندی می‌کنه.

حالا که با این آشنا شدیم که موتور جستجو چطور کار می‌کنه و اصلا خزش چیه، وقتشه که بریم سراغ مفهوم بودجه خزش.

بودجه خزش یا Crawl Budget چیست؟

بودجه خزش (Crawl Budget) تعداد صفحاتیه که خزنده یا همون ربات گوگل در یک مدت زمان مشخص قراره خزش کنه. وقتی بودجه شما تموم بشه، خزنده تا مدتی به مابقی محتوا یا صفحات سایت شما کاری نداره و می‌ره سراغ یه سایت دیگه.

بودجه خزش سایت شما با بودجه خزش یه سایت دیگه متفاوته. این بودجه رو گوگل به شکل اتوماتیک تعیین می‌کنه. اما فاکتورهای مشخصی هم هست که گوگل برای تعیین بودجه خزش ازشون استفاده می‌کنه. به طور کلی ما چهار فاکتور تأثیر گذار در میزان بودجه خزش داریم:

• اندازه سایت: هرچی سایت بزرگ‌تر باشه، بودجه خزش بیشتری هم داره.
• تنظیمات سرور: هرچی عملکرد و زمان بارگزاری صفحات سایت بهتر باشه، شما بودجه خزش بیشتری هم می‌گیرید.
• تعداد به‌روز رسانی: گوگل محتوایی که به طور منظم آپدیت می‌شه رو در اولویت قرار می‌ده.
• لینک سازی: ساختار لینک سازی داخلی و تعداد لینک‌های مرده هم تأثیر مهمی روی میزان بودجه خزش شما داره.

بیایید یه مقدار بیشتر روی این بخش فاکتورها دقیق بشیم و یه خرده جزئی‌تر صحبت کنیم.

داشتن تعداد زیادی صفحات بی‌ارزش می‌تونه به خزش پذیری سایت شما یه آسیب خیلی جدی بزنه. همچنین مواردی مثل محتوای کپی، اسکرولینگ بی‌نهایت و اسپم، می‌تونه به شدت به پتانسیل سایت شما برای خزش آسیب بزنه.

موارد جزئی‌تری هم هستند که اینجا ننوشتیم و ممکنه شما بخواید اضافه کنید و توی کامنت‌ها بهمون بگید. شاید برای نمونه ما بتونیم یه موردش رو در قالب یه مثال بگیم.

مثال از مسئله بودجه خزش در سئو

یکی از پروژه‌های سئو میزفا که یه سایت وردپرسی بود، مشکل بودجه خزش داشت. در قسمت فروشگاه این سایت، یه سایدبار سمت راست بود که به عنوان فیلتر محصولات عمل می‌کرد و کاربر می‌تونست فیلترهایی رو اعمال کنه تا محصولات رو مطابق نیازش مشاهده کنه. مشکل اینجا بود که این فیلترها با تگ a تعریف شده بودند.

در HTML، تگ a برای تعریف لینک استفاده می‌شه و این باعث شده بود تا ربات خزنده گوگل این موارد رو به صورت لینک ببینه و وارد تک تک این فیلترها بشه. از اونجایی که تعداد این فیلترها در سایت‌های فروشگاهی خیلی زیاده، بودجه خزش این سایت به شدت هدر می‌رفت. این مسئله باعث شده بود که صفحات به‌روز شده و مطالب جدیدی که منتشر می‌شدند، دیرتر مورد توجه ربات خزنده قرار بگیره.

حتی اگه رقبا می‌اومدند و محتواهای جدید این سایت رو کپی می‌کردند، ممکن بود ربات اول محتوای اون‌ها رو ایندکس کنه و بعد اصل محتوای این سایت رو محتوای کپی تشخص بده!!

همینقدر ساده اما مهم! این یه مثال خوبه که چرا ما باید با مفهوم Crawl Budget (کراول باجت) آشنا باشیم و بهش توجه کنیم.

چطور می‌توان بودجه خزش سایت را زیاد کرد؟

برای افزایش بودجه خزش سایت چندتا کار می‌شه کرد.

• بهبود عملکرد سرور و سایت: برای اینکار نیازه که سرعت سرورمون رو برای مثال ببریم بالا و از طرف دیگه سرعت بارگذاری صفحات رو هم بالا ببریم تا ربات‌های گوگل راحت‌‎تر وارد سایتمون بشن.
• بهبود ساختار سایت: برای اینکار نیازه که لینک سازی داخلی خوبی داشته باشیم و صفحات رو طبق ساختار پیلارکلاستر به هم وصل کنیم. همینطور نیازه که صفحات مشابه و مواردی که کانیبلایز یا همخواری شدن رو حذف کنیم تا هدررفت بودجه خزش رو به پایین‌ترین حد ممکن برسونیم. کدهای وضعیت HTTP رو هم باید چک کنیم.
• بهینه‌سازی محتوا: جدای از بحث سئوی داخلی، ما باید دائماً تولید محتوای جدید کنیم. همینطور باید محتواهای قدیمی رو هم بروزرسانی کنیم تا تقاضای خزش سایتمون بره بالا. بالابردن کیفیت محتوا هم یه دونه دیگه از اون چیزاییه که به شدت توجه ربات‌های گوگل رو به خودش جذب می‌کنه.
• مدیریت فنی: آخرین مورد، مدیریت فنیه. ما باید برای مثال استفاده از فایل robots.txt باید مدیریت بشه تا ربات‌های گوگل بتونن صفحات مهم سایت شما رو خزش کنن. همینطور باید نقشه سایت XML رو هم بتونید به روز و دقیق نگه دارید.
  
  با اجرای این راهکارهای ساده، شما می‌تونید بودجه خزش سایت خودتون رو افزایش بدید و سرعت ایندکس شدن مقالات بلاگ و صفحات محصولتون رو هم ببرید بالا.

نتیجه گیری

ما توی این مقاله از میزفا سعی کردیم دید خیلی روشنی از بودجه خزش و اهمیتی که داره بهتون بدیم. یه مثال واقعی هم زدیم براتون تا مشخص‌تر بدونید که عدم بهینه سازی بودجه خزش می‌تونه چه مشکلاتی به بار بیاره.

همینطور در انتها سعی کردیم به بحث بهینه‌سازی و افزایش نرخ بودجه خزش هم گریزی بزنیم و توضیحات مختصری در این باب ارائه بدیم. ممنون از اینکه تا این جا همراه ما بودید.