بودجه خزش چیست؟

بودجه خزش چیست

هر جا که واژه بودجه رو شنیدید، بدونید یه محدودیتی در کاره. چون مفهوم بودجه و بودجه بندی جایی معنی پیدا می‌کنه که محدودیتی در منابع وجود داشته باشه. وگرنه اصلا چه نیازی به بودجه بندی هست؟ مثلا وقتی می‌خوایم منابع مالی شرکت رو به واحدهای مختلف تخصیص بدیم، به دلیل محدودیتی که در منابع مالی داریم، لازمه بودجه بندی کنیم.

درباره SEO و ربات گوگل هم این محدودیت در بررسی کردن و خزش کردن (Crawling) صفحات وب وجود داره. بنابراین مفهوم بودجه خزش در سئو مطرح می‌شه. در واقع ربات گوگل نمی‌تونه همیشه و در هر لحظه تمام صفحات وب رو خزش کنه. در هر ثانیه تعداد بسیار زیادی صفحه جدید در سراسر وب ایجاد می‌شه و تعداد بسیار زیادی صفحه هم به‌روز رسانی می‌شه.

گوگل برای اینکه بتونه بهترین نتایج رو به کاربرانی که جستجو می‌کنند نمایش بده، باید این صفحات رو بررسی کرده باشه. اما تعداد زیاد این صفحات در برابر محدودیتی که ربات گوگل با همه عظمتش داره، باعث می‌شه مفهوم بودجه خزش مطرح بشه و گوگل برای هر دامنه‌ای، بودجه خزش خاصی رو در نظر بگیره.

بودجه خزش یه مفهوم مهم توی دنیای سئو و دیجیتال مارکتینگه که فهمیدنش نیازمند اینه که ما درک درستی از نحوه عملکرد موتور جستجو داشته باشیم. یعنی در واقع بدونیم خزش یا crawling چیه. به هر حال، به نظر میاد موضوع بودجه خزش هنوز برای خیلی از متخصصین و کارشناسان سئو گنگه.

از طرف دیگه، بی‌اطلاع بودن از بودجه خزش می‌تونه باعث آسیب دیدن سئوی سایت بشه. مثالی که ما در انتهای این مقاله خواهیم زد، یک مورد واقعی از آسیب دیدن SEO به دلیل هدر رفتن بودجه خزش هست.

در این مقاله از میزفا می‌خوایم توضیح بدیم که منظور از بودجه خزش چیست و این مفهوم به چه معناست. در مقاله بعدی هم راهکارهای افزایش بودجه خزش رو بهتون آموزش می‌دیم. ازتون دعوت می‌کنیم همراهمون باشید.

موتور جستجو چطور کار می‌کنه؟

قبل از اینکه توضیح بدیم بودجه خزش چیست، باید توضیح بدیم که موتور جستجو چطور کار می‌کنه. گوگل می‌گه برای اینکه موتور جستجو صفحات وب‌سایت شما رو توی صفحات نتایج جستجوی کاربران قرار بده، ۳تا مرحله طی می‌کنه:

  • خزش: خزنده‌ها میان و صفحاتی که شما برای دسترسی عمومی گذاشتید رو می‌بینند.
  • ایندکس: ربات گوگل محتوای صفحات شما رو تحلیل و اطلاعاتی که پیدا می‌کنه رو ذخیره می‌کنه.
  • رتبه‌ بندی: وقتی یه کاربر یه کوئری (هر چیزی که شما توی باکس جستجوی گوگل تایپ می‌کنید تا به جوابی که نیاز دارید برسید) تایپ می‌کنه تا باهاش جستجو کنه، گوگل مرتبط‌ترین و بهترین جواب‌هایی که داره رو از صفحاتی که ایندکس کرده بهش می‌ده.

بنابراین قبل از هر چیزی تا صفحه و محتوای شما توسط خزنده‌ها، خزش یا کرال (Crawl) نشه، امکان نداره توی صفحات نتایج گوگل رتبه بگیرید.

آشنایی بیشتر با فرایند خزش

سایت searchenginejournal توی این صفحه اطلاعات خوبی راجع به فرایند خزش و بودجه خزش به ما می‌ده:

  • خزنده‌های گوگل از لینک سازی داخلی سایت شما استفاده می‌کنند تا صفحات دیگه سایتتون رو پیدا کنند.
  • خزنده‌ها به سایت‌های جدید، تغییرات و به‌روز رسانی سایت و البته لینک‌های مرده (لینک‌هایی که به صفحات ۴۰۴ هستند) توجه زیادی نشون می‌دن.
  • فرآیند اینکه گوگل تصمیم بگیره چه سایتی رو و چندبار خزش کنه، یه فرآیند خودکاره.
  • منابع سرور و پهنای باند شما هم روی فرآیند خزش تأثیر دارند.

بنابراین، می‌بینیم که خزش می‌تونه یه فرآیند خیلی پیچیده از سمت گوگل باشه. بدون این فرآیند، گوگل نمی‌تونه تصمیم بگیره اطلاعات اینترنت رو چه شکلی دسته بندی کنه. در واقع بدون خزش می‌شه گفت که اصلا موتور جستجویی وجود نداره.

ربات گوگل

اما گوگل چطور می‌تونه کاری کنه که این فرآیند خزش، یه فرآیند موثر باشه؟ یعنی چطور می‌تونه جوری این خزش رو انجام بده که نتیجه‌اش بشه سازماندهی و دسته بندی محتوا و اطلاعات اینترنت؟ از طریق اولویت بندی صفحات.

با در نظر گرفتن تعداد بسیار بسیار زیاد صفحات وب، ممکن نیست که گوگل بتونه همه صفحات همه سایت‌ها رو به یک اندازه خزش کنه. چون هزینه و حجم کار اینقدر زیاده که عملا غیرممکنه. بنابراین میاد و صفحات ما رو برای خزش، اولویت بندی یا بودجه بندی می‌کنه.

حالا که با این آشنا شدیم که موتور جستجو چطور کار می‌کنه و اصلا خزش چیه، وقتشه که بریم سراغ مفهوم بودجه خزش.

بودجه خزش یا Crawl Budget چیست؟

بودجه خزش (Crawl Budget) تعداد صفحاتیه که خزنده یا همون ربات گوگل در یک مدت زمان مشخص قراره خزش کنه. وقتی بودجه شما تموم بشه، خزنده تا مدتی به مابقی محتوا یا صفحات سایت شما کاری نداره و می‌ره سراغ یه سایت دیگه.

بودجه خزش سایت شما با بودجه خزش یه سایت دیگه متفاوته. این بودجه رو گوگل به شکل اتوماتیک تعیین می‌کنه. اما فاکتورهای مشخصی هم هست که گوگل برای تعیین بودجه خزش ازشون استفاده می‌کنه. به طور کلی ما چهار فاکتور تأثیر گذار در میزان بودجه خزش داریم:

  • اندازه سایت: هرچی سایت بزرگ‌تر باشه، بودجه خزش بیشتری هم داره.
  • تنظیمات سرور: هرچی عملکرد و زمان بارگزاری صفحات سایت بهتر باشه، شما بودجه خزش بیشتری هم می‌گیرید.
  • تعداد به‌روز رسانی: گوگل محتوایی که به طور منظم آپدیت می‌شه رو در اولویت قرار می‌ده.
  • لینک سازی: ساختار لینک سازی داخلی و تعداد لینک‌های مرده هم تأثیر مهمی روی میزان بودجه خزش شما داره.

بیایید یه مقدار بیشتر روی این بخش فاکتورها دقیق بشیم و یه خرده جزئی‌تر صحبت کنیم.

داشتن تعداد زیادی صفحات بی‌ارزش می‌تونه به خزش پذیری سایت شما یه آسیب خیلی جدی بزنه. همچنین مواردی مثل محتوای کپی، اسکرولینگ بی‌نهایت و اسپم، می‌تونه به شدت به پتانسیل سایت شما برای خزش آسیب بزنه.

موارد جزئی‌تری هم هستند که اینجا ننوشتیم و ممکنه شما بخواید اضافه کنید و توی کامنت‌ها بهمون بگید. شاید برای نمونه ما بتونیم یه موردش رو در قالب یه مثال بگیم.

مثال از مسئله بودجه خزش در سئو

یکی از پروژه‌های سئو میزفا که یه سایت وردپرسی بود، مشکل بودجه خزش داشت. در قسمت فروشگاه این سایت، یه سایدبار سمت راست بود که به عنوان فیلتر محصولات عمل می‌کرد و کاربر می‌تونست فیلترهایی رو اعمال کنه تا محصولات رو مطابق نیازش مشاهده کنه. مشکل اینجا بود که این فیلترها با تگ a تعریف شده بودند.

در HTML، تگ a برای تعریف لینک استفاده می‌شه و این باعث شده بود تا ربات خزنده گوگل این موارد رو به صورت لینک ببینه و وارد تک تک این فیلترها بشه. از اونجایی که تعداد این فیلترها در سایت‌های فروشگاهی خیلی زیاده، بودجه خزش این سایت به شدت هدر می‌رفت. این مسئله باعث شده بود که صفحات به‌روز شده و مطالب جدیدی که منتشر می‌شدند، دیرتر مورد توجه ربات خزنده قرار بگیره.

حتی اگه رقبا می‌اومدند و محتواهای جدید این سایت رو کپی می‌کردند، ممکن بود ربات اول محتوای اون‌ها رو ایندکس کنه و بعد اصل محتوای این سایت رو محتوای کپی تشخص بده!!

همینقدر ساده اما مهم! این یه مثال خوبه که چرا ما باید با مفهوم Crawl Budget (کراول باجت) آشنا باشیم و بهش توجه کنیم.

نتیجه گیری

ما توی این مقاله از میزفا سعی کردیم دید خیلی روشنی از بودجه خزش و اهمیتی که داره بهتون بدیم. یه مثال واقعی هم زدیم براتون تا مشخص‌تر بدونید که عدم بهینه سازی بودجه خزش می‌تونه چه مشکلاتی به بار بیاره.

اما چطور بودجه خزش رو بهینه سازی کنیم؟ توی مقاله بعدی به این مورد خواهیم پرداخت.

تیم تحریریه میزفا
هدف تیم تحریریه میزفا تولید به‌روزترین و کاربردی‌ترین محتواها برای میزفایی‌هایی عزیز هست که به بلاگ ما سر می‌زنند و مشتاق یادگیری هستند. این مقالات اغلب حاصل تفکر چند نویسنده میزفاست. پوریا آریافر (استراتژیست سئو)، آرمین دارابی‌نژاد (سردبیر میزفا و متخصص محتوا) و محمد عرفان صدری (متخصص سئو و بازاریابی محتوایی) روی این مقالات هم‌فکری داشتند. سعی کردیم بهترین‌ها رو براتون مهیا کنیم؛ چون هدف اینه که تو میزفا بهترین خودت باشی.

بدون نظر

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد.

حداکثر حجم فایل برای آپلود: 1 مگابایت. فایل‌های مجاز برای آپلود: عکس, ویس, ویدیو, ورد یا پی دی اف, فایل متنی, زیپ. شما می‌تونید برای بهتر پرسیدن سوالتون، عکس یا ویس یا حتی فیلم در بخش نظرات میزفا آپلود کنید. برای ضبط ویس می‌تونید از خود واتس آپ استفاده کنید و بعد اینجا آپلود کنید و برای ارسال عکس هم کافی هست اسکرین شات بگیرید. Drop file here

با موفقیت ثبت شد، میزفا از شما برای عضویت در خبرنامه هفتگی تشکر میکند.

عضویت در خبرنامه هفتگی برای دریافت:

  • فیلم و مقاله رایگان سئو
  • آموزش‌های UX ، GA و GTM
  • مقاله های تخصصی ASP.NET Core
  • اطلاع رسانی از محصولات
فیلم آموزشی asp.net core 2
ترک میزفا خوب نیست!
معرفی جامع‌ترین ابزار سئو در ایران
بالای ۱۰ هزار عضو
PHZpZGVvIHdpZHRoPSI2MDAiIGhlaWdodD0iMzUwIiBwb3N0ZXI9Imh0dHBzOi8vbWl6ZmEuY29tL2Jsb2cvd3AtY29udGVudC91cGxvYWRzLzIwMjMvMDUvcG9zdGVyLW1pemZhLXRvb2xzLXZpZGVvLW1pbi5wbmciIGNvbnRyb2xzIHByZWxvYWQ9Im5vbmUiPiANCiAgIDxzb3VyY2Ugc3JjPSJodHRwczovL21pemZhLmNvbS9ibG9nL3dwLWNvbnRlbnQvdXBsb2Fkcy8yMDIzLzA1L21pemZhX3Rvb2xzXzcyMHAubXA0IiB0eXBlPSJ2aWRlby9tcDQiPg0KPC92aWRlbz4=