آموزش سئو مبتدیسئو داخلی

تفاوت متاتگ robots با فایل robots.txt

توی این مقاله کوتاه ولی خیلی مهم قصد داریم تفاوت و فرق متاتگ Robots با فایل Robots.txt به شما بگیم تا بتونید در موقعیت‌های مختلف بهترین رو انتخاب کنید. ولی پیشنهاد میشه قبل خواندن این مقاله حتما مقاله robots.txt چیست و متاتگ robots به خوبی بخونید. همراه میزفا باشید.

فرق متاتگ Robots با فایل Robots.txt

  1. اگر یک ربات بخواهد صفحه‌ای از یک وب سایت را ایندکس کند قبل از این عمل robots.txt را مشاهده کرده و دستورات آن را پیروی می‌کند. طبیعتاً اولویت فایل robots.txt نیز از متاتگ robots بیشتر است.
  2. فایل robots.txt به شکل یک فایل واقعی در چنین آدرس‌هایی www.domain.com/robots.txt قرار دارند. ولی متاتگ robots به شکل تگ و قبل از head نیز وجود دارند همانند مثال پایین.
    <head>
      <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
    </head>
    

     

  3. با یک دستور robots.txt شما می‌توانید صفحات بسیاری را برای ربات‌ها و موتورهای جستجو مسدود کنید ولی اگر قصد داشته باشید با متاتگ robots چنین عملی را انجام دهید باید در تک‌تک آن صفحات نیز متاتگ را درج کنید.
  4. در فایل robots.txt شما می‌توانید سایت مپ سایت را به ربات‌ها و موتورهای جستجو معرفی کنید ولی با متاتگ امکان‌پذیر نیست.
  5. دستورات متاتگ robots انعطاف‌پذیری بیشتری نسبت به فایل robots.txt نیز دارد.
  6. مهم: در فایل robots.txt به ربات می‌گوییم خزش نکند ولی گاهی ایندکس می‌شود درحالی که برای ایندکس نشدن بهتر است از متاتگ robots هم استفاده کنید.
[gap] [icon type=”vector” icon=”momizat-icon-question” align=”right” size=”32″ icon_color=”#ffbd23″ hover_animation=”border_increase” ]سؤال: آیا مشکلی در سئو پیش می‌آید اگر از هر دو متد یعنی متاتگ Robots با فایل robots.txt برای جلوگیری از ایندکس شدن یک‌صفحه‌ای از سایت استفاده کنیم؟

قطعاً خیر، گوگل هم متنی درباره این موضوع نوشته است و اشاره می‌کند که:

ربات گوگل محتوایی که از طریق robots.txt مسدود شده باشد را خزش یا ایندکس نمی‌کند ولی ممکن است ما لینک آن محتوا را در مکانی دیگر از وب پیدا کنیم و درنتیجه محتوای موجود در آن آدرس در دسترس عموم قرار بگیرد و در نتایج جستجوی گوگل ظاهر شود. شما می‌توانید برای جلوگیری از این عمل که محتوا در نتایج گوگل نمایش ندهد از متدهای دیگر برای مسدود کردن آدرس‌ها استفاده کنید. به‌عنوان‌مثال دایرکتوری آن آدرس را از طریق سرور خود رمزگذاری کنید یا از متاتگ robotx با دستور noindex استفاده کنید.

توضیحات بیشتر درباره اینکه robots.txt چیست و نحوه استفاده از آن را می‌توانید به لینک اشاره‌شده مراجعه نمایید.

همچنین شما می‌توانید با مطالعه مقاله متاتگ robots نکات مفید و جامعی را کسب کنید.

 

منبع : میزفا

برچسب ها

پوریا آریافر

اولین کسب و کار آنلاین خودم را در فیسبوک راه‌اندازی کردم و در سال ۲۰۱۱ یکی از پرتعامل‌ترین صفحات فارسی با ۸۰ هزار فالور فعال را داشتم. سپس وارد دنیای شبکه شدم و در انتهای سال ۲۰۱۲ مدرک MCSE مایکروسافت را دریافت کردم، در دوران خدمت سربازی مسئول بهینه سازی یک وبسایت خبری معتبر شدم و آشنایی با سئو را آموختم و در سال ۲۰۱۴ توانستم به رتبه ۴۰۰ الکسا نزدیک کنم. برخلاف میل درونی، وارد دانشگاه شدم و سه ساله در مقطع کارشناسی IT فارغ التحصیل شدم، در همان سال بزرگ‌ترین کانال تلگرامی IT با ۴۰ هزار عضو را داشتم، که فروختم تا بتوانم تمرکز را فقط بر روی سئو بگذارم، فعالیت‌های سئو به شکل تخصصی بنده در قالب پروژه‌های مختلف و آموزش‌های حضوری و غیرحضوری در دفتر میزفا و دانشگاه علامه طباطبایی تهران صورت ‌می‌گیرد، تجربه بهینه سازی موفقی در بهبود UX و CRO پروژه‌های سئو کسب کرده‌ام. در همه ابزارهای گوگل به جز adwords تسلط کاملی دارم. عاشق کسب تجربه های جدید هستم. راز پیشرفت در هر کاری را یادگیری و یاددادن می‌دانم و میزفا که در اواخر ۲۰۱۶ راه‌اندازی شده، می‌تواند چنین بستر مناسبی را فراهم کند. نقد و بازخوردهای سازنده شما، جوهر تلاش‌های مستمر ماست تا یک قدم خودمون بهبود بدیم. منتظریم ...

‫2 نظرها

  1. با سلام
    تشکر میکنم برای مقالات و آموزش های رایگان ارزشمند تون با آرزوی موفقیت برای شما.
    چند وقتی هست که مشکلی برای سایتم پیش اومده و مرجع های اصلی هم دنبال کردم اما نتیجه نگرفتم.
    1. سایت مپ سایت بالا نمیاد و خطای error on line 2 at column 6: XML declaration allowed only at the start of the document
    بالا رخ میده و راه حل رو خود یواست گفته اما جواب نداده وقتی قالب رو تغییر میدم مشکل حل میشه
    2. متا تگ ربات نو ایندکس هست اما با تغییرات یواست تغییر پیدا نکرد و فقط در صفحات ووکامرس
    /cart
    /my-account
    /checkout
    ، گوگل خطا میده ، چطور میتونم بصورت دستی فایل اچ تی ام ال رو ویرایش کنم؟

    1. سلام، خواهش میکنم
      مورد اول مربوط به اشتباه های کدنویسی در قالب شما هست و باید ببینید کجا هست، بررسی کنید و ببینید ایا خودتون کدی رو توی فایل function ایجاد کردید یا نه.
      مورد دوم هم باید نوفالو باشه و خطای گوگل توی این مورد صرفا جنبه هشدار داره نه یک خطا.

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دکمه بازگشت به بالا
سایت خود را در گوگل مدیریت کنید + ۱۵ ساعت فیلم آموزشیجزئیات بیشتر اینجا کلیک کنید
بستن
با موفقیت ثبت شد، میزفا از شما برای عضویت در خبرنامه هفتگی تشکر میکند.

عضویت در خبرنامه هفتگی برای دریافت:

  • فیلم و مقاله رایگان سئو
  • آموزش‌های UX ، GA و GTM
  • مقاله های تخصصی ASP.NET Core
  • اطلاع رسانی از محصولات
ترک میزفا خوب نیست!
دوره سئو، رایگان شد.
یک چیز متفاوت تجربه کنید
کاراکتر اشاره گر
دوره سئو، رایگان شد.
یک چیز متفاوت تجربه کنید
کاراکتر اشاره گر