همه چی درباره متاتگ robots

متاتگ ربات بهترین روش برای جلوگیری از ایندکس شدن سایت شما

متاتگ robots ربات
متاتگ robots

متا تگ robots چیست و چگونه میتوان آن را تنظیم کرد؟ چطور یک صفحه یا سایت را به وسیله متا تگ روبوت noindex کنیم؟ یا به عبارت دیگر چطور صفحه ای از سایتمان را از نتایج گوگل (ایندکس گوگل) حذف کنیم؟ ما در این مقاله بسیار مفید میزفا قصد داریم توضیحات مهم و کاربری به همراه ۴ مثال مهم از متاتگ روبات را به شما ارائه بدهیم. حتما مقاله زیر را با دقت بخوانید.

نکته: عبارات متاتگ “robots” ، “ربات” ، “روبات” و “روبوت” همه یک معنا دارند ولی پیشنهاد می‌شود به شکل robots در خاطر بسپارید که این نوع نوشته اصولی‌تر است.

همینطور اگر از عبارت “متاتگ نوایندکس” یا “متاتگ noindex” استفاده کردیم منظور همان متاتگ robots هست که مقدار noindex دارد و ما متاتگ نوایندکس در عمل نداریم ولی به دلیل عادت برخی کاربران ممکن است استفاده شود.

اهمیت متاتگ robots در سئو

هرروز در دنیای سئو روش‌های مختلفی برای بهینه سازی و افزایش رتبه سایت در موتورهای جستجو مخصوصاً گوگل استفاده می‌شود ولی یکی از روش‌های قدیمی که تأثیر خوبی بر دید موتورهای جستجو دارند، استفاده بهینه از متاتگ‌ها در صفحات سایت است. یکی از مهم‌ترین متاتگ ها در سئو، متاتگ robots می‌باشد.

با استفاده از متاتگ robots شما می‌توانید یک سری از دستورات مهم را به موتورهای جستجو بفهمانید و گاهی برای ارجاع  این دستورات باید برای هر موتور جستجو یک متاتگ اختصاصی درج کنید. متاتگ robots جزو سئو داخلی سایت محسوب می‌شود چرا که تغییرات و اعمال آن بر روی صفحات سایت به شکل کامل در دست مدیر و یا مشاور سئو آن سایت می‌باشد.

متاتگ robots چیست؟ با متاتگ robots شما می‌توانید به ربات‌های موتورهای جستجو اطلاع بدید که این صفحه یا سایت را ایندکس نکن یا لینک‌های این صفحه یا سایت را دنبال نکن، و البته برعکس، هر چند اگر شما از دستور <META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">  استفاده نکنید به شکل پیش فرض گوگل صفحه را ایندکس و لینک‌ها را دنبال می‌کند.

اصلا ایندکس یا دنبال کردن یعنی چه؟

ایندکس (index) یعنی آقای ربات شما این حق را دارید این صفحه را بررسی کنید و در نتایج جستجو کنید و حال برعکس ایندکس می‌شود نوایندکس (noindex) که خلاف این موضوع را اشاره می‌کند.

دنبال کردن (Follow) یعنی آقای ربات شما این حق را دارید لینک‌های این صفحه را بررسی کنید و در صورتی که خود لینک a نوفالو نبود آن را دنبال کنی. و برعکس آن یعنی دنبال نکردن (nofollow).

برای جلوگیری از ایندکس شدن سایت روش‌های مختلفی وجود دارد ولی بهترین و مطمئن ترین روش برای جلوگیری و بستن صفحات سایت از نتایج گوگل همین متاتگ html است.

البته در ادامه بیشتر توضیح خواهیم داد و از طرفی دستورات بیشتری می‌توان از طریق این متاتگ مورداستفاده قرارداد که در ادامه مقاله میزفا به جزئیات آن‌ها به همراه مثال می‌پردازیم.

مثال از یک متاتگ robots

<head>
  <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
</head>

در این نوع متاتگ اصولاً دو نوع اتریبیوت مهم داریم.
اتریبیوت اول که name نام دارد که اکثر مواقع مقدار  robots را می‌گیرد مگر برای یک ربات خاص که در ادامه بیشتر توضیح می‌دهیم. اتریبیوت دوم Content هم مقادیر مختلفی برای دادن دستور به ربات‌های موتورهای جستجو می‌گیرد که این مقادیر (دستورات) به شرح زیر است.

انواع دستورات متاتگ robots

دستور noindex

با دستور noindex (اصولا ) به ربات‌های موتورهای جستجو این ابلاغ را می‌کنیم که این صفحه خزش یا ایندکس نشود. توجه داشته باشید که اگر آگاهی کامل از ایندکس نشدن صفحات خوددارید از دستور noindex استفاده کنید مثلاً اگر محتوای تکراری دارید و موارد دیگر. در غیر این صورت استفاده نشود بهتر است.

دستور index

دستور index به معنی اجازه دسترسی برای ایندکس کردن رادارند. برعکس دستور noindex عمل می‌کند.

دستور nofollow

دستور nofollow شبیه اتریبیوت rel=”nofollow” در تگ‌ها a هستند که به این نوع لینک‌ها، لینک‌های نوفالو می‌گویند. حال دستور nofollow در متاتگ یک صفحه به آن معناست که هیچ‌یک از لینک‌ها را ربات‌های موتورهای جستجو دنبال نکنند ولی لینک نوفالو صرفاً برای یک لینک به‌کار برده می‌شود. اگر قصد دارید مطالعه‌ای درباره لینک‌های نوفالو داشته باشید مقاله جالب لینک نوفالو را به شما پیشنهاد می‌کنیم حتما بخوانید.

دستور follow

به موتورهای جستجو اعلام می‌کند که لینک‌های موجود در صفحه را دنبال کند برعکس دستور nofollow است.

دستور none

این دستور معادل دستورات noindex و nofollow است به این معنی که سایت را ایندکس و لینک‌هایش را دنبال نکن. شما می‌توانید برای چنین کاری یا از دو دستور noindex, nofollow استفاده کنید یا از دستور none. هرچند به شکل کلی توصیه نمی‌شود ولی با آگاهی کامل از این دستورات استفاده کنید.

دستور noimageindex

اسپایدرهای موتورهای جستجو (همان ربات‌ها) با این دستور اجازه دسترسی به عکس‌های صفحات را نخواهند داشت. البته اگر عکسی در جای دیگر لینک شده باشد موتور جستجو می‌تواند آن را ایندکس کند.

  • Notranslate – prevents the page being translated in the Google SERPs

دستور notranslate

مخصوص ربات گوگل است و اجازه نمی‌دهد تا ربات گوگل در SERP ترجمه‌ای انجام دهد.

دستور noarchive

دستور noarchive برای این است که موتورهای جستجو نسخه‌ای از صفحات شمارا در کش خود قرار ندهند

دستور nocache

همان کار دستور noarchive را می‌کند ولی دستور nocache فقط برای موتور جستجوی MSN/Live اعمال می‌شود.

دستور nosnippet

اگر قصد دارید توضیحات نوشته یا همان تگ Description را در نتایج جستجو نمایش ندهید می‌توانید از دستور nosnippet برای آن صفحه استفاده کنید.

دستور noodp

کار این دستور عدم نمایش توضیحات سایت ما که در سایت‌های دایرکتوری مثل dmoz وجود دارند را در نتایج جستجو است. به این معنی که سایت dmoz از هر سایتی یک سری اطلاعات جمع‌آوری می‌کند و ممکن است موتورهای جستجو در نتایج از آن اطلاعات در زیر لینک‌های سایت ما استفاده کنند. هرچند دیگر سایت dmoz فعالیتی انجام نمی‌دهد. به سایت‌های دایرکتوری اصولا ODP گفته می‌شود.

دستور noydir

همانند دستور noodp است ولی به دایرکتوری سایت یاهو اشاره می‌کند. این دستور می‌گوید که هیچ موتورجستجویی از توضیحات سایت من که در دایرکتوری یاهو است در نتایج استفاده نکند. هر چند دایرکتوری یاهو خیلی وقت است دیگر فعالیت نمی‌کند و منسوخ شده است.

کدام دستورات توسط موتورهای جستجو پشتیبانی می‌شود؟

دستوراتی که توسط ربات‌های موتورهای جستجوی زیر پشتیبانی می‌شود را با عبارت “بله” به همراه منبع مشخص کرده‌ایم.

دستور Ask گوگل مایکروسافت یاهو
NOINDEX بله بله بله بله
NOFOLLOW بله بله بله بله
NOARCHIVE بله بله بله بله
NOODP نه بله بله بله
NOYDIR نه نه نه بله
NOSNIPPET نه بله نه نه
نام ربات TEOMA GOOGLEBOT MSNBOT SLURP
[gap]

چند مثال از متاتگ robots

برای درک بهتر ۴ سناریوی مختلف که ممکن است بیشتر از بقیه دستورات به کار رود را پیاده‌سازی کرده‌ایم و در ادامه می‌توانید با مشاهده این مثال‌ها و درک آنها، به شکل صحیح از دستورات در صفحات خود استفاده نمایید.

مثال یک – index, follow

اگر تمام صفحات دستور index و follow را داشته باشد. عکس کاملا گویا می‌باشد.

<meta name=”robots” content=”index, follow” />

index-follow
index-follow

مثال دو – noindex, follow

اگر تمام صفحات دستور noindex و follow را داشته باشد. ربات‌ مثلا صفحه B را ایندکس نمی‌کند ولی آن صفحه را می‌خزد و به دنبال لینک‌های آن می‌رود.

<meta name=”robots” content=”noindex, follow” />
noindex-follow
noindex-follow

مثال سه – index, nofollow

اگر تمام صفحات دستور index و nofollow را داشته باشد. در اینجا صفحه B ایندکس می‌شود و در نتایج موتور جستجو نمایان می‌شود ولی لینک‌های صفحه B دنبال نمی‌شوند ولی همان‌طور که مشاهده می‌کنید صفحه E ایندکس شده است چرا که ممکن است از طریق سایت دیگر یا از طریق صفحه‌ای از سایت شما ربات به آن دسترسی داشته باشد.

<meta name=”robots” content=”index, nofollow” />
index-nofollow
index-nofollow

مثال چهار – noindex, nofollow

اگر تمام صفحات دستور noindex و nofollow را داشته باشد. عکس کاملا گویا می‌باشد.

<meta name=”robots” content=”noindex, nofollow” />
noindex-nofollow
noindex-nofollow
[gap]

چند نکته مهم درباره  متاتگ ربات (Meta tag robots)

  1. اگر از دستور noindex استفاده نکنید به شکل پیش‌فرض برای موتورهای جستجو index است و یا اگر از دستور nofollow استفاده نکنید به شکل پیش‌فرض follow است. این موضوع برای تمام دستورات صدق می‌کند و اگر استفاده نشوند ربات‌ها دسترسی به همه موارد رادارند.
  2. حروف بزرگ و کوچک در دستورات اهمیتی ندارد و به این معنی که هر سه دستور زیر یک معنا را برای ربات‌ها دارند. و این موضوع را گوگل اعلام کرده که برای Googlebot متاتگ‌های زیر فرقی ندارد.
    <meta name=”ROBOTS” content=”NOFOLLOW”>
    <meta name=”robots” content=”nofolloW”>
    <meta name=”rObOtS” content=”nOfOlloW”>
    
    
  3. ربات‌های خزنده و یا بعضی ربات‌های موتورهای جستجو ممکن است متاتگ درج‌شده در صفحات را نادیده بگیرند. مخصوصاً ربات‌های اسپم یا مالور (malware robots) که برای آسیب‌پذیری، سایت‌ها را بدون توجه به متاتگ‌ها اسکن می‌کنند. و به دنبال ایمیل کاربران یا موارد دیگر هستند.
  4. فرض کنید لینک A در صفحه A وجود دارد و دستور nofollow در صفحه A درج‌شده است و در این صورت لینک A توسط ربات‌های استاندارد و موتورهای جستجو دنبال نمی‌شوند حال اگر صفحه B بدون دستور nofollow بود و دارای لینک A هم باشد آن موقع ربات‌ها به لینک A دسترسی دارند و می‌توانند آن را دنبال کنند. گاهی ممکن است به شکل ناخواسته لینک‌هایی از طریق صفحات دیگر توسط ربات‌ها دنبال شوند.
  5. شما می‌توانید از این دستورات برای یک موتور جستجوی خاص استفاده نمایید. یعنی اگر قصد دارید فقط دستوراتی را برای موتور جستجوی گوگل اعمال کنید کافی است به‌جای عبارت robots در متاتگ عبارت googlebot را درج نمایید. یک متاتگ گوگل ساخته شد. نام بقیه ربات‌های موتورهای جستجو در جدول زیر آورده شده است.
    GOOGLEBOT Google
    SLURP Yahoo!
    MSNBOT MSN / Live
    TEOMA Ask

    به عنوان مثال:

    <meta name="googlebot" content="noindex">
    

     

  6. اگر شما قصد دارید از چند دستور برای یک صفحه استفاده کنید لازم نیست برای هرکدام از دستورات یک متاتگ robots درج کنید. کافی است دستورات را با یک کاما از هم جدا کنید. همانند مثال زیر:
    <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
    
  7. حتما شما هم در سایت خود چندین صفحه فرود نیز دارید (صفحه فرود چیست). متاتگ robots این صفحات را حتما چک کرده و در صورتی که تمایل دارید صفحات فرود در نتایج جستجو دیده شوند به خزندگان اجازه خزیدن و ایندکس شدن را بدهید.

تنظیمات متاتگ در وردپرس به کمک افزونه یوآست سئو

شما به کمک افزونه Yoast سئو در وردپرس می‌توانید برای کل سایت و یا هر صفحه تنظیمات متاتگ robots را تغییر دهید. اگر در هنگام درج پست به قسمت پایین مربوط به افزونه یوآست توجه کرده باشید در قسمت تنظیمات می‌توانید تغییرات لازم را اعمال کنید.

setting-meta-tags-robots-yoast

تنظیمات بالا صرفا فقط برای یک صفحه از سایت اعمال می‌شود برای تغییر تنظیمات کلی متاتگ robots توسط این افزونه به قسمت عنوان‌ها & متاها رفته و در سربرگ‌های گونه‌های فرسته، طبقه‌بندی، بایگانی‌ها و دیگر می‌توانید تنظیمات روبات متا را index یا noindex کنید.

setting-meta-tags-robots-yoast

[box type=”info”]

جهت اطلاع:

  • در آینده آموزش کامل افزونه یوآست سئو را خواهیم داد.
  • حتما مقاله تفاوت متاتگ robots با فایل robots.txt را بخوانید تا به خوبی بتوانید از متدهای مختلف برای تنظیم کردن ربات‌ها و نحوه برخورد آنها در مقابله با صفحات سایت شما، استفاده نمایید.
  • اطلاعات درباره متاتگ robots در سایت گوگل در این لینک موجود است.
  • اگر به دنبال آموزش سئو به‌روز و جامع هستید لینک مذکور را از دست ندید.
[/box]

امیدوارم مقاله متا تگ روبوتس (متا تگ robots) مورد استفاده شما در عمل بوده باشد، در نظر داشته باشید که این نوع متاتگ بهترین شیوه برای جلوگیری از ایندکس شدن صفحات سایت شما است هر چند روزهای دیگری هم وجود دارد که ما در مقاله گزارش removals که مربوط به نحوه حذف سایت از گوگل است، به آن اشاره کردیم.

چند سوال متداول

  1. بهترین روش برای جلوگیری از نمایش صفحات در گوگل چی هست؟
    استفاده از همین متاتگ noindex و ما داخل مقاله نحوه استفاده از این متاتگ توضیح دادیم.
  2. فرق متاتگ robots با فایل robots چیست؟
    متاتگ robots اصولا برای تگ صفحه ها استفاده می‌شود ولی فایل robots برای یک دسته از صفحات. با این حال فرق‌های بسیار دیگر هم دارند مثل قدرت کارشان که داخل مقاله بیشتر توضیح داده شده.
  3. آیا افزونه Yoast قابلیت اضافه کردن متاتگ نوایندکس را دارد؟
    بله دارد، در بخش پیشرفته هر صفحه شما مراجعه کنید می‌توانید براساس نیاز خودتان آن صفحه را ایندکس یا نوایندکس کنید.

 

هر گونه نظر، پیشنهاد، تجربه و انتقادی داشتید در قسمت نظرات مطرح کنید.

پوریا آریافر
اولین کسب و کار آنلاین خودم رو در فیسبوک راه‌اندازی کردم، سال ۲۰۱۱ یکی از پرتعامل‌ترین صفحات فارسی با ۸۰ هزار فالور فعال رو داشتم. بعد اینکه فیسبوک خالی از کاربر ایرانی شد وارد دنیای شبکه شدم و در انتهای سال ۲۰۱۲ مدرک MCSE مایکروسافت رو دریافت کردم، در حالی که نمره بالا گرفتم ولی کسی به دلیل به خطر افتادن موقعیت شغلی خودش به عنوان کارآموز منو قبول نمی‌کرد، بعدش با شروع دوران خدمت سربازی، مسئول بهینه سازی یک سایت خبری معتبر شدم و سئو یاد گرفتم. در ابتدای سال ۲۰۱۴ تونستم از رتبه ۱۵۰۰۰ به ۴۰۰ الکسا نزدیک کنم، اون زمان الکسا خیلی مهم بود. وارد دانشگاه شدم، به دلیل عدم علاقه به دانشگاه سعی کردم زودتر تمومش کنم و سه ساله در مقطع کارشناسی IT فارغ التحصیل شدم، توی دانشگاه هر کسی منو میدید یاد سئو میوفتاد، در همون سال آخر دانشگاه بزرگ‌ترین کانال تلگرامی IT با ۴۰ هزار عضو رو داشتم، که به مجتمع فنی فروختم تا بتونم تمرکز رو فقط بر روی عشق خودم یعنی سئو بذارم، وقتی کانال تلگرام فروختم حس پرواز بهم دست داد، هرچند درآمد چندین میلیون ماهانه رو از دست دادم ولی دوباره باید مثل گذشته با پوستی نو یک فصلی نو رو میساختم. در این چندین سال فعالیت‌های سئو به شکل تخصصی بنده در قالب پروژه‌های مختلف و آموزش‌های حضوری و غیرحضوری در دفتر میزفا و دانشگاه علامه طباطبایی تهران صورت ‌گرفته، تجربه بهینه سازی موفقی در بهبود UX و CRO پروژه‌های سئو کسب کردم. در اکثر ابزارهای کاربردی گوگل تسلط کاملی دارم. عاشق کسب تجربه های جدید هستم. راز پیشرفت در هر کاری رو یادگیری و یاددادن می‌دونم و میزفا که در اواخر ۲۰۱۶ راه‌اندازی شد تونست چنین بستر مناسبی رو برام فراهم کنه. همینطور در حال حاضر مدیریت یک تیم ۱۰ نفری از جوانان فعال و پرانگیزه رو در میزفا به عهده دارم. نقد و بازخوردهای سازنده شما، جوهر تلاش‌های مستمر ماست تا یک قدم خودمون بهبود بدیم. منتظریم …

46 نظر

با موفقیت ثبت شد، میزفا از شما برای عضویت در خبرنامه هفتگی تشکر میکند.

عضویت در خبرنامه هفتگی برای دریافت:

  • فیلم و مقاله رایگان سئو
  • آموزش‌های UX ، GA و GTM
  • مقاله های تخصصی ASP.NET Core
  • اطلاع رسانی از محصولات
فیلم آموزشی asp.net core 2
ترک میزفا خوب نیست!
دوره سئو، رایگان شد.
فرصتی رایگان برای یادگیری
کاراکتر اشاره گر
دوره سئو، رایگان شد.
فرصتی رایگان برای یادگیری
کاراکتر اشاره گر