متا تگ robots چیست و چگونه میتوان آن را تنظیم کرد؟ چطور یک صفحه یا سایت را به وسیله متا تگ روبوت noindex کنیم؟ یا به عبارت دیگر چطور صفحه ای از سایتمان را از نتایج گوگل (ایندکس گوگل) حذف کنیم؟ ما در این مقاله بسیار مفید میزفا قصد داریم توضیحات مهم و کاربری به همراه ۴ مثال مهم از متاتگ روبات را به شما ارائه بدهیم. حتما مقاله زیر را با دقت بخوانید.
نکته: عبارات متاتگ “robots” ، “ربات” ، “روبات” و “روبوت” همه یک معنا دارند ولی پیشنهاد میشود به شکل robots در خاطر بسپارید که این نوع نوشته اصولی‌تر است.
همینطور اگر از عبارت “متاتگ نوایندکس” یا “متاتگ noindex” استفاده کردیم منظور همان متاتگ robots هست که مقدار noindex دارد و ما متاتگ نوایندکس در عمل نداریم ولی به دلیل عادت برخی کاربران ممکن است استفاده شود.
سرفصل‌های پست
اهمیت متاتگ robots در سئو
هرروز در دنیای سئو روش‌های مختلفی برای بهینه سازی و افزایش رتبه سایت در موتورهای جستجو مخصوصاً گوگل استفاده میشود ولی یکی از روش‌های قدیمی که تأثیر خوبی بر دید موتورهای جستجو دارند، استفاده بهینه از متاتگ‌ها در صفحات سایت است. یکی از مهم‌ترین متاتگ ها در سئو، متاتگ robots می‌باشد.
با استفاده از متاتگ robots شما میتوانید یک سری از دستورات مهم را به موتورهای جستجو بفهمانید و گاهی برای ارجاع این دستورات باید برای هر موتور جستجو یک متاتگ اختصاصی درج کنید. متاتگ robots جزو سئو داخلی سایت محسوب میشود چرا که تغییرات و اعمال آن بر روی صفحات سایت به شکل کامل در دست مدیر و یا مشاور سئو آن سایت می‌باشد.
متاتگ robots چیست؟ با متاتگ robots شما میتوانید به ربات‌های موتورهای جستجو اطلاع بدید که این صفحه یا سایت را ایندکس نکن یا لینک‌های این صفحه یا سایت را دنبال نکن، و البته برعکس، هر چند اگر شما از دستور <META NAME="ROBOTS" CONTENT="INDEX, FOLLOW"> استفاده نکنید به شکل پیش فرض گوگل صفحه را ایندکس و لینک‌ها را دنبال میکند.
اصلا ایندکس یا دنبال کردن یعنی چه؟
ایندکس (index) یعنی آقای ربات شما این حق را دارید این صفحه را بررسی کنید و در نتایج جستجو کنید و حال برعکس ایندکس میشود نوایندکس (noindex) که خلاف این موضوع را اشاره میکند.
دنبال کردن (Follow) یعنی آقای ربات شما این حق را دارید لینک‌های این صفحه را بررسی کنید و در صورتی که خود لینک a نوفالو نبود آن را دنبال کنی. و برعکس آن یعنی دنبال نکردن (nofollow).
برای جلوگیری از ایندکس شدن سایت روش‌های مختلفی وجود دارد ولی بهترین و مطمئن ترین روش برای جلوگیری و بستن صفحات سایت از نتایج گوگل همین متاتگ html است.
البته در ادامه بیشتر توضیح خواهیم داد و از طرفی دستورات بیشتری میتوان از طریق این متاتگ مورداستفاده قرارداد که در ادامه مقاله میزفا به جزئیات آنها به همراه مثال می‌پردازیم.
مثال از یک متاتگ robots
<head> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> </head>
در این نوع متاتگ اصولاً دو نوع اتریبیوت مهم داریم.
اتریبیوت اول که name نام دارد که اکثر مواقع مقدار robots را می‌گیرد مگر برای یک ربات خاص که در ادامه بیشتر توضیح می‌دهیم. اتریبیوت دوم Content هم مقادیر مختلفی برای دادن دستور به ربات‌های موتورهای جستجو می‌گیرد که این مقادیر (دستورات) به شرح زیر است.
انواع دستورات متاتگ robots
دستور noindex
با دستور noindex (اصولا ) به ربات‌های موتورهای جستجو این ابلاغ را می‌کنیم که این صفحه خزش یا ایندکس نشود. توجه داشته باشید که اگر آگاهی کامل از ایندکس نشدن صفحات خوددارید از دستور noindex استفاده کنید مثلاً اگر محتوای تکراری دارید و موارد دیگر. در غیر این صورت استفاده نشود بهتر است.
دستور index
دستور index به معنی اجازه دسترسی برای ایندکس کردن رادارند. برعکس دستور noindex عمل میکند.
دستور nofollow
دستور nofollow شبیه اتریبیوت rel=”nofollow” در تگ‌ها a هستند که به این نوع لینک‌ها، لینک‌های نوفالو می‌گویند. حال دستور nofollow در متاتگ یک صفحه به آن معناست که هیچ‌یک از لینک‌ها را ربات‌های موتورهای جستجو دنبال نکنند ولی لینک نوفالو صرفاً برای یک لینک به‌کار برده میشود. اگر قصد دارید مطالعه‌ای درباره لینک‌های نوفالو داشته باشید مقاله جالب لینک نوفالو را به شما پیشنهاد می‌کنیم حتما بخوانید.
دستور follow
به موتورهای جستجو اعلام میکند که لینک‌های موجود در صفحه را دنبال کند برعکس دستور nofollow است.
دستور none
این دستور معادل دستورات noindex و nofollow است به این معنی که سایت را ایندکس و لینک‌هایش را دنبال نکن. شما میتوانید برای چنین کاری یا از دو دستور noindex, nofollow استفاده کنید یا از دستور none. هرچند به شکل کلی توصیه نمی‌شود ولی با آگاهی کامل از این دستورات استفاده کنید.
دستور noimageindex
اسپایدرهای موتورهای جستجو (همان ربات‌ها) با این دستور اجازه دسترسی به عکس‌های صفحات را نخواهند داشت. البته اگر عکسی در جای دیگر لینک شده باشد موتور جستجو می‌تواند آن را ایندکس کند.
- Notranslate – prevents the page being translated in the Google SERPs
دستور notranslate
مخصوص ربات گوگل است و اجازه نمی‌دهد تا ربات گوگل در SERP ترجمه‌ای انجام دهد.
دستور noarchive
دستور noarchive برای این است که موتورهای جستجو نسخه‌ای از صفحات شمارا در کش خود قرار ندهند
دستور nocache
همان کار دستور noarchive را میکند ولی دستور nocache فقط برای موتور جستجوی MSN/Live اعمال میشود.
دستور nosnippet
اگر قصد دارید توضیحات نوشته یا همان تگ Description را در نتایج جستجو نمایش ندهید میتوانید از دستور nosnippet برای آن صفحه استفاده کنید.
دستور noodp
کار این دستور عدم نمایش توضیحات سایت ما که در سایت‌های دایرکتوری مثل dmoz وجود دارند را در نتایج جستجو است. به این معنی که سایت dmoz از هر سایتی یک سری اطلاعات جمع‌آوری میکند و ممکن است موتورهای جستجو در نتایج از آن اطلاعات در زیر لینک‌های سایت ما استفاده کنند. هرچند دیگر سایت dmoz فعالیتی انجام نمی‌دهد. به سایت‌های دایرکتوری اصولا ODP گفته میشود.
دستور noydir
همانند دستور noodp است ولی به دایرکتوری سایت یاهو اشاره میکند. این دستور می‌گوید که هیچ موتورجستجویی از توضیحات سایت من که در دایرکتوری یاهو است در نتایج استفاده نکند. هر چند دایرکتوری یاهو خیلی وقت است دیگر فعالیت نمی‌کند و منسوخ شده است.
کدام دستورات توسط موتورهای جستجو پشتیبانی میشود؟
دستوراتی که توسط ربات‌های موتورهای جستجوی زیر پشتیبانی میشود را با عبارت “بله” به همراه منبع مشخص کرده‌ایم.
| دستور | Ask | گوگل | مایکروسافت | یاهو |
| NOINDEX | بله | بله | بله | بله |
| NOFOLLOW | بله | بله | بله | بله |
| NOARCHIVE | بله | بله | بله | بله |
| NOODP | نه | بله | بله | بله |
| NOYDIR | نه | نه | نه | بله |
| NOSNIPPET | نه | بله | نه | نه |
| نام ربات | TEOMA | GOOGLEBOT | MSNBOT | SLURP |
چند مثال از متاتگ robots
برای درک بهتر ۴ سناریوی مختلف که ممکن است بیشتر از بقیه دستورات به کار رود را پیاده‌سازی کرده‌ایم و در ادامه میتوانید با مشاهده این مثال‌ها و درک آنها، به شکل صحیح از دستورات در صفحات خود استفاده نمایید.
مثال یک – index, follow
اگر تمام صفحات دستور index و follow را داشته باشد. عکس کاملا گویا می‌باشد.
<meta name=”robots” content=”index, follow” />
مثال دو – noindex, follow
اگر تمام صفحات دستور noindex و follow را داشته باشد. ربات مثلا صفحه B را ایندکس نمی‌کند ولی آن صفحه را می‌خزد و به دنبال لینک‌های آن می‌رود.
<meta name=”robots” content=”noindex, follow” />
مثال سه – index, nofollow
اگر تمام صفحات دستور index و nofollow را داشته باشد. در اینجا صفحه B ایندکس میشود و در نتایج موتور جستجو نمایان میشود ولی لینک‌های صفحه B دنبال نمی‌شوند ولی همان‌طور که مشاهده میکنید صفحه E ایندکس شده است چرا که ممکن است از طریق سایت دیگر یا از طریق صفحه‌ای از سایت شما ربات به آن دسترسی داشته باشد.
<meta name=”robots” content=”index, nofollow” />
مثال چهار – noindex, nofollow
اگر تمام صفحات دستور noindex و nofollow را داشته باشد. عکس کاملا گویا می‌باشد.
<meta name=”robots” content=”noindex, nofollow” />
چند نکته مهم درباره متاتگ ربات (Meta tag robots)
- اگر از دستور noindex استفاده نکنید به شکل پیش‌فرض برای موتورهای جستجو index است و یا اگر از دستور nofollow استفاده نکنید به شکل پیش‌فرض follow است. این موضوع برای تمام دستورات صدق میکند و اگر استفاده نشوند ربات‌ها دسترسی به همه موارد رادارند.
- حروف بزرگ و کوچک در دستورات اهمیتی ندارد و به این معنی که هر سه دستور زیر یک معنا را برای ربات‌ها دارند. و این موضوع را گوگل اعلام کرده که برای Googlebot متاتگ‌های زیر فرقی ندارد.
<meta name=”ROBOTS” content=”NOFOLLOW”> <meta name=”robots” content=”nofolloW”> <meta name=”rObOtS” content=”nOfOlloW”>
- ربات‌های خزنده و یا بعضی ربات‌های موتورهای جستجو ممکن است متاتگ درج‌شده در صفحات را نادیده بگیرند. مخصوصاً ربات‌های اسپم یا مالور (malware robots) که برای آسیب‌پذیری، سایت‌ها را بدون توجه به متاتگ‌ها اسکن می‌کنند. و به دنبال ایمیل کاربران یا موارد دیگر هستند.
- فرض کنید لینک A در صفحه A وجود دارد و دستور nofollow در صفحه A درج‌شده است و در این صورت لینک A توسط ربات‌های استاندارد و موتورهای جستجو دنبال نمی‌شوند حال اگر صفحه B بدون دستور nofollow بود و دارای لینک A هم باشد آن موقع ربات‌ها به لینک A دسترسی دارند و می‌توانند آن را دنبال کنند. گاهی ممکن است به شکل ناخواسته لینک‌هایی از طریق صفحات دیگر توسط ربات‌ها دنبال شوند.
- شما میتوانید از این دستورات برای یک موتور جستجوی خاص استفاده نمایید. یعنی اگر قصد دارید فقط دستوراتی را برای موتور جستجوی گوگل اعمال کنید کافی است به‌جای عبارت robots در متاتگ عبارت googlebot را درج نمایید. یک متاتگ گوگل ساخته شد. نام بقیه ربات‌های موتورهای جستجو در جدول زیر آورده شده است.
GOOGLEBOT Google SLURP Yahoo! MSNBOT MSN / Live TEOMA Ask به عنوان مثال:
<meta name="googlebot" content="noindex">
- اگر شما قصد دارید از چند دستور برای یک صفحه استفاده کنید لازم نیست برای هرکدام از دستورات یک متاتگ robots درج کنید. کافی است دستورات را با یک کاما از هم جدا کنید. همانند مثال زیر:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
- حتما شما هم در سایت خود چندین صفحه فرود نیز دارید (صفحه فرود چیست). متاتگ robots این صفحات را حتما چک کرده و در صورتی که تمایل دارید صفحات فرود در نتایج جستجو دیده شوند به خزندگان اجازه خزیدن و ایندکس شدن را بدهید.
تنظیمات متاتگ در وردپرس به کمک افزونه یوآست سئو
شما به کمک افزونه Yoast سئو در وردپرس میتوانید برای کل سایت و یا هر صفحه تنظیمات متاتگ robots را تغییر دهید. اگر در هنگام درج پست به قسمت پایین مربوط به افزونه یوآست توجه کرده باشید در قسمت تنظیمات میتوانید تغییرات لازم را اعمال کنید.
تنظیمات بالا صرفا فقط برای یک صفحه از سایت اعمال میشود برای تغییر تنظیمات کلی متاتگ robots توسط این افزونه به قسمت عنوان‌ها & متاها رفته و در سربرگ‌های گونه‌های فرسته، طبقه‌بندی، بایگانی‌ها و دیگر میتوانید تنظیمات روبات متا را index یا noindex کنید.
جهت اطلاع:
- در آینده آموزش کامل افزونه یوآست سئو را خواهیم داد.
- حتما مقاله تفاوت متاتگ robots با فایل robots.txt را بخوانید تا به خوبی بتوانید از متدهای مختلف برای تنظیم کردن ربات‌ها و نحوه برخورد آنها در مقابله با صفحات سایت شما، استفاده نمایید.
- اطلاعات درباره متاتگ robots در سایت گوگل در این لینک موجود است.
- اگر به دنبال آموزش سئو به‌روز و جامع هستید لینک مذکور را از دست ندید.
امیدوارم مقاله متا تگ روبوتس (متا تگ robots) مورد استفاده شما در عمل بوده باشد، در نظر داشته باشید که این نوع متاتگ بهترین شیوه برای جلوگیری از ایندکس شدن صفحات سایت شما است هر چند روزهای دیگری هم وجود دارد که ما در مقاله گزارش removals که مربوط به نحوه حذف سایت از گوگل است، به آن اشاره کردیم.
چند سوال متداول
- بهترین روش برای جلوگیری از نمایش صفحات در گوگل چی هست؟
استفاده از همین متاتگ noindex و ما داخل مقاله نحوه استفاده از این متاتگ توضیح دادیم. - فرق متاتگ robots با فایل robots چیست؟
متاتگ robots اصولا برای تگ صفحه ها استفاده میشود ولی فایل robots برای یک دسته از صفحات. با این حال فرقهای بسیار دیگر هم دارند مثل قدرت کارشان که داخل مقاله بیشتر توضیح داده شده. - آیا افزونه Yoast قابلیت اضافه کردن متاتگ نوایندکس را دارد؟
بله دارد، در بخش پیشرفته هر صفحه شما مراجعه کنید میتوانید براساس نیاز خودتان آن صفحه را ایندکس یا نوایندکس کنید.
هر گونه نظر، پیشنهاد، تجربه و انتقادی داشتید در قسمت نظرات مطرح کنید.
50 پاسخ
سلام وقت بخیر
یک سوالی از خدمتتون داشتم لینک دادن از صفحات سایت به صفحاتی از سایتمان که noindex هستند از نظر سئو مشکل دارد میشه در این مورد راهنمایی کنید.
سلام
وقتی کاربر نیاز داره به صفحه نوایندکس بره مثل صفحه حساب کاربری یا صفحه پرداخت و … لینک کردن مشکلی رو ایجاد نمیکنه چون هدف اولیه کاربر هست و نه سئو و گوگل.
مثل همیشه بسیار کاربردی بود.تولید محتوای میزفا واقعا فوق العادست.مقاله های تمیز با نگارش عالی.دستون درد نکنه.ریاحی هستم. ( طراح سایت رخ نت ) .یک سوال داشتم : در صورتی که ارور کاورج نمایش داده بشه و اهمیت ندهیم آیا در سئو ی سایر برگه ها تاثیر گذار است؟ البته در صورتی که ارور ها واقعا برامون مهم نباشه و بررسی کرده باشیم.لطفا در این مورد راهنمایی کنید.ممنون
سلام
ممنونم از شما میلاد عزیز.
اگر واقعا مهم نباشه قطعا موردی نیست که توجه نکنیم
درباره کاوریج گوگل یک مقاله داریم و ۲۰۰ تا نظر داره و میتونه مفید باشه:
https://mizfa.com/blog/index-coverage-issue/
سلام خسته نباشید, من از ووردپرس استفاده میکنم و ووردپرس برای من این تگ رو
به صورت پیش فرض ساخته می خواستم بدونم که دیگه لازم نیست متا تگ robotsرو قرار بدیم و content اونو index,follow قرار بدیم واگر این تگ بالا به معنی index,follow است ووردپرس تمام صفحات تگ بالا رو گذاشته چطور میتونیم اون صفحه رو noindex,nofollowکنیم البته در صورتی که از yoastاستفاده نکنیم ممنون میشم اگر کمکم کنید.
سلام حسین
مقاله رو اگر بخونی به پاسخ سوالت میرسی. این رو داخل مقاله اشاره کردیم که چطوری میشه توی وردپرس این کار رو کرد به کمک افزونه.
سلام.توضیحات کامل و بی نقص بودن.ولی من تعدادی برچسب رو با یواست نوایندکس کردم.الان پرفرمنس گوگل سرچ کنسول رو چک کردم میبینم بعد از چندین روز بازم ایمپرشن دارن.لطفا راهنماییم کنید.(سوال اول)
سوال دوم یه جا خوندم اگر قبل از نواینکس نوفالو کنیم ربات در خوندن نوایندکس دچار مشکل میشه. آیا درسته؟
سوال سوم اگه صفحات اضافی رو نو ایندکس و نوفالو کنیم آیا میشه آمار دقیق تعداد صفحات سایت رو جایی ببینیم؟
سلام حسین
۱ – خیلی طول میکشه تا در نتایج این موارد اعمال بشن پس طبیعی هست که ایمپرشن داشته باشی.
۲ – اصولا این صفحات انقدر از جاهای مختلف لینک دارن که بالاخره ربات یک راه پیدا میکنه و اون صفحه رو از یک مسیر فالو پیدا میکنه. با این حال ربات گوگل لینک نوفالو رو هم دنبال میکنه، شاید اثر تو نتایج نداشته باشه ولی دنبال میکنه.
۳ – در سرچ کنسول و گوگل انالیتیکس میشه این موارد رو دقیق دید. تو آکادمی میزفا آموزش این موارد رو گذاشتیم.
موفق باشی.
درود بر استاد آریا فر.من پادکست ها رو مرتب گوش میدم و همیشه از شما یاد میگیرم.ممنون از پاسختون
سلام حسین.
باعث افتخار من هست که شما وقت میذارید و صوت های بنده رو گوش میکنید، امیدوارم در کسب و کارتون مفید واقع بشه.
ممنونم از حضورت.
سلام خدمت تیم میزفا من امروز هم مقاله متاتگ robotsوهم مقاله متا تگ canonicalشما رو مطالعه کردم شما در مقاله canonicalگفته بودید در دیجیکالا بعد از استفاده از فیلتر بازم تگcanonical به همان صفحه قبل از استفاده از فیلتر یعنی همان کتگوری ادرس میدهد یعنی صفحه ای که فیلترشده indexنمی شود و به جاش صفحه اصلی کتگوریindexمیشه ولی وقتی که من از mozbarاستفاده کردم دیدم که متاتگ robots همان صفحه روی index تنظیم شده میشه فرق این دو ایندکس رو بگید.
سلام حسین
خب چه مشکلی داره این؟ اعتبار داده میشه به دسته بندی اصلی حتی اگر ایندکس هم باشه.
سلام
سایتی که برای من طراحی شده توسط دوستان در سرچینگ گوگل نمیاد ،مقاله کامل و آموزنده جنابعالی رو خوندم و در کد سورس به دنبال محتوای با robots و index or noindex گشتم ولی در صفحه اصلی فقط این عبارت بودmeta name=’robots’ content=’max-image-preview:large’
میشه راهنمایی بفرمایین از کجا میتونم بفهمم چرا در موتور های گوگل شناسایی نمیشه دامین من و از کجا میتونم بردارم این محدودیت رو؟
سلام وقت بخیر
هزار دلیل میتونه داشته باشه و یکی از این دلایل متاتگ noindex هست. بقیه دلایل رو نمیشه اینجا لیست کنم چون خیلی زیاده.
ممکنه فایل robots هم باشه
و یا ممکنه از طریق هاست هم دسترسی بسته باشه یا اصلا سایت محتوا نداره و تازه تاسیس هست و دیر ایندکس میشه و یا خطای بررسی شما ممکنه باشه و ….
مقاله ثبت سایت در گوگل بخون.
سلام و وقت بخیر
من 3 روز پیش جدید ترین مقالمو توی سایتم انتشار دادم وبلافاصله توی سرچ کنسول فچش کردم
و در خواست ریکوئست ایندکس دادم.
امروز که رفتم دوباره نگاه کردم دیدم کلا مدام میزنه url is not on google حتی صفحات سایتم رو از طریق :site بررسی کردم اما اوئنجا هم ایندکس نشده بود و کلا هرکار کرردم درست نشد حتی همین متاتگ روبوتس هم ایندکس هست دیگه کلافه شدم ممنون میشم راهنماییم کنید چیکار کنم
سلام وقت بخیر
اصولا وقتی سایت تازه تاسیس هست و یا سنگین هست و کلا مشکلات سئو داخلی زیاد داره این موارد رخ بده.
گاهی وقت ها هم باگ گوگل هست.
سلام وقتتون بخیر
میخواستم بدونم ایا میشه هم در صفحه از متاتگ noindex استفاده کرد و هم در فایل robot.txt اون قسمت رو غیرفعال کرد
چون در سایتم برچسب ها رو با متاتگ noindex غیر فعالشون کردم و حالا در سرچ کنسول این ارور رو داده Indexed, though blocked by robots.txt
میشه یه راهنمایی بکنید ممنون
سلام سارا.
شدن که میشه، باید فایل robots رو دید. بررسی کنید ببینید ایا بلاک شدن یا نه. اگر نشدن به گوگل بگید دوباره بررسی کنه.
ممنون و خسته نباشید! سایت شما عالیه!
سلام
چطور می تونیم یه url و تمام زیر مجموعه هایش را noindex کنیم مثلا ادرس
site.ir/code
بگیم بعد از کد بک اسلش هر چی بود نوایندکس بشه
سلام حسینی.
اصولا برای این کارها از فایل robots.txt استفاده میکنن.
میشه این کار رو برای صفحات با خطای 404 که ایندکس شده انجام داد؟ از لحاظ سئو برای حدود بیست صفحه مشکلی پیش نمیاد؟
مقاله خطای ۴۰۴ بخون.
عالیییییییییییییییییی بود واقعاااا جامع بود خیلیی مرسی مرسی مرسی
سلام خدمت سایت خوب میزفا
من به تازگی سایتم را در سرچ کنسول ثبت کردم اما ادرس صفحه اصلی سایتم شامل این خطا( Submitted URL marked ‘noindex ) شده است ؟ چجور رفعش کنم ؟ ممنون خیلی فوریه
سلام مهسا
سایتت رو دیدم و این noindex رو دیگه نداری و مشکلی نیست. هر چند در مقاله گزارش coverage توضیح دادیم. توی همین صفحه بالا، کمی به سمت بالا اسکرول کن و گزینه validate fix بزن تا گوگل بررسی کنه.
سلام خسته نباشید ممنون از مقاله خوبتون
ببخشید من یه سوالی داشتم برای من تگ robots به این صورت نوشته شده
میخاستم بدونم الان این مشکلی نداره و گوگل سایت من رو ایندکس میکنه؟
سلام محمدجواد.
خب چطوری نوشته شده؟ چیزی ننوشتی توی کامنتت که.
اگر مقاله رو مطالعه کنی متوجه میشی که با مقدار noindex گوگل طبیعتا ایندکس نمیکنه و اگر index باشه یا چیزی ننوشته باشه ایندکس میکنه.
سلام من یه کدی گذاشتم اما انگار حذف شده،فک کنم به خاطر اینکه کل متا تگ رو گذاشتم خودش حذف کرده.بخش content به این صورته
max-snippet:-1, max-image-preview:large, max-video-preview:-1
نه این کد مشکلی نداره و داره به عدم محدودیت ها اشاره میکنه. به عبارت دیگه این قطعه کد محدودیتی رو ایجاد نمیکنه.
شما اگر صفحه رو noindex کنید متوجه میشید این کد بالا یعنی max…. از بین میره.
سلام وقت بخیر خسته نباشید
من یه مشکل دارم که واقعا پیرم کرده اونم اینه که الان خیلی از صفحاتم شده noindex’ detected in ‘robots’ meta tag و هرکاری میکنم موفق نمیشم مشکل حل کنم تمام برگه ها و صفحات چک کردن مشکلی نداره و ایندکس شده.از قسمت Private فایرفاکس و کروم چک کردم اوکی هست نمیدونم با این خطا چه کنم ممنون میشم یه راهنمایی کامل کنید یا اگر لازم دسترسی بدم چک کنید.
یه سوال : میشه یه اکانت دیگه کنسول سرچ ایجاد کرد و تستش کرد شاید این حطا رفع بشه یا اینکار اصلا درست نیست؟
سلام علیرضا.
این سوال شما ربطی به این مقاله نداره. با این حال میتونید مقاله زیر بررسی کنید:
مربوط به سرچ کنسول هست و اگر خودتون نتونستید حل کنید به یک متخصص سئو بدید تا بررسی کنه.
سلام .روز تون بخیر
چند تا ساب دامین قبلا ایجاد کردم، و الان تعداد زیادی از صفحات این ساب دامین ها در گوگل ایندکس شدند، برای نو ایندکس کردن این صفحات و ساب دامین ها اگر بخوام از فایل روبوتس استفاده کنم کد دستوری آن به چه شکل هست،میخوام فقط با نوشتن یک دستور همه آنها نو ایندکس بشند چون یک سری از ساب دامین ها قبلا ایجاد شدند و دقیقا نمیدونم با چه اسمی بودند
مثلا اگر ساب دامینی به این صورت باشه
https://ma.example.com/کدوم از این کد ها درست هست؟
Disallow: https://*.example.com/یا
Disallow: *.example.com/سلام حمید.
من در مقاله اشاره کردم ساب دامنه مثل یک دامنه مستقل هست و فایل خودش رو داره. لطفا دوباره مقاله رو با دقت بیشتری مطالعه کن و مثال هایی که داخل جدول زدم رو نگاه کن.
البته اگر ندونی ساب دامنه چیه پس نمیشه کاری کرد و باید بدونی ادرسش رو. چون هر کدوم نیاز به یک فایل ربات داره.
سلام اقای اریافر من دو سالی هست که کارهای شما رو دنبال می کنم واقعا مطالبی که می گید کامل و راهگشاست .
سلام، تشکر از شما، خوشحالم از اینکه میزبان شما هستیم. امیدوارم موفق باشید.
تگ noindex چند روز مجاز است بماند ؟
یعنی اینکه برای طراحی تا چند روز مجاز است تگ بماند تا در سئو تاثیر نگذارد و یا در لیست سیاه نرویم ؟
سلام صادق. اگر منظورت از لیست سیاه، پنالتی شدن سایت توسط گوگل است، باید بگم به همین راحتی هم سایتی پنالتی نمیشه. درواقع شما در زمان طراحی حتی اگر از تگ نوایندکس استفاده نکنید پنالتی نمیشید ولی اثر منفی در سئو میتونه برای شما داشته باشه به خاطر تغییرات زیادی که هر لحظه ممکنه در طراحی یک سایت رخ بده.
اگر سایت تازه تاسیس هست و تا حالا در نتایج نبوده طبیعتا در اول طراحی باید از تگ noindex استفاده کنه تا زمانی که طراحی تموم میشه و اکثر صفحات یک محتوای اولیه خوبی داشته باشند و همینطور عنوان مناسب.
به تازگی گوگل یک اخباری رو در زمینه فایل روبوتس و سایت مپ ها منتشر کرده با این مضمون که، اگر محتوای فایل روبوتس شما در نتایج گوگل بیاد سایت خوبی ندارید، آیا برای بررسی این موضوع باید مواردی که در فایل روبوتس معرفی شده رو تک تک در گوگل سرچ بزنیم و ببینم ایندکس شده یا نه
برای فایل مربوط به سایت مپ هم همنطور ؟؟
لینک خبرهای گوگل:
میخواستم اگر ممکنه بررسی کنید و نظرتون رو بگید و اینکه چه تغییراتی لازم هست داده بشه.
https://www.seroundtable.com/google-block-of-urls-with-parameters-no-28501.html
https://www.seroundtable.com/google-robots-sitemaps-ranking-28502.html
سلام حمید. بهترین و مطمئن ترین راه حل برای ایندکس نشدن صفحات مد نظر استفاده از متا تگ نو ایندکس هست.
سایت مپ یک سایت اگر اصولی پیاده سازی شده باشه در نتایج نمایش داده نمیشه. مگر اصول طراحی سایت مپ اشتباه باشه و گوگل باهاش به مشکل بخوره.
بسیار ممنون از اینکه دریایی علمتان را بی هیچ چشم داشتی عرضه مکنید. به شما باید تبریک بی پایان گفت. درود بر شما
سلام بر شما.
خوشحالم براتون مفید بوده. بازم به ما سر بزنید. موفق باشید
از قسمت مخفی کروم هم چک کردم ولی باز مشکل ارورر رومیده البته همه اروررها روی category ها هستش هر احتمالی رو که ممکن بود چک و برسی کردم ولی اروررها رفع نمیشه، جناب اقای اریافر شما می تونید برسی بفرمایید؟ بنده برای ایمیل شما دسترسی ایجاد کنم
حمید جان همون طور که گفتم گاهی مشکل از گوگل است و ما بعضی وقت ها گوگل رو انقدر بزرگ و بدون عیب میدونیم که باعث میشه به کار خودمون شک کنیم. یکی از دسته هات رو بررسی کردم مشکل خاصی نداشت و در نتایح هم بود.
موفق باشی
با سلام و احترام
بنده ارورر noindex’ detected in ‘robots’ meta tag رو دارم اما وقتی توی صفحه مربوطه کدها رو چک میکنم
روبات فالو هستش، اما باز ارورر رو میده مشکل از کجا می تونه باشه
سلام حمید جان. باید بررسی کرد ولی به شکل کلی خود منم به این موارد گاهی برمیخورم و به نظر خودم مشکل از گوگل است.
البته پیشنهاد میشه وقتی در سایت لاگین هستی بررسی نکن. توی محیط های مخفی کروم و موزیلا تست کن ببین نوایندکس هست یا ایندکس
با سلام و وقت بخیر
سپاس از مطالب مفید و عالیتان
ببخشید می خواستم در افزونه yoast در پایین هر نوشته بخش تنظیمات بدانم که “متا روبات های پیشرفته” چه موردی می باشد و گزینه هایی که برایش در نظر گرفته شده است هرکدام چه کارایی دارند؟
سلام دوست عزیز. وقتتون بخیر و شادی
در همین صفحه ما درباره افزونه یوآست سئو صحبت کردیم، ابتدا پیشنهاد میشه از ابتدا مقاله رو مطالعه کنید تا بتونید قسمت yoast که انتهای مقاله است رو به خوبی متوجه بشید.
موفق باشید
و شما 🙂