توی این مقاله کوتاه ولی خیلی مهم قصد داریم تفاوت و فرق متاتگ Robots با فایل Robots.txt به شما بگیم تا بتونید در موقعیت‌های مختلف بهترین رو انتخاب کنید. ولی پیشنهاد میشه قبل خواندن این مقاله حتما مقاله robots.txt چیست و متاتگ robots به خوبی بخونید. همراه میزفا باشید.
فرق متاتگ Robots با فایل Robots.txt
- اگر یک ربات بخواهد صفحه‌ای از یک وب سایت را ایندکس کند قبل از این عمل
robots.txtرا مشاهده کرده و دستورات آن را پیروی میکند. طبیعتاً اولویت فایلrobots.txtنیز از متاتگ robots بیشتر است. - فایل
robots.txtبه شکل یک فایل واقعی در چنین آدرس‌هایی www.domain.com/robots.txt قرار دارند. ولی متاتگ robots به شکل تگ و قبل از head نیز وجود دارند همانند مثال پایین.<head> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> </head>
- با یک دستور
robots.txtشما می‌توانید صفحات بسیاری را برای ربات‌ها و موتورهای جستجو مسدود کنید ولی اگر قصد داشته باشید با متاتگ robots چنین عملی را انجام دهید باید در تک‌تک آن صفحات نیز متاتگ را درج کنید. - در فایل
robots.txtشما می‌توانید سایت مپ سایت را به ربات‌ها و موتورهای جستجو معرفی کنید ولی با متاتگ امکان‌پذیر نیست. - دستورات متاتگ robots انعطاف‌پذیری بیشتری نسبت به فایل
robots.txtنیز دارد. - مهم: در فایل
robots.txtبه ربات می‌گوییم خزش نکند ولی گاهی ایندکس می‌شود درحالی که برای ایندکس نشدن بهتر است از متاتگ robots هم استفاده کنید.
robots.txt برای جلوگیری از ایندکس شدن یک‌صفحه‌ای از سایت استفاده کنیم؟
قطعاً خیر، گوگل هم متنی درباره این موضوع نوشته است و اشاره میکند که:
[box type=”note”]ربات گوگل محتوایی که از طریق
robots.txtمسدود شده باشد را خزش یا ایندکس نمی‌کند ولی ممکن است ما لینک آن محتوا را در مکانی دیگر از وب پیدا کنیم و درنتیجه محتوای موجود در آن آدرس در دسترس عموم قرار بگیرد و در نتایج جستجوی گوگل ظاهر شود. شما می‌توانید برای جلوگیری از این عمل که محتوا در نتایج گوگل نمایش ندهد از متدهای دیگر برای مسدود کردن آدرس‌ها استفاده کنید. به‌عنوان‌مثال دایرکتوری آن آدرس را از طریق سرور خود رمزگذاری کنید یا از متاتگ robotx با دستور noindex استفاده کنید.
توضیحات بیشتر درباره اینکه robots.txt چیست و نحوه استفاده از آن را می‌توانید به لینک اشاره‌شده مراجعه نمایید.
همچنین شما می‌توانید با مطالعه مقاله متاتگ robots نکات مفید و جامعی را کسب کنید.
[/box]
منبع : میزفا
6 پاسخ
ممنون از پاسخگویی شما. چون چند بار کامنت گذاشتم و ثبت نشد.
موفق باشید.
سلام وقتتون بخیر باشه
یه سوالی در مورد urlهای صفحه سرچ سایت دارم. سرچی که داخل همه سایت ها هست و به طور مثال کاربر دنبال محصول مورد نظرش می گرده توی سایت های فروشگاهی…
میخوام بدونم آیا بعد از اینکه چیزی رو داخل کادر جستجوی سایتمون سرچ کردیم و اینتر زدیم، اون url باید تغییر کنه؟ (حالا با توجه به استراتژی سایت، مثلا پارامترهایی از دسته بندی یا محصول در ادامه آدرس بیاد…) اما با کوئری استرینگ… حالا سوال من اینه که اگر ما در robots.txt آدرس های با کوئری پارام رو نوایندکس و نوفالو کنیم، آیا ممکنه بازم گوگل آدرس نتایج سرچ ما رو ایندکس کنه؟ چون از محتوای شما متوجه شدم که ممکنه این اتفاق بیفته! میخواستم ببینم این کار از نظر سئو بد نیست؟ بودجه خزش سایتمون رو مصرف نمی کنه؟
یا اینکه اگر آدرس سرچ بعد هر جستجو تغییر نکنه و ثابت بمونه، این از نظر سئو خوبه یا بد؟
سلام
شما این سوال رو چند روز پیش تو مقاله سئو داخلی پرسیدید و جواب دادم دیگه.
با سلام
تشکر میکنم برای مقالات و آموزش های رایگان ارزشمند تون با آرزوی موفقیت برای شما.
چند وقتی هست که مشکلی برای سایتم پیش اومده و مرجع های اصلی هم دنبال کردم اما نتیجه نگرفتم.
1. سایت مپ سایت بالا نمیاد و خطای error on line 2 at column 6: XML declaration allowed only at the start of the document
بالا رخ میده و راه حل رو خود یواست گفته اما جواب نداده وقتی قالب رو تغییر میدم مشکل حل میشه
2. متا تگ ربات نو ایندکس هست اما با تغییرات یواست تغییر پیدا نکرد و فقط در صفحات ووکامرس
/cart
/my-account
/checkout
، گوگل خطا میده ، چطور میتونم بصورت دستی فایل اچ تی ام ال رو ویرایش کنم؟
سلام، خواهش میکنم
مورد اول مربوط به اشتباه های کدنویسی در قالب شما هست و باید ببینید کجا هست، بررسی کنید و ببینید ایا خودتون کدی رو توی فایل function ایجاد کردید یا نه.
مورد دوم هم باید نوفالو باشه و خطای گوگل توی این مورد صرفا جنبه هشدار داره نه یک خطا.