آموزش سئو مبتدیآموزش سئو پیشرفتهسئو داخلی

فایل robots.txt و نحوه ساخت آن

فایل روبوت robots.txt چیست و چگونه این فایل را بسازیم و بهترین و مناسب ترین فایل روبوت برای وردپرس و جوملا چیست، پاسخ به همه این پرسش‌ها را می‌توانید در این مقاله از سایت میزفا مطالعه نمایید. همچنین در این مقاله ۸ مثال کاربردی درباره فایل روبوت (ربات) گفته شده است.

فایل robots.txt چیست

فایل robots.txt یک فایل متنی است که به‌وسیله آن خط‌مشی برای ربات موتورهای جستجو تعیین می‌کنیم که چه آدرس‌هایی را خزش و ایندکس کنند و چه آدرس‌هایی را خزش و ایندکس نکنند. توجه داشته باشید که ماهیت خزش با ایندکس فرق دارد، یک ربات باید در ابتدا خزشی را صورت بدهد و سپس تصمیم می‌گیرد که آن را در دیتابیس موتورهای جستجو ذخیره کند یا نه. اگر ذخیره شود عمل ایندکس رخ‌داده است. ما در این مقاله از سایت میزفا به نحوه ایجاد و ساخت فایل robots.txt می‌پردازیم و شما با خواندن این مقاله صرف نظر از اینکه چه نوع CMS (وردپرس، جوملا و …) دارید، می‌توانید این فایل را ایجاد و مدیریت کنید.

موتورهای جستجو با خزیدن در میان صفحات سایت شما، آن‌ها را ایندکس می‌کند و با دنبال کردن لینک‌ها وارد صفحات یا سایت‌های دیگر می‌شوند. هر ربات استانداردی قبل از خزیدن صفحه‌ای از یک دامنه، ابتدا فایل robots.txt را می‌خواند و بر اساس دستورات موجود در این فایل، اجازه خزیدن را پیدا می‌کند تا بتواند ایندکس را انجام دهد. پس باید دقت داشته باشید که چه صفحاتی را برای خزیدن منع می‌کنید چراکه اگر به‌اشتباه صفحات مهم خود را مخصوصاً صفحات فرود یا همان لندینگ پیج را از طریق این فایل برای ربات‌ها مسدود کنید ضربه بدی به سئو سایت و درنتیجه تجارت آنلاین خود وارد می‌کنید. (اهمیت و نحوه ساختن صفحات فرود یا لندینگ پیج را می‌توانید به همراه مثال در مقاله جامع صفحه فرود چیست بخوانید)

فایل robots.txt نیز برای ربات‌ها نوشته می‌شود ولی جالب آن است که بدانید چنین فایلی برای انسان‌ها هم داریم، فایلی با نام humans.txt که ماهیت آن‌یک پیام برای کاربران و بازدیدکنندگان سایت شما است که اصولاً به زبان انگلیسی نوشته می‌شود.

نمونه فایل robots.txt و فایل humans.txt برای سایت گوگل:

https://www.google.com/humans.txt

https://www.google.com/robots.txt

فایل robots.txt باید در چه آدرسی قرار دهیم؟

بعد از ساخت فایل robots.txt با فرمت ASCII یا UTF-8 باید این فایل حتماً در آدرس http://domain.com/robots.txt مورد دسترسی ربات‌ها قرار گیرد. حال دو نکته درباره این موضوع:

  • اگر ربات خزنده قصد داشته باشد به زیر دامنه‌های ما سر بزند باید برای هر زیردامنه یک فایل robots.txt جداگانه ایجاد کنیم.
  • اگر سایت شما هم با www و هم بدون www باز می‌شود باید فایل robots.txt را در هر دو حالت یکسان تنظیم کنید همین موضوع برای http و https هم صدق می‌کند ولی به این نکته توجه داشته باشید که اگر سایت به این شکل در دسترس باشد باعث ایجاد محتوای تکراری می‌شود که برای سئو داخلی سایت به‌شدت ضرر است و یکی از دلایل پنالتی شدن سایت در گوگل می‌باشد، چراکه تمام دامنه‌های زیر از نگاه گوگل یک سایت مجزا محسوب می‌شود. ولی درباره این فایل بدانید که اگر دامنه‌های زیر شما جداگانه باز می‌شود گوگل برای خواندن فایل robots.txt دامنه http را اولویت قرار می‌دهد.
    http://www.site.com
    https://www.site.com
    http://site.com
    https://site.com
  • ممکن است شما قصد داشته باشید آدرسی از صفحات را ربات خزش کند و لینک‌های آن صفحات را بررسی کند ولی در نتایج آن صفحه را نمایش ندهد در این صورت شما نمی‌توانید از این فایل برای چنین عملی استفاده کنید و بهتر است از متاتگ ربات برای این موضوع استفاده کنید. اگر قصد دارید این روش را به شکل بهینه انجام دهید مقاله متاتگ robots ما را حتماً بخوانید تا به نکات جالبی درباره این متاتگ دست پیدا کنید.
  • نکته مهم دیگر اینکه حتما فایل robots.txt باید با حروف کوچک نوشته شود و همانند URL نام این فایل به حروف کوچک و بزرگ حساس است. به عنوان مثال آدرس‌های زیر کاملا با هم فرق دارند. و فقط اولی آدرس درست و صحیح می‌باشد.
    mizfa.com/robots.txt
    mizfa.com/robotS.txt
    mizfa.com/robots.TXT
    mizfa.com/Robotx.txt
    mizfa.com/ROBOTS.txt

چند مثال برای درک بهتر مکان صحیح فایل robots.txt

آدرس فایل robots.txt معتبر بودن فایل در آدرس‌های معتبر نبودن فایل در آدرس‌های توضیحات بیشتر
http://example.com/robots.txt http://mizfa.com/
http://mizfa.com/blog/file
http://mizfa.academy/
https://mizfa.com/
http://mizfa.com:8181/
برای دامنه‌هایی که با پورت باز می‌شوند و همینطور زیر دامنه ها آدرس فایل robots.txt متعبر نیست
و فقط برای همان دامنه و تمام فولدرهای آن معتبر است.
http://www.example.com/robots.txt http://www.mizfa.com/ http://mizfa.com/
http://service.www.mizfa.com/
http://www.mizfa.academy/
هر زیر دامنه و همینطور دیگر ورژن‌های زیر دامنه باید یک فایل robots.txt داشته باشد و همینطور دیگر ورژن‌های دامنه اصلی مگر ریدایرکت اصولی صورت گیرد.
http://example.com/blog/robots.txt چنین آدرس فایلی اصلا توسط ربات‌ها خزش نمی‌شود.

نحوه ساخت فایل robots.txt

اگر در دامنه خود به آدرس http://domain.com/robots.txt مراجعه کرده باشید و خطایی را مشاهده کنید به معنی نداشتن این فایل در سایت شما می‌باشد. کافی است به کنترل پنل خود رفته حال اگر کنترل‌پنل سی‌پنل باشد محیطی شبیه عکس زیر دارد. در ریشه سایت یک فایل ساده ایجاد کرده و فرمت و نام آن را robots.txt درج کنید.

ساخت robots.txt در سی پنل
ساخت robots.txt در سی پنل

در مقاله Create a robots.txt file گوگل هم به نحوه ساختن و پرداختن چند مثال اشاره کرده است، در ادامه به تعریف سه کیورد می‌پردازیم.

User-agent : نام ربات موردنظر را جلوی این عبارت می‌نویسیم که البته حساس به حروف کوچک و بزرگ نیست ( به عبارت دیگر non case sensitive است). با استفاده از کیورد user-agent می‌توانید ربات خاصی را هدف گرفته یا به‌طورکلی، دستوری را خطاب به همه آن‌ها درج کنید. گاهی بعضی از موتورهای جستجو ربات‌های مختلفی نیز دارند همانند موتور جستجوی گوگل که برای تصاویر، اخبار و موارد دیگر ربات خاص خود را دارد. در ادامه مثال‌های متنوعی خواهیم زد تا بهتر به این امر پی ببرید.

لیست ربات‌های معروف در عکس زیر:

لیست ربات‌های معروف
لیست ربات‌های معروف

 

اگر قصد دارید اطلاعات بیشتری درباره ربات‌های گوگل کسب کنید این مقاله موجود در سایت گوگل را مطالعه فرمایید.

Disallow : مقابل این کیبورد دایرکتوری را درج می‌کنید که قصد ندارید ربات آن را ایندکس کند. بعد از عبارت User-agent می‌توانید در هرچند بار که لازم باشد از Disallow استفاده نمایید. به این نکته مهم توجه کنید که ربات موتورهای جستجو به حروف کوچک و بزرگ در دایرکتوری‌ها حساس هستند. در ادامه مثال‌های متنوعی خواهیم زد تا بهتر به این امر پی ببرید.

Allow : برعکس دستور Disallow است هرچند دستور Allow غیررسمی است ولی توسط اکثر ربات‌های معروف شناخته‌شده است.

نمونه دستورات در فایل Robots.txt

مثال یک

مثال زیر در خط اول شامل همه ربات موتورهای جستجو می‌شود چراکه با علامت ستاره درج‌شده است و خط دوم با / درج شده و شامل کل آدرس‌های یک دامنه می‌شود، بنابراین دستور زیر به این معنی است که هیچ‌یک از موتورهای جستجو مجاز به خزیدن سایت شما نباشند.

User-agent: *
Disallow: /

 

مثال دو

دستور زیر برعکس دستور بالا می‌گویید همه ربات‌های موتورهای جستجو به کلیه آدرس‌های سایت دسترسی دارند.

User-agent: *
Disallow:
مثال از فایل robots.txt
خلاصه تصویری از دو مثال بالا

مثال سه

دستور زیر به این معناست که فقط ربات گوگل دسترسی به پوشه blog را ندارد و این شامل همه زیرپوشه‌های blog هم می‌شود یعنی هم شامل آدرس mizfa.com/blog می‌شود و هم شامل آدرس‌های به‌مانند mizfa.com/blog/example نیز می‌شود. در این شرایط بقیه ربات‌ها به‌جز گوگل دسترسی به این دایرکتوری رادارند.

 

User-agent: googlebot
Disallow: /blog

 

مثال چهار

همان‌طور که گفتیم موتورهای جستجو ممکن است تعداد ربات‌های زیادی برای موارد خاص داشته باشند برای همین اولویت هم برای آنان مهم است. درصورتی‌که در فایل robots.txt دستوراتی را درج کرده باشید که چند بلاک مختلف آن‌ها برای یک ربات (خزنده) صادق باشد، ربات موتور جستجو همیشه دستوری را که به‌طور واضح‌تر به آن ربات خاص اشاره می‌کند انتخاب کرده و دستورات همان بخش را اجرا خواهد کرد. مثلاً فرض کنید اگر فایل robots.txt همانند دستور زیر یک بلاک مخصوص Googlebot و یک بلاک مخصوص Googlebot-Video وجود داشته باشد. در این حالت اگر ربات عکس گوگل (Googlebot-Image) وارد سایت شما شود، در میان این بلاک‌ها از اولی پیروی خواهد کرد و اگر ربات ویدیو گوگل (Googlebot-Video) وارد سایت شود، از بلاک دومی پیروی خواهد کرد و دستورات بلاک اولی را نادیده گرفته چراکه بلاک دومی برای آن در اولویت است.

 

User-agent: Googlebot
Disallow: /Photo

User-agent: Googlebot-Video
Allow: /blog

مثال پنج

شما می‌توانید از عبارات منظم (Regular Expression) هم برای استفاده در دستورات فایل robots.txt استفاده کنید هرچند به شکل رسمی این عبارات منظم در این فایل تعریف‌نشده است ولی اکثر ربات‌های معروف در دنیا از عبارات منظم نیز پشتیبانی می‌کنند. مثلاً در دستور نیز اشاره‌شده که کلیه ربات‌ها به فایل‌ها با پسوند pdf که در فولدر (دایرکتوری) test وجود دارند، غیرمجاز است و نباید دسترسی داشته باشند.

User-agent: *
Disallow: /test/*.pdf

 

 

مثال شش

حال قصد داریم کمی درباره وردپرس حرف بزنیم و یک فایل robots txt برای وردپرس به شکل بهینه شده و مناسب ایجاد کنیم. دستور زیر که در بسیاری از سایت‌های وردپرس استفاده می‌شود به این معناست که تمام ربات‌ها به پوشه ادمین wp-admin دسترسی نداشته باشند ولی به فایل admin-ajax.php که در این پوشه هست دسترسی پیدا کنند. البته بودن چنین دستوراتی در فایل robots.txt ضرری هم ندارد هر چند ربات توانایی وارد شدن به محیط ادمین وردپرس را ندارد ولی خطا در کدنویسی هم از سمت گوگل و هم از سمت ما طبیعتا امکان‌پذیر است. اگر توجه کرده باشید ما در این مقال یک بار از کیورد User-agent استفاده کردیم و سپس ۲ خط دستور وارد کردیم، شما می‌توانید به تعداد دلخواه دستورات لازم را در هر خط وارد نمایید.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

 

 

مثال هفت

یکی دیگر از دستورات رایج و اشتباه از نگاه یک متخصص سئو در فایل robots.txt وردپرس که در بسیاری از سایت‌های معروف ایرانی استفاده می‌شود کدهای زیر می‌باشند. بنده شخصاً در هیچ‌یک از سایت‌های معتبر خارجی که دارای سیستم مدیریت محتوا وردپرس هستند چنین کدهایی را پیدا نکردم. عدم دسترسی به wp-includes که در آن یک سری فایل‌های مهم مثل جی کوئری است باعث می‌شود سایت به آن شکلی که باید برای موتور جستجو نمایش دهد خروجی نگیرد. سایت‌های مثل یوآست، نیل پتل، searchengineland و ده‌ها سایت معروف وردپرس که در مبحث سئو صاحب‌نظرهای جهانی هستند از چنین دستوراتی که باعث عدم دسرسی به فایل‌های wp-includes می‌شود استفاده نمی‌کنند حتی سایت یوآست در این مقاله اشاره‌کرده چنین دستوراتی اشتباه است و باعث مسدود شدن ربات‌ها به بعضی فایل‌ها می‌شود که برای سئو سایت خوشایند نیست.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

 

مثال هشت

دستور زیر وقتی کاربرد دارد که شما در آدرس‌های خود کاراکتری مانند ? را داشته باشید چراکه گاهی به دلیل مشکلات فنی در سایت، مقاله شما ممکن است با آدرس‌های مختلف و با مقادیر متفاوت انتشار پیدا کند. به همین منظور دستور زیر را به شکل موقت درج می‌کنید تا ربات‌ها آدرس‌های را کاراکتر علامت سؤال را ایندکس نکنند.

User-agent: *
Disallow: /*?*

 

اگر به دنبال مثال های بیشتری هستید مقاله Robots.txt Specifications گوگل هم می‌تواند برای شما مفید باشد.

تست فایل robots.txt در سرچ کنسل گوگل

در نهایت بعد از ساختن فایل robots.txt نوبت به تست و صحت کارکرد آن می‌رسد. گوگل در قسمتی از سرچ کنسول خود شرایط رایگانی برای تست فایل robotx.txt فراهم کرده است.  به این منظور وارد سرچ کنسول (وبمسترتولز) شوید. ( اگر به دنبال یادگیری حرفه ای سرچ کنسول هستید حتما سری به آموزش سرچ کنسول وبسایت میزفا بزنید)

Webmasters ccount Sign In
در منوهای موجود سرچ کنسول “Crawl” را انتخاب کنید.

Webmasters ccount crawl

سپس زیرمنوی  “robots.txt Tester.” را انتخاب کرده تا ابزار تست این فایل را مشاهده کنید.

Webmasters ccount robots.txt

در سمت راست دستوراتی را مشاهده می‌کنید که در فایل robots.txt درج کرده بودید. این نشان دهنده این است که شما به درستی این فایل را ایجاد کرده‌اید و مکان آن صحیح است.

تست فایل robots.txt در وبمسترتولز

اگر قصد دارید مطمئن شوید که آیا ربات به آدرسی دسترسی دارد یا نه، می‌توانید در قسمت “Enter a URL to test if it is blocked” آدرس را وارد کنید و نوع ربات گوگل را هم مشخص نمایید و دکمه تست را بزنید

دکمه test فایل robots.txt در وبمسترتولز گوگل

اگر با پیغام “ALLOWED” مواجه شدید به معنای آن است که ربات گوگل به آن دایرکتوری دسترسی دارد در غیر این صورت با پیغام “BLOCKED” روبه‌رو می‌شوید که بنی بر آن است که ربات دسترسی به آن آدرس (دایرکتوری) را ندارد.

اطلاعات بیشتر درباره تست فایل robots.txt در سایت گوگل مشاهده کنید.

چند نکته پایانی درباره فایل robots.txt

  • ربات‌های خزنده و یا بعضی ربات‌های موتورهای جستجو ممکن است به دستورات موجود در فایل robots.txt که درج‌شده را نادیده بگیرند. مخصوصاً ربات‌های اسپم یا مالور (malware robots) که برای آسیب‌پذیری، سایت‌ها را بدون توجه به این مسائل اسکن می‌کنند. و به دنبال ایمیل کاربران یا موارد دیگر هستند.
  • ممکن است متدهای فایل robots.txt را با متاتگ robots به اشتباه بگیرید برای همین پیشنهاد می‌شود که حتما مقاله کوتاه و مفید تفاوت فایل robots.txt با متاتگ robots را بخوانید.
  • موتورهای جستجو محتوای فایل robots.txt را کش می‌کنند اما معمولا محتوای کش شده را روزی حداقل یک بار به روز رسانی می‌کنند با این حال شما اگر تمایل دارید بعد از تغییرات در این فایل، موتورهای جستجو سریع‌تر کش را آپدیت کنند فایل خود را در این آدرس گوگل ارسال کنید.

امیدوار هستم فرآیند ساخت و نحوه ایجاد صحیح این فایل را در سایت خود فرا گرفته باشید و جدا از اینکه آیا وردپرس ، جوملا و یا هر CMS دیگری دارید می‌توانید به راحتی robots.txt بسازید، هر چند ما مثال برای ایجاد فایل robots.txt برای وردپرس و دیگر سی ام اس ها مثل جوملا را هم زدیم.

راستی اگر شما هم تجربه‌ی درباره نحوه کارکرد و ساخت فایل robots.txt دارید خوشحال میشیم در نظرات به اشتراک بگذارید 🙂

 

برچسب ها

پوریا آریافر

اولین کسب و کار آنلاین خودم را در فیسبوک راه‌اندازی کردم و در سال ۲۰۱۱ یکی از پرتعامل‌ترین صفحات فارسی با ۸۰ هزار فالور فعال را داشتم. سپس وارد دنیای شبکه شدم و در انتهای سال ۲۰۱۲ مدرک MCSE مایکروسافت را دریافت کردم، در دوران خدمت سربازی مسئول بهینه سازی یک وبسایت خبری معتبر شدم و آشنایی با سئو را آموختم و در سال ۲۰۱۴ توانستم به رتبه ۴۰۰ الکسا نزدیک کنم. برخلاف میل درونی، وارد دانشگاه شدم و سه ساله در مقطع کارشناسی IT فارغ التحصیل شدم، در همان سال بزرگ‌ترین کانال تلگرامی IT با ۴۰ هزار عضو را داشتم، که فروختم تا بتوانم تمرکز را فقط بر روی سئو بگذارم، فعالیت‌های سئو به شکل تخصصی بنده در قالب پروژه‌های مختلف و آموزش‌های حضوری و غیرحضوری در دفتر میزفا و دانشگاه علامه طباطبایی تهران صورت ‌می‌گیرد، تجربه بهینه سازی موفقی در بهبود UX و CRO پروژه‌های سئو کسب کرده‌ام. در همه ابزارهای گوگل به جز adwords تسلط کاملی دارم. عاشق کسب تجربه های جدید هستم. راز پیشرفت در هر کاری را یادگیری و یاددادن می‌دانم و میزفا که در اواخر ۲۰۱۶ راه‌اندازی شده، می‌تواند چنین بستر مناسبی را فراهم کند. نقد و بازخوردهای سازنده شما، جوهر تلاش‌های مستمر ماست تا یک قدم خودمون بهبود بدیم. منتظریم ...

‫43 نظرها

  1. سلام
    ممنون بابت مقاله خیلی خوبتون، واقعا مقالات شما بی نظیر است
    دو سوال:
    1. خود شما در این فایل سایت مپ رو نیز قرار داید آیا نیازی به این کار است؟
    2. شما فهرست مطلب را چگونه ایجاد می کنید؟

    1. سلام مهدی. ممنونم
      ۱ – پیشنهاد میشه این کار رو انجام بدید.
      ۲- با کدنویسی.

  2. سلام. ممنون بابت این مقاله. همه چیز خیلی شفاف و خوب توضیح داده شده. مثل بقیه پست هاتون.
    یه سوالی داشتم. من چند تا صفحه توی سایتم داشتم که به دلایلی مجبور شدم حذفشون کنم. اما با اینکه چند ماهی گذشته، هنوز توی نتایج پیدا میشن. آیا کار درستیه که آدرسشون رو disallow کنم؟؟
    باز هم ممنون.

    1. سلام. خواهش میکنم و خوشحالم براتون مفید بوده.
      پیشنهاد نمیکنم. اگر صفحه ای نزدیک به موضوع اون صفحات پاک شده پیدا کردی بیا صفحات پاک شده رو ریدایرکت بکن به صفحات موجود.

  3. مطلب مفید و پرمغزی بود ولی شما نگفتی چطور جلوی رباتهای مخربو با استفاده از robots.txt میشه گرفت؟
    و سوال دوم اینکه معنی اسلشی که اول کلمه میاد (یعنی سمت چپ ترین) چیه؟ یا به عبارتی تفاوت این دوتا چیه
    /wpadmin/
    /wpadmin

    1. سلام امین جان. خوشحالم برات مفید بوده.
      درباره سوال اول: چرا گفتیم داخل مقاله. شما خودت داری میگی ربات مخرب. مگه ربات مخرب در قالب چهارچوب عمل میکنه؟ در مقاله اشاره شده که ربات های اسپم و تخریب کن اصولا توجهی به این فایل متنی ندارند.
      درباره سوال دوم: در ابتدا باشید بگم که بین wp و admin یک – وجود داره. و اینکه حالت /wp-admin/ شما استفاده کن

  4. سلام ممنون از مقاله خوبتون. یک سوال چه مواردی را باید در robots. txt در نظر بگیرید. از افراد بسیار ی پرسید جوابی که شنیدم اینکه مواردی که رباتها نمی خواهید ببینند. خب نکته اینجاست چه مواردی را گوگل نباید ببینند.

    1. سلام، خواهش میکنم.
      بستگی به سایت داره. هر سایتی یک سری سیاست‌های خاص داره و براساس همین سیاست‌ها این فایل تعریف میشه. البته نحوه کدنویسی هم بر تنظیمات این فایل دخیل است. سوال شما بسیار کلی و به شدت بستگی به نوع سایت داره ولی یک مثال میزنم تا براتون کمی باز بشه. برخی سایت‌ها مشکلات کدنویسی دارن و مثلا یک محتوا انتشار پیدا میکنه با چند ادرس در سایت دیده میشه، حال میان برخی ادرس های تکراری رو یک جا توسط این فایل میبندن تا محتوای تکراری حساب نکنه. (دو نکته: هر چند روش‌های دیگه هم برای رفع این مشکل هست و اینکه بستن دسترسی ربات گوگل به معنی ایندکس نشدن نیست).

  5. من متوجه نشدم! این روبات همون کاری رو انجام میده که کرال گوگل هم انجام میده؟

    1. لطفا دوباره مطالعه کنید تا بهتر متوجه بشید. فایل ربات یک سری خط‌مشی برای کرال ها تعریف میکنه. مثلا فعلان صفحه رو کرال ها بررسی نکنن یا فعلان صفحه رو بررسی کنن و …

  6. خیلی مفید بود ممنون از سایت بسیار خوبتون. خیلی کاربردی و مناسب سپاس

    1. منظور من اونجا wp-includes هست که خیلی سایت های ایرانی میبندن، البته متن گنگ هست قبول دارم و باید ویرایش کنم. هر چند wp-admin هم بستگی به سایت داره و نمیشه برای کل سایت‌ها بگیم مسدود کردنش خوبه یا بده.

  7. سلام داخل مطلب مقاله از یوست سئو گذاشتید که گفته بود wp-admin رو نباید مسدود کرد ولی داخل فایل ربات سایت خودتون این کار رو کرده بودید دلیلش چی هست ؟

    1. سلام، ادرس دقیق لطفا بگید که کجا گفتیم تا بررسی کنم. هر چند در این صفحه درباره wp-admin توضیح دادم و البته بهینه سازی سایت یا همون سئو برای هر سایتی متفاوت هست، شما برای هر غذایی یک اندازه نمک استفاده نمیکنی، هر غذایی فرق داره، سئو هم به همین شکل هست برای هر سایتی سئو خاص خودش رو میخواد. با این حال در خطی که بنده نوشتم نباید مسدود کرد رو لطفا بگید تا علت نوشتن رو بررسی کنم.

  8. سلام
    مطالب بسیار بسیار مفید شما را خواندم و خیلی جالب و کامل بود و نشان از حسن نیت و طبع بلند شما را دارد که در راستای انتقال اطلاعات تلاش بسیار دارید و خواهید داشت
    ممنون می شوم سری هم به سایت بنده بزنید و اعلام نظر فرمایید

    سایت شبکه تجاری دانشجویان ایران
    bansi.ir

  9. با عرض سلام و خسته نباشید من این ربات تکست رو استفاده میکنم :
    از عزیزان درخواست دارم در صورت امکان بررسی کنند و اگر مشکلی در فایل من وجود داره به من اطلاع بدن ممنون
    در مورد این دو تا دستور با وجود بسته بودن فایل : Disallow: /wp-includes/ حدود 1100 پست از من بلاگ شده بود توسط گوگل که این دو تا دستور رو گذاشتم پستها داره ایندکس میشه و به 200 تا پست کاهش یافته! کدها: Allow: /wp-includes/*.js$
    Allow: /wp-includes/*.css$

    در مورد این فایل هم : Allow: /wp-content/ یه مدتی بسته بود و پست هام توی وبمستر گوگل داشت بلاگ میشد که بازش کردم
    در مورد admin-ajax.php این مورد رو گذاشتم یه مدتی و با خطا مواجه شدم و برداشتمش مورد بعدی میخواستم بدونم در آخر دستورات آیا وجود Allow: / بهتره یا نه ؟ یا نباشه هم ایرادی نداره

    فایل من:

    # All Bots
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin/
    Allow: /wp-content/
    Disallow: /wp-includes/
    Allow: /wp-includes/*.js$
    Allow: /wp-includes/*.css$
    Disallow: /readme.html
    Disallow: /license.txt
    Disallow: /search/
    Disallow: /*?
    Disallow: /*.php$
    Allow: /*.js$
    Disallow: /*.inc$
    Allow: /*.css$
    Allow: /*.jpg$
    Disallow: /*.gz$
    Disallow: /*.wmv$
    Disallow: /*.cgi$
    Disallow: /*.xhtml$
    Disallow: /*rurl=*
    Disallow: /feed
    Disallow: */feed
    
    Sitemap: xxxxx
    1. سلام، نمیشه همینطوری نظر داد چرا که باید دسترسی به سرچ کنسول داشت و پیشینه سایت رو مورد ارزیابی قرار داد تا بشه جواب مناسب داد ولی کاری که شما انجام میدید مثل خوددرمانی هایی هست که خیلی از افراد دارن انجام میدن و این میتونه عواقب نامناسبی داشته باشه.
      وجود خیلی از دستورات بالا رو من درک نمیکنم ولی به هر حال با یک متخصص که آگاهی از سایت شما داره در تماس باشید.

  10. سلام
    مطالب سایت شما خیلی عالی و آموزنده است
    من پاسخ خیلی از سوالاتم را دریافت کردم
    واقعا ممنون از زحمات شما

  11. با تشکر از پست خوبتون
    ممنون بابت این که به سادگی و با توضیحات کامل مطالب را بیان کردید
    امیدوارم موفق و موید باشید

  12. سلام
    تقریبا تمام مطالب سایت شما رو مطالعه کردم.
    از سایت ما هم دیدن فرمایید .
    ifix.ir

  13. موارد آموزشی سئو را در سایت مهرارقام به نشانی blog.mehrargham.com بخوانید.

  14. ممنون از سایت خوبتون

    اگه میشه از سایت ماهم بازدید بفرمایید.

    chapebaharestan.ir

    1. تشکر از حضور شما، بر روی چینش محتوا بیشتر زمان بذارید و همینطور فونت و سئو محتوای سایت
      موفق باشید.

  15. سلام مطلب خوبی بود
    فقط من فایل ربات رو میسازم تو هاست
    با پسوند بک اپ میاد مشکل از کجاست
    meshop2.com

    1. سلام، خواهش میکنم
      منظور شما از پسوند بک آپ رو متوجه نشدم، فایل robots.txt سایت شما بررسی شد و مشکل خاصی نداره، درضمن سرعت سایت شما به شدت کند است، روی این موضوع در جهت رونق کسب و کار خودتون کار کنید
      موفق باشید

  16. سلام
    خسته نباشید
    من robot.txt رو اوایل به اشتباهی فعال کرده بودم که کلا وبلاگم رو هیچ موتوری ایندکس نمیکرد،بعد از چند وقت فهمیدم و کد meta NAME=”ROBOTS” CONTENT=”ALL” / رو تو قالب وبلاگم قرار دادم و با webmaster هم صفحه mostanadd.blogfa.com/robots.txt رو remove کردم الان از کجا باید بفهمم که صفحاتن ایندکس میشه یا نه؟با توجه به اینکه هنوز کد های robot در robot.txt وجود داره

    1. سلام، شما هیچ دسترسی به فایل robots.txt ندارید و نمیتونید تغییراتی در اون ایجاد کنید و حذف این فایل در وبمسترتولز عملی رو پیش نمیبره چرا که در سایت شما موجود هست.
      متاتگ robots و فایل robots.txt در بلاگفا دسترسی کامل رو به ربات ها میدن برای ایندکس شدن صفحات، حال کافیه سایتتون رو در گوگل به این شکل سرچ کنید:
      site:mizfa.com
      صفحاتی که توسط گوگل جستجو میشن رو براتون میاره

        1. خب پس مطالب شما ایندکس میشن در بلاگفا و مشکلی نیست، فقط ممکنه طول بکشه و اگر طول کشید همان‌طور که اشاره کردید میتونید دستی عمل فچ انجام بدید.

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دکمه بازگشت به بالا
سایت خود را در گوگل مدیریت کنید + ۱۵ ساعت فیلم آموزشیجزئیات بیشتر اینجا کلیک کنید
بستن
با موفقیت ثبت شد، میزفا از شما برای عضویت در خبرنامه هفتگی تشکر میکند.

عضویت در خبرنامه هفتگی برای دریافت:

  • فیلم و مقاله رایگان سئو
  • آموزش‌های UX ، GA و GTM
  • مقاله های تخصصی ASP.NET Core
  • اطلاع رسانی از محصولات
ترک میزفا خوب نیست!
دوره سئو، رایگان شد.
یک چیز متفاوت تجربه کنید
کاراکتر اشاره گر
دوره سئو، رایگان شد.
یک چیز متفاوت تجربه کنید
کاراکتر اشاره گر