چگونه فایل robots.txt سایت را بررسی و ویرایش کنیم؟

• مراحل بررسی و ویرایش فایل " robots.txt "

• ابتدا وارد کنترل پنل هاست (" DirectAdmin " یا " Plesk ") شده و از منوی اصلی وارد بخش " File Manager " شوید.
  

• وارد پوشه اصلی وب‌سایت (معمولاً " public_html " یا " httpdocs ") شوید.
  

• یک فایل جدید با نام " robots.txt " ایجاد نمایید.
  
  

• متن یا کد دلخواه خود را داخل فایل " robots.txt " وارد نمایید.
  

  نمونه متن:

  جلوگیری از بررسی چند پوشه:

  User-agent: *
  Disallow: /admin/
  Disallow: /backup/
  Disallow: /test/

  
  

  و یا زمانی که سایت هنوز در حال طراحی است و نمی‌خواهید موتورهای جستجو آن را بررسی کنند:

  User-agent: *
  Disallow: /

  
  

  نکته:
  User-agent: * یعنی این قوانین برای همه موتورهای جستجو اعمال می‌شود.
  Disallow مسیرهایی را مشخص می‌کند که موتورهای جستجو نباید آن‌ها را بررسی کنند.

  • چه زمانی این فایل مفید است؟
  برای مثال:
  نمی‌خواهید پوشه‌ای مانند " /backup/ "یا " /test/ " توسط موتورهای جستجو بررسی شود.
  و یا سایت شما دارای صفحات تکراری یا موقتی و یا صفحه‌ای که هنوز در حال طراحی است که نیازی نیست ربات‌های موتور جستجو وقت خود را صرف آن‌ها کنند.