آدرس سایت خود را وارد نمایید، تا وضعیت فایل robots.txt را بررسی نماییم

.

فایل robots.txt چیست؟

مدیران سایت ها از فایلی با نام robots.txt استفاده می کنند تا مشخص نمایند خزنده های موتورهای جستجو به کدام بخش از وب سایت اجازه دسترسی ندارند، این فایل در آدرس اصلی (روت سایت) قرار می گیرد. فایل robots.txt با نام Robots Exclusion Standard  شناخته می شود. که از یک پروتکل با مجموعه ای کوچک دستورات استفاده می کند.

فایل robots.txt مفید است اگر

   1. اگر نمی خواهید که موتورهای جستجو، صفحات نتایج جستجوهای داخلی سایت شما را شاخص گذاری کنند
   2. اگر نمی خواهید که موتورهای جستجو بخشی مشخص یا تمام سایت را شاخص گذاری نمایند
   3. اگر نمی خواهید که موتورهای جستجو فایل های مشخصی از سایت شما را شاخص گذاری نمایند (مانند، عکس ها، پی دی اف و ...)
   4. اگر می خواهید موتورهای جستجو از صفحات تکراری در وب سایت شما صرفنظر کنند
   5. اگر می خواهید به موتورهای جستجو بگویید که نقشه سایت شما در چه محلی قرار دارد.

چرا شما باید درباره robots.txt یاد بگیرید؟

   1. استفاده نامناسب از فایل robots.txt می تواند به رتبه سایت شما آسیب وارد نماید.
   2. فایل robots.txt، دید عنکبوت های موتورهای جستجو از سایت ونحوه ی تعامل با صفحات سایت را کنترل می کند. 
   3. در دستورالعمل های مختلف گوگل به این فایل اشاره شده است.

robots.txt چیست؟