نام درست فایل robots.txt است، نه robot.txt. این فایل به خزنده‌های سازگار می‌گوید کدام مسیرها را بخزند؛ ابزار رمزگذاری، احراز هویت یا تضمین حذف صفحه از نتایج نیست. پیش از اضافه‌کردن یک Disallow، مشخص کنید هدف شما کاهش خزش است، جلوگیری از ایندکس یا حفاظت از اطلاعات؛ هر هدف ابزار متفاوتی دارد.
فایل در کدام مسیر قرار می‌گیرد؟
robots.txt در ریشه همان host قرار می‌گیرد؛ مثلاً https://example.com/robots.txt. فایل داخل /blog/robots.txt کنترل‌کننده تمام وبلاگ نیست. پروتکل، host و پورت محدوده اثر را تعیین می‌کنند؛ فایل یک زیردامنه خودکار به زیردامنه دیگر اعمال نمی‌شود. خروجی باید متن ساده UTF-8 باشد، نه صفحه HTML خطا.
خواندن یک نمونه محدود
User-agent: *
Disallow: /internal-search/
Sitemap: https://example.com/sitemap.xmlاین مثال مسیر فرضی جستجوی داخلی را برای خزنده‌های مشمول محدود و محل نقشه سایت را معرفی می‌کند. مسیر و sitemap نمونه را بدون بررسی روی سایت خود نگذارید. نبود منع، به‌طور پیش‌فرض اجازه خزش می‌دهد؛ اضافه‌کردن Allow برای همه فایل‌ها الزام عمومی نیست.
چرا Disallow همان noindex نیست؟
یک URL مسدود ممکن است از طریق لینک‌های دیگر شناسایی و بدون محتوای خزیده‌شده در نتایج ظاهر شود. اگر خزنده اجازه دریافت صفحه را نداشته باشد، ممکن است noindex داخل همان صفحه را هم نبیند. برای محتوای خصوصی از کنترل دسترسی واقعی استفاده کنید؛ فایل robots.txt عمومی است و نام مسیرهای نوشته‌شده را پنهان نمی‌کند.
قواعد را از قصد صفحه جدا نکنید
- CSS و JavaScript لازم برای فهم و نمایش محتوا را بی‌دلیل نبندید.
- برای حذف یک مقاله منقضی، Disallow به‌تنهایی تصمیم محتوایی یا پاسخ مناسب URL نیست.
- سرویس staging باید طرح حفاظت و وضعیت ایندکس مستقل داشته باشد.
- قواعد هر crawler را مطابق مستندات خودش تفسیر کنید؛ همه ربات‌ها از فایل پیروی نمی‌کنند.
آزمون پیش و پس از تغییر
- نسخه فعلی فایل و دلیل هر قاعده را ثبت کنید.
- چند URL مهم، مسیر محدود و منابع لازم صفحه را در مجموعه آزمون بگذارید.
- خروجی عمومی /robots.txt را از مرورگر خارج از حساب و بدون cache قدیمی بخوانید.
- محدوده اثر و نبود منع ناخواسته کل سایت را بررسی کنید.
- برای تحلیل رفتار گوگل از ابزار و گزارش رسمی در زمان نیاز استفاده کنید؛ تغییر فایل وعده رتبه‌گیری نیست.
مطالعه مرتبط
منابع و مستندات
بازبینی محتوا و منابع: ۲۶ مهر ۱۴۰۵. دستورهای نمونه برای محیط مشخص‌شده‌اند؛ پیش از استفاده روی سرویس عملیاتی، سازگاری محیط و نسخه پشتیبان را بررسی کنید.
