«بهترین robots.txt وردپرس» یک فایل ثابت برای همه سایت‌ها نیست. یک بلاگ ساده، فروشگاه فیلترپذیر و محیط تست نیاز یکسان ندارند. ابتدا خروجی واقعی /robots.txt و منبع تولید آن را پیدا کنید؛ وردپرس یا افزونه می‌تواند خروجی مجازی بسازد و یک فایل واقعی در ریشه ممکن است آن مسیر را تغییر دهد.
منبع تنظیم را مشخص کنید
- از خروجی فعلی و فایل احتمالی ریشه بکاپ بگیرید.
- افزونه سئو، کد سفارشی و تنظیم وب‌سرور را از نظر تولید یا تغییر robots بررسی کنید.
- یک مالک مشخص برای تنظیم تعیین کنید تا چند ابزار قواعد متناقض نسازند.
- خروجی عمومی را پس از پاک‌کردن cache مرتبط دوباره بخوانید.
نمونه مسیر مدیریتی؛ نه نسخه آماده برای همه
در نصب ریشه‌ای، نمونه زیر مفهوم محدودکردن مسیر مدیریت و مستثناکردن handler عمومی AJAX را نشان می‌دهد. اگر وردپرس زیرپوشه یا معماری متفاوت دارد، مسیرها باید با آن تطبیق داده شوند.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpاین قواعد امنیت پنل ایجاد نمی‌کنند. مسیر نقشه سایت را فقط پس از تأیید URL واقعی اضافه کنید؛ در یک سایت ممکن است wp-sitemap.xml و در دیگری خروجی افزونه باشد. منابع داخل wp-content را به‌صورت کلی مسدود نکنید.
قواعد زیاد همیشه بهتر نیستند
منع همه query stringها می‌تواند صفحه مفید، صفحه‌بندی یا منابع موردنیاز را هم درگیر کند. قبل از قاعده گسترده، نوع URLهای واقعی و هدف هرکدام را فهرست کنید. برای صفحه تکراری یا خارج از هدف، canonical، noindex، پاسخ HTTP و لینک‌سازی هرکدام کاربرد جدا دارند؛ robots جایگزین همه آن‌ها نیست.
کنترل سایت تست و انتقال به مقصد نهایی
محیط تست و سایت نهایی دو host متفاوت‌اند و هرکدام خروجی robots و وضعیت noindex مستقل دارند. تکمیل محتوا مجوز خودکار برداشتن محدودیت تست نیست. هنگام مهاجرت، تیم فنی باید وضعیت نهایی هر دو محیط، sitemap و canonicalها را آگاهانه کنترل کند. انتقال فایل حاوی Disallow: / به سایت نهایی می‌تواند خزش را ناخواسته محدود کند؛ حذف آن از staging نیز ممکن است خلاف برنامه باشد.
چک‌لیست ممیزی
- صفحه‌های مهم و منابع لازم آن‌ها قابل دریافت برای خزنده هدف باشند.
- قواعد فقط به host و مسیر موردنظر اعمال شوند.
- URL sitemap واقعی، قابل دسترس و هماهنگ با نشانی نهایی باشد.
- صفحه‌ای که باید noindex خوانده شود بی‌دلیل از خزش منع نشده باشد.
- فایل یا داده خصوصی با احراز هویت حفاظت شود، نه فقط Disallow.
مطالعه مرتبط
منابع و مستندات
بازبینی محتوا و منابع: ۲۶ مهر ۱۴۰۵. دستورهای نمونه برای محیط مشخص‌شده‌اند؛ پیش از استفاده روی سرویس عملیاتی، سازگاری محیط و نسخه پشتیبان را بررسی کنید.
