مولد ملف robots.txt مع اختبار المسارات
اختر نوع موقعك لتحصل على ملف سليم، وجرّب أي رابط لترى هل سيُحجب عن جوجل قبل أن ترفع الملف. لا يحجب الملف CSS وJS والصور لأن جوجل يحتاجها ليرى صفحتك كما يراها الزائر.
User-agent: * Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
اختبر رابطًا
محجوب بالقاعدة: Disallow: /admin/
ضع الملف في جذر موقعك بالاسم robots.txt ليكون متاحًا على /robots.txt. الحجب هنا توجيه للزواحف وليس حماية للمحتوى الخاص. ولمنع ظهور صفحة في النتائج استخدم وسم noindex، فالصفحة المحجوبة بالملف قد تبقى مفهرسة برابطها إن وُجدت روابط إليها.
كيف تعمل الأداة
اختر نوع موقعك (تعريفي، متجر، ووردبريس)، وأضف مسارات للحجب ورابط خريطة الموقع، فيعطيك ملف robots.txt جاهزًا للنسخ أو التحميل. جرّب أي مسار في خانة الاختبار لترى هل سيُحجب قبل رفع الملف. الملف توجيه للزواحف وليس حماية للمحتوى الخاص.
ما هو ملف robots.txt؟
ملف نصي في جذر موقعك (example.com/robots.txt) يخبر زواحف محركات البحث أي المسارات يمكنها زيارتها وأيها تتجنبها، ويدلّها على خريطة الموقع. الزواحف المحترمة تلتزم به، لكنه توجيه لا حماية: لا تخفِ به معلومات خاصة.
ماذا تحجب وماذا تترك؟
- احجب: لوحة الإدارة، صفحات السلة والدفع، نتائج البحث الداخلية، والروابط ذات المرشحات اللانهائية.
- لا تحجب ملفات CSS وJS والصور التي تعتمد عليها صفحاتك، فجوجل يحتاجها ليرى الصفحة كما يراها الزائر.
- في ووردبريس: احجب /wp-admin/ واترك admin-ajax.php متاحًا.
- أضف سطر Sitemap يشير إلى خريطة موقعك.
الحجب لا يعني إزالة من جوجل
صفحة محجوبة في robots.txt قد تبقى ظاهرة في النتائج بلا وصف إن كانت لها روابط من مواقع أخرى. ولمنع فهرستها استخدم وسم noindex في الصفحة نفسها، مع ترك الصفحة غير محجوبة ليتمكن جوجل من قراءة الوسم.
أخطاء قد تكلفك ترتيبك
- Disallow: / تحجب الموقع كله. شائعة عند نقل موقع من التطوير إلى الإنتاج.
- حجب مجلد الصور أو القالب.
- وضع الملف في مجلد فرعي بدل الجذر.
- عدم اختبار المسارات: استخدم خانة الاختبار في الأداة قبل الرفع.
أسئلة شائعة
أين أضع الملف؟
في جذر الموقع تمامًا: example.com/robots.txt.
هل حجب صفحة يمنع ظهورها في جوجل؟
لا دائمًا. قد تظهر الصفحة المحجوبة بدون وصف إن كانت لها روابط. لمنع الفهرسة استخدم وسم noindex.
هل أحجب ملفات CSS وJS؟
لا. يحتاجها جوجل لرؤية صفحتك كما يراها الزائر، وحجبها يضر الفهرسة.
تحتاج هذا لعملك بشكل مخصص؟
ويب مايسترو شركة مسجلة في عمّان تبني المواقع والمتاجر والأنظمة وتحسّن ظهورها في البحث. أخبرنا عن مشروعك وسنقترح الأنسب لك.