مولد ملف robots.txt مع اختبار المسارات
اختر نوع موقعك لتحصل على ملف سليم، وجرّب أي رابط لترى هل سيُحجب عن جوجل قبل أن ترفع الملف. لا يحجب الملف CSS وJS والصور لأن جوجل يحتاجها ليرى صفحتك كما يراها الزائر.
اختبار مباشر للمساراتقوالب متاجر وووردبريستحميل الملف جاهزاً
نوع الموقع
حجب زواحف الذكاء الاصطناعي (اختياري)يمنع هذه الجهات من استخدام محتواك في التدريب. لا يؤثر على ظهورك في بحث جوجل العادي. الالتزام بالملف طوعي من جهة الزاحف.
User-agent: * Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
اختبر رابطاً
محجوب بالقاعدة: Disallow: /admin/
ضع الملف في جذر موقعك بالاسم robots.txt ليكون متاحاً على /robots.txt. الحجب هنا توجيه للزواحف وليس حماية للمحتوى الخاص. ولمنع ظهور صفحة في النتائج استخدم وسم noindex، فالصفحة المحجوبة بالملف قد تبقى مفهرسة برابطها إن وُجدت روابط إليها.