مولّد ملف robots.txt
اصنع ملف robots.txt بأسلوب واضح: قواعد User-agent وAllow وDisallow وCrawl-delay وخريطة الموقع — جاهز للصق في جذر موقعك، وبالكامل داخل متصفحك.
🔒 بياناتك ما تغادر المتصفح — ولا حرف يُرسل لأي سيرفر، وما نحفظ شي
طريقة الاستخدام
- سمِّ المتصفح (User-agent)اكتب * ليشمل كل المتصفحات، أو اسم محدد مثل Googlebot أو Bingbot — لكل منهما قواعده الخاصة.
- حدد المسارات المسموحة والممنوعةاكتب كل مسار بسطر، يبدأ بـ / — Allow تسمح بزيارته وDisallow تمنع. اختياري: حلط قيمة Crawl-delay بالثواني.
- أضف خريطة الموقع (اختياري)حط رابط sitemap.xml الكامل بسطر — يطلع سطر Sitemap: في نهاية الملف.
- انسخ الملفالنص يتولّد لحظيًا — زر النسخ ياخذه كاملًا، وحطه في جذر موقعك كملف باسم robots.txt.
عجبتك الأداة؟ ساعدنا نخليها مجانية للأبد — ادعم OMXHub ❤️
أسئلة شائعة
وش هو ملف robots.txt؟
ملف نصي بسيط اسمه robots.txt تحطه في جذر موقعك (مثل https://example.com/robots.txt) ليخبر محركات البحث بأي المسارات يقدرون يزورونها وأيها ممنوعة. صار المعيار الأساسي لأكثر من 30 سنة، وكل محركات البحث مو بس Google تقرأه — بس مو كلها تتطبق نفس القواعد.
وش الفرق بين Allow وDisallow؟
Disallow تمنع متصفح معين من زيارتك مسار معين (مثل الصور اللي ما تبيها تظهر في البحث)، وAllow تسمح لمسار محدد بالرغم من قاعدة أعم تمنعه. الأداة تولّد الاثنين لكل مجموعة User-agent حسب اللي تكتبه، وكل قاعدة لازم تبدأ بـ / عشان تكون مسارًا صالحًا.
ليش لازم القاعدة تبدأ بـ /؟
لأن Allow وDisallow تحديد مسارات على الجذر: /admin تعني المجلد admin تحت جذر موقعك. أي قيمة ما تبدأ بـ / (زي كلمة عادية) مو مسار صالح، وما يطلعها الأداة لأنها راح تكون وسم غلط في ملفك. الاستثناء الوحيد هو نمط * ليطابق أي شيء.
ليش الـ Crawl-delay مو دايمًا يشتغل؟
لأنه توجيه اختياري ما تعترف به كل محركات البحث: Bing وYandex يأخذونه بعين الاعتبار، بس Google يتجاهله تمامًا. يحدد كم ثانية بين كل طلب من المتصفح لموقعك. لو موقعك سريع وخفيف، غالبًا ما تحتاجه أصلًا — الأداة تنبهك لهذا الفرق وتطلع القاعدة بس لو حطيت قيمة.
وش معنى خريطة الموقع (Sitemap) في الملف؟
سطر Sitemap: يخبر محرك البحث بمكان خريطة الموقع XML تبعك عشان يفهرس صفحاتك بشكل أسرع وأدق. لازم يكون رابط كامل يبدأ بـ https:// (نفس اللي تحطه في Google Search Console بس هنا بملف النص). الأداة ما تطلع السطر إلا إذا كان الرابط كاملًا.
هل الملف يمنع المحتوى نهائيًا عن الإنترنت؟
لا، وما ندّعي كذا. robots.txt يطلب من المتصفحات المحترمة ما تزور المسارات الممنوعة، بس المواقع الخارجية والرابط المباشر يظل يفتح. لو الخاصية مهمة فعلًا (بيانات خاصة)، حمايتها الحقيقية بالأذونات والكلمة السرية مو بملف نصوص. وكل شيء هنا يصير داخل متصفحك بدون أي رفع.