أداة إنشاء ملف Robots.txt
أنشئ ملف robots.txt الخاص بك بصريًا - حدد وكلاء المستخدم، وأضف قواعد السماح/المنع، وعيّن خريطة الموقع وتأخير الزحف، ثم انسخ أو نزّل.
ما هي أداة إنشاء ملف Robots.txt؟
ملف robots.txt يخبر برامج زحف محركات البحث بالصفحات أو الأقسام الموجودة على موقع الويب الخاص بك التي يمكنها أو لا يمكنها الوصول إليها. تتيح لك هذه الأداة إنشاء ملف robots.txt مُنسَّق بشكل صحيح من خلال واجهة مرئية - لا حاجة إلى تحرير يدوي. حدد وكلاء المستخدم مثل Googlebot أو Bingbot أو GPTBot، وأضف قواعد السماح/المنع لمسارات محددة، وقم بتضمين عنوان URL لخريطة الموقع الخاص بك، وقم بتعيين تأخير الزحف الاختياري. يتم إنشاء الملف على الفور في متصفحك مع معاينة مباشرة.
كيفية استخدام أداة إنشاء ملف Robots.txt
- حدد وكيل المستخدم - اختر من بين الروبوتات الشائعة (Googlebot، Bingbot، GPTBot، إلخ) أو أدخل اسمًا مخصصًا
- أضف قواعد - قم بتعيين نوع القاعدة (السماح أو المنع)، وأدخل المسار (على سبيل المثال، /admin/)، وانقر فوق إضافة
- عيّن خريطة الموقع - أدخل عنوان URL لخريطة الموقع الخاص بك (على سبيل المثال، https://example.com/sitemap.xml)
- تمكين تأخير الزحف - اختياريًا، قم بتعيين تأخير بالثواني بين طلبات الزحف
- معاينة وتصدير - شاهد الملف الذي تم إنشاؤه في الوقت الفعلي، ثم انسخه أو نزّله
لماذا تستخدم أداة إنشاء ملف Robots.txt هذه؟
- لا توجد أخطاء في بناء الجملة - يضمن المنشئ المرئي التنسيق الصحيح في كل مرة
- جميع الروبوتات الرئيسية - محملة مسبقًا بـ Googlebot و Bingbot و GPTBot و ClaudeBot والمزيد
- حظر روبوتات الذكاء الاصطناعي - يمكنك بسهولة حظر برامج زحف الذكاء الاصطناعي مثل GPTBot و ChatGPT-User
- معاينة مباشرة - شاهد التغييرات على الفور أثناء إضافة القواعد أو إزالتها
- تصدير بنقرة واحدة - انسخ إلى الحافظة أو نزّل كملف robots.txt جاهز للاستخدام
- الخصوصية أولاً - يتم تشغيل كل شيء في متصفحك. لا يتم إرسال أي بيانات إلى أي خادم
FreeToolbox مقابل أدوات إنشاء ملف Robots.txt الأخرى
| الميزة | FreeToolbox | SEOptimer | Ryte |
|---|---|---|---|
| تعمل بالكامل على المتصفح | نعم | لا (خادم) | لا (خادم) |
| إعدادات مسبقة لروبوتات الذكاء الاصطناعي | نعم (GPTBot, ClaudeBot) | لا | لا |
| وكيل مستخدم مخصص | نعم | محدود | نعم |
| معاينة مباشرة | نعم | نعم | نعم |
| تنزيل الملف | نعم | نعم | نعم |
| لا حاجة لحساب | نعم | نعم | يتطلب التسجيل |
الأسئلة الشائعة
ما هو ملف robots.txt؟
ملف robots.txt هو ملف نصي عادي يوضع في جذر موقع الويب الخاص بك (على سبيل المثال، example.com/robots.txt) يخبر برامج زحف الويب بعناوين URL التي يُسمح لها بالوصول إليها أو غير مسموح لها بذلك. يتبع معيار بروتوكول استبعاد الروبوتات.
كيف يمكنني حظر برامج زحف الذكاء الاصطناعي مثل GPTBot؟
حدد GPTBot (أو ChatGPT-User أو ClaudeBot) من القائمة المنسدلة لوكيل المستخدم، وأضف قاعدة منع لـ '/'، وسيوجه ملف robots.txt الذي تم إنشاؤه هذه الروبوتات بعدم الزحف إلى أي صفحة على موقعك.
أين يمكنني تحميل ملف robots.txt؟
حمّل ملف robots.txt إلى الدليل الجذر لموقع الويب الخاص بك بحيث يمكن الوصول إليه على https://yourdomain.com/robots.txt. تسمح معظم استضافات الويب بذلك عبر FTP أو مدير الملفات cPanel أو إعدادات CMS الخاصة بك.
هل يضمن ملف robots.txt عدم فهرسة الصفحات؟
لا. ملف Robots.txt هو توجيه، وليس آلية إنفاذ. تحترمه برامج الزحف المهذبة، لكن الروبوتات الضارة قد تتجاهله. لضمان إلغاء الفهرسة، استخدم العلامة الوصفية noindex أو رأس HTTP X-Robots-Tag.
ماذا يفعل تأخير الزحف؟
يخبر تأخير الزحف برنامج الزحف بالانتظار لعدد محدد من الثواني بين الطلبات. يمكن أن يقلل هذا من حمل الخادم الناتج عن برامج الزحف العدوانية. لاحظ أن Googlebot يتجاهل تأخير الزحف - استخدم Google Search Console لتعيين معدل الزحف لـ Google.