SEO تقني

مولّد Robots.txt — أنشئ ملف robots.txt صالحًا في ثوانٍ

اختر إعدادًا مسبقًا أو خصّص قواعدك، وحدّد زواحف الذكاء الاصطناعي التي تريد حجبها، وانسخ ملف robots.txt جاهزًا للرفع.

تملأ الإعدادات المسبقة الحقول أدناه — ويمكنك تعديل أي شيء قبل التوليد.
الحالة
0 قواعد
 
0
أسطر التوجيهات
0
كتل User-agent
0
زواحف الذكاء الاصطناعي المحجوبة
0
أسطر Sitemap
نصيحة: ارفع الملف المُنشأ إلى جذر نطاقك باسم /robots.txt — فلن يعمل من أي مجلد فرعي.

يزيل مولّد robots.txt التخمين من أحد أقدم الملفات على الويب وأكثرها إساءة في الفهم. تُنشئ هذه الأداة المجانية ملف robots.txt سليم الصياغة في ثوانٍ — اختر إعدادًا مسبقًا لـWordPress أو المتاجر الإلكترونية أو مجموعة قواعد مخصصة تمامًا، وقرّر هل تحجب موجة زواحف الذكاء الاصطناعي الجديدة، ثم انسخ النتيجة مباشرة إلى المجلد الجذر لموقعك.

تسبب مجموعة الأخطاء نفسها معظم مشكلات robots.txt: حجب ملفات CSS وJS التي تحتاجها Google لعرض الصفحة، واستخدام robots.txt لمحاولة "إخفاء" صفحة مفهرسة أصلًا، وترك Disallow: / الخاص ببيئة تجريبية على موقع منشور. توضح هذه الصفحة كل فخ منها لتفحص مخرجاتك على أساسها قبل الرفع.

ماذا يفعل مولّد Robots.txt هذا

تبني الأداة ملف robots.txt نصيًا بسيطًا يتكون من كتلة User-agent واحدة أو أكثر، تتبع كلًّا منها توجيهات Allow وDisallow، وسطر Crawl-delay اختياري، وسطر Sitemap يوجّه محركات البحث إلى خريطة موقعك XML. اختر إعدادًا مسبقًا لملء قيم افتراضية معقولة تلقائيًا، وفعّل خانات الاختيار لإضافة قواعد حجب لزواحف ذكاء اصطناعي محددة، فيجمع المولّد كل شيء في ملف نظيف متوافق مع المعايير يمكنك نسخه بنقرة واحدة.

كل قاعدة تضيفها تظهر أمامك قبل أن تنسخ أي شيء، فلا شيء مخفي أو يُحقن تلقائيًا. وما تراه في مربع المخرجات هو بالضبط ما يُرفع إلى خادمك.

طريقة الاستخدام

  1. اختر إعدادًا مسبقًا. "السماح للجميع" هو الافتراضي الأكثر أمانًا لمعظم المواقع الصغيرة. و"WordPress القياسي" يحجب مسارات الإدارة والبحث مع إبقاء مجلدات المحتوى والنواة والإضافات (بما فيها CSS/JS) قابلة للزحف. و"المتاجر الإلكترونية القياسي" يضيف مسارات السلة والدفع والحساب.
  2. اضبط User-agent والمسارات. اترك User-agent: * لاستهداف كل الزواحف، أو حدّد زاحفًا واحدًا إذا احتجت قاعدة خاصة.
  3. أضف رابط خريطة موقعك. يساعد هذا السطر الواحد كل محرك بحث على إيجاد خريطتك دون أن ترسلها يدويًا في كل مكان.
  4. قرّر بشأن زواحف الذكاء الاصطناعي. فعّل الخانات لأي زواحف ذكاء اصطناعي تريد إبعادها عن مسار بيانات التدريب لديها.
  5. أنشئ وانسخ. اضغط "أنشئ"، وراجع المخرجات، ثم انسخها إلى ملف يحمل الاسم robots.txt بالضبط في جذر نطاقك.

كيف يعمل Robots.txt فعلًا

يتبع robots.txt بروتوكول استثناء الروبوتات، وهو معيار طوعي تفحصه الزواحف الحسنة السلوك قبل طلب أي صفحة من نطاقك. يقع الملف في https://yourdomain.com/robots.txt — ولا مكان غيره — ويقرؤه كل زاحف محرك بحث أولًا، فيطابق اسم User-agent الخاص به مع قواعدك، ثم يقرر المسارات المسموح له بطلبها. وتحترم Google وBing وسائر المحركات الكبرى هذا البروتوكول بدقة، كما هو موثّق في robotstxt.org، موقع المواصفة الأصلية.

الزحف مقابل الفهرسة — الخطأ الذي يكسر المواقع

هذا أهم شيء يجب فهمه قبل أن تلمس robots.txt: يتحكم robots.txt في الزحف لا في الفهرسة. إنهما عمليتان مختلفتان، والخلط بينهما يسبب ضررًا حقيقيًا. الزحف هو طلب زاحف Google لصفحة وقراءة محتواها. أما الفهرسة فهي قرار Google بتخزين تلك الصفحة وعرضها في نتائج البحث. إن حجب رابط عبر Disallow في robots.txt يوقف الزحف فقط — ولا يضمن بقاء الصفحة خارج نتائج البحث.

وهنا الفخ: إذا ربطت مواقع أخرى بصفحة حجبتها، يمكن لـGoogle أن تفهرس الرابط اعتمادًا على تلك الإشارة الخارجية، فتعرضه في نتائج البحث دون عنوان أو وصف، مجرد رابط عارٍ — وغالبًا ما يكون ذلك أسوأ لعلامتك مما لو تركته قابلًا للزحف بالكامل. والأسوأ أنه بمجرد حجب الصفحة لا يمكن لزاحف Google جلبها مجددًا، أي لا يمكنه قراءة وسم noindex الوصفي فيها أيضًا. فالصفحة المحجوبة في robots.txt غير مرئية للآلية نفسها التي كانت ستزيلها من الفهرس بصورة صحيحة.

الحل الصحيح لـ"لا أريد هذه الصفحة في نتائج البحث" هو في الغالب وسم <meta name="robots" content="noindex"> في الصفحة نفسها، مع تركها قابلة للزحف بالكامل لكي ترى Google هذا التوجيه وتلتزم به. واحتفظ بقواعد Disallow في robots.txt للصفحات التي لا تريدها أن تُزحف إطلاقًا — نتائج البحث الداخلي، والروابط المصفّاة أو ذات الأوجه التي تولّد تركيبات مكررة لا نهائية، وبيئات الاختبار، ومناطق الإدارة — لا للصفحات التي تحاول إزالتها من البحث.

سؤال زواحف الذكاء الاصطناعي الذي يواجهه كل ناشر الآن

منذ 2023 ظهرت فئة جديدة من الزواحف في سجلات الخوادم: زواحف لا تفهرس صفحتك للبحث، بل تجمع محتواك لتدريب نماذج اللغة الكبيرة أو تأريضها. وهي GPTBot (OpenAI)، وCCBot (الزاحف وراء مجموعة بيانات Common Crawl التي تستخدمها مختبرات ذكاء اصطناعي كثيرة)، وGoogle-Extended (رمز في robots.txt، منفصل عن Googlebot، يتحكم في استخدام المحتوى الذي زحفت إليه Google لتدريب Gemini وتأريضه؛ وتقول Google إنه لا يؤثر في الإدراج في بحث Google)، وClaudeBot (Anthropic)، وPerplexityBot (Perplexity AI)، وهي الأكثر سؤالًا من أصحاب المواقع.

ثمة مفاضلة حقيقية هنا، لا إجابة صحيحة واضحة. فحجب هذه الزواحف يطلب من مشغّليها إبقاء محتواك خارج مجموعات تدريب الذكاء الاصطناعي لديهم (الامتثال طوعي، والحجب لا يزيل ما جُمع بالفعل) — وهو ما يريده بعض الناشرين، خصوصًا إذا كانت إجابات الذكاء الاصطناعي تلبّي عمليات البحث دون إرسال نقرة إلى الصفحة الأصلية.

لكن الحجب يعني أيضًا ألا تظهر علامتك وبياناتك وخبرتك حين يسأل أحدهم مساعدًا ذكيًا سؤالًا كان بإمكان محتواك الإجابة عنه. وبالنسبة لعمل قائم على أن يُعثر عليه — وهذا حال معظم الأعمال — فإن هذه المفاضلة تستحق قرارًا مدروسًا لا إعدادًا افتراضيًا. يجعل هذا المولّد كل زاحف ذكاء اصطناعي خانة اختيار مستقلة تحديدًا لتختار بوعي بدل نسخ قائمة حجب شاملة وجدتها على الإنترنت.

شرح توجيهات Robots.txt الشائعة

  • User-agent — يحدد أي زاحف تنطبق عليه القواعد التالية. ويطابق * جميع الزواحف التي ليس لها كتلة أكثر تحديدًا.
  • Disallow — يطلب من الزاحف المحدد ألا يطلب الروابط المطابقة لهذا المسار. والقيمة الفارغة تعني أنه لا شيء محجوب.
  • Allow — يستثني جزءًا داخل مسار محجوب، ويُستخدم غالبًا للسماح بملف محدد (مثل ملف CSS أو JS) رغم حجب مجلده الأب.
  • Crawl-delay — يطلب من الزاحف الانتظار عددًا من الثواني بين الطلبات. لا تدعمه Google (إذ تذكر وثائق robots.txt لديها فقط user-agent وallow وdisallow وsitemap)؛ وتقرؤه بعض الزواحف الأخرى، لكن الدعم يتفاوت بحسب الزاحف. استخدمه باعتدال — فقد يبطئ تأخير طويل سرعة اكتشاف الزاحف الذي يلتزم به للمحتوى الجديد.
  • Sitemap — رابط مطلق يشير إلى خريطة موقعك XML. وهو التوجيه الوحيد الذي يقرؤه كل محرك بحث بصرف النظر عن كتلة User-agent التي يقع تحتها.

ما الذي لا يجب وضعه في Robots.txt

robots.txt ملف عام. يمكن لأي شخص — منافس أو باحث أمني أو زائر فضولي — زيارة yourdomain.com/robots.txt وقراءة كل مسار أدرجته. لا تستخدم قاعدة Disallow أبدًا لمحاولة "إخفاء" لوحة إدارة أو مجلد فرعي تجريبي يحوي بيانات حساسة أو صفحة منتج لم يُطلق بعد. فإدراج المسار في robots.txt كثيرًا ما يجذب إليه انتباهًا أكبر من تركه غير مدرج، لأنه ينشر بنية الرابط بدقة لكل من يتحقق. وإذا كان شيء ما يجب أن يبقى خاصًا فعلًا فاحمِه بالمصادقة أو بقاعدة جدار ناري، لا بملف نصي يطلب بأدب من الزواحف الحسنة السلوك أن تشيح بنظرها — لأن ليس كل زاحف حسن السلوك، وrobots.txt طوعي بالكامل.

تريد أن يُعالج أساس SEO التقني لديك كاملًا، لا ملفًا واحدًا فقط؟

robots.txt قطعة صغيرة واحدة من صورة أكبر للزحف والفهرسة. وتشمل خدمات SEO لدى Arb Digital التدقيق التقني والفهرسة وهيكلة الموقع.

اطّلع على خدمات SEO لدينا كل الأدوات المجانية

أخطاء شائعة يجب تجنبها

  • حجب مجلدات CSS/JS. تعرض Google الصفحات كما يفعل المتصفح؛ وحجب مجلدات ملفات الأنماط أو السكربتات قد يجعل Google ترى صفحة مكسورة بلا تنسيق فتسيء تقدير جودتها.
  • استخدام Disallow لإزالة صفحات مفهرسة. لا ينجح بشكل موثوق وقد يأتي بنتيجة عكسية — استخدم وسوم noindex في صفحة قابلة للزحف بدلًا من ذلك.
  • نسيان سطر Sitemap. يكلّف سطرًا واحدًا ويساعد كل زاحف على إيجاد خريطتك دون إرسال يدوي.
  • أخطاء في اسم الملف أو موقعه. يجب أن يكون robots.txt بالضبط، بأحرف صغيرة، في جذر النطاق — لا في مجلد فرعي ولا Robots.TXT.
  • حجب كل شيء في موقع منشور بالخطأ. فبقايا Disallow: / من بيئة تجريبية من أكثر أسباب اختفاء الموقع المفاجئ من نتائج البحث شيوعًا.
  • افتراض أن robots.txt يُبقي الصفحة خارج نتائج البحث. إنه يحجب الزحف فقط — راجع قسم الزحف مقابل الفهرسة أعلاه.

أدوات مجانية ذات صلة من Arb Digital

بعد نشر robots.txt، اقرنه بـمولّد خريطة الموقع XML لبناء الخريطة التي أشرت إليها أعلاه. وإذا كنت تخطط لتغييرات في الروابط، فإن مولّد إعادة التوجيه htaccess يتعامل مع إعادات التوجيه 301 بالطريقة الصحيحة. وتحقق من فهرسة صفحة ما فعلًا عبر فاحص ذاكرة Google المؤقتة، وراجع وسوم صفحتك عبر مولّد الوسوم الوصفية، وأضف البيانات المنظمة عبر مولّد ترميز Schema، أو تصفّح مركز الأدوات المجانية عبر الإنترنت الكامل.

مثال محلول بالمدخلات الافتراضية

افتح هذه الصفحة وانظر إلى مربع المخرجات دون تغيير أي شيء (يُنشأ الملف عند التحميل؛ والضغط على "أنشئ" يكرره). هذه هي القيم الابتدائية، مأخوذة مباشرة من النموذج:

  • الإعداد المسبق: wordpress
  • User-agent: *
  • رابط Sitemap: https://www.example.com/sitemap.xml
  • Crawl-delay: فارغ
  • خانات زواحف الذكاء الاصطناعي: الخمس كلها غير مفعّلة

تعيد الأداة النتائج التالية، محسوبة بالشيفرة نفسها التي تعمل أعلاه:

  • الحالة: 6 قواعد
  • أسطر التوجيهات: 6
  • كتل User-agent: 1
  • زواحف الذكاء الاصطناعي المحجوبة: 0
  • أسطر Sitemap: 1

المخرجات كتلة User-agent: * واحدة تحوي خمسة أسطر Disallow (/wp-admin/ و/readme.html و/trackback/ و/?s= و/search/)، وسطرًا واحدًا Allow: /wp-admin/admin-ajax.php، وسطرًا فارغًا يليه Sitemap: https://www.example.com/sitemap.xml. ويظهر في سطر الحالة “1 كتلة User-agent”. فعّل خانات الذكاء الاصطناعي الخمس فتضيف كل واحدة كتلتها الخاصة مع Disallow: /، فترتفع الأعداد إلى 11 سطر توجيهات و6 كتل.

كيف تقرأ نتيجتك

  • أسطر التوجيهات تعدّ أسطر Disallow وAllow وCrawl-delay زائد سطرًا لكل زاحف ذكاء اصطناعي محجوب. ولا تعدّ أسطر User-agent أو Sitemap.
  • استبدل رابط خريطة الموقع المثالي برابطك الحقيقي. فالقيمة الافتراضية نص تمثيلي غير موجود.
  • أبقِ CSS/JS قابلة للزحف. يترك إعداد WordPress المسبق /wp-includes/ و/wp-content/plugins/ مفتوحين عمدًا، لأنهما يحويان السكربتات والأنماط التي تحتاجها صفحاتك لتُعرض. وتوصي Google بالسماح للزواحف بجلب هذه الموارد، فتجنّب إعادة إضافتها.
  • ابحث عن Disallow: / تحت User-agent: *. فهذا يحجب الموقع كله ولا يصلح إلا لنسخة تجريبية.

ماذا تفعل بعد ذلك

  • ارفع الملف إلى /robots.txt في جذر النطاق، ثم افتحه في المتصفح للتأكد من أنه يُحمَّل كنص عادي.
  • اختبر بعض الروابط المهمة عبر تقرير robots.txt وأداة فحص الروابط في Google Search Console.
  • ابنِ خريطة الموقع التي أشرت إليها عبر مولّد خريطة الموقع XML، واستخدم noindex لا Disallow للصفحات التي تريدها خارج البحث.

الأسئلة الشائعة

هل يمنع robots.txt ظهور صفحة في نتائج بحث Google؟

ليس بشكل موثوق. يحجب robots.txt الزحف فقط. فإذا ربطت مواقع أخرى برابط محجوب، يمكن لـGoogle أن تفهرسه وتعرضه — عادةً كرابط عارٍ بلا مقتطف، لأن Google لم يُسمح لها يومًا بقراءة الصفحة. ولإبقاء صفحة خارج نتائج البحث بشكل موثوق، اتركها قابلة للزحف وأضف وسم noindex الوصفي بدلًا من ذلك.

هل أحجب GPTBot وClaudeBot وزواحف الذكاء الاصطناعي الأخرى؟

يعتمد على أهدافك. فحجبها يطلب من مشغّليها إبقاء محتواك خارج بيانات تدريب نماذج الذكاء الاصطناعي (ويغطي Google-Extended تدريب Gemini وتأريضه، وتقول Google إنه لا يؤثر في الإدراج في البحث). والامتثال طوعي، وقد يعني الحجب أيضًا أن المساعدين الذكيين سيشيرون إلى محتواك بدرجة أقل، ما قد يكلّفك ظهورًا. لا توجد إجابة صحيحة عالميًا — ويتيح لك هذا المولّد اختيار كل زاحف على حدة.

أين يجب رفع ملف robots.txt؟

يجب أن يقع في جذر نطاقك، مثل https://www.example.com/robots.txt. ولن يُعترف به في مجلد فرعي مثل /blog/robots.txt، وكل نطاق فرعي يحتاج نسخته الخاصة إذا كانت له قواعد زحف مختلفة.

ماذا يفعل Crawl-delay فعلًا؟

يطلب من الزاحف الانتظار عددًا محددًا من الثواني بين الطلبات لتقليل الحمل على الخادم. لا تدعم Google هذا التوجيه، لذا ليس له أثر على Googlebot. وتقرؤه بعض الزواحف الأخرى، لكن الدعم يتفاوت بحسب الزاحف، وقد تبطئ القيمة العالية سرعة اكتشاف تلك الزواحف للصفحات الجديدة.

هل من الآمن إدراج مجلدات خاصة في robots.txt؟

لا. robots.txt ملف عام يستطيع أي شخص عرضه. وإدراج مسار حساس فيه ينشر موقعه بدقة لكل من ينظر، بما في ذلك الزواحف التي تتجاهل القواعد كليًا. استخدم المصادقة أو ضوابط الوصول على مستوى الخادم لكل ما يجب أن يبقى خاصًا فعلًا.

هل أحتاج إلى ملف robots.txt أصلًا؟

من الناحية التقنية لا — فإن لم يوجد، تفترض الزواحف أن كل شيء مسموح. لكن وجوده ما زال ممارسة جيدة: فهو يتيح لك توجيه الزواحف إلى خريطة موقعك، وحجب مسارات الزحف قليلة القيمة مثل البحث الداخلي أو الروابط المصفّاة، واتخاذ خيار مدروس بشأن زواحف الذكاء الاصطناعي، بدل ترك كل ذلك للسلوك الافتراضي.

اذهب أبعد من ذلك

تريد صورة أشمل عن موقعك؟ شغّل فحص الموقع بالذكاء الاصطناعي المجاني للحصول على تقرير صفحة بصفحة.