ملف robots.txt: بيعمل إيه وإزاي تتحكم فيه صح؟

جدول المحتوى

دليل مبرمج ووردبريس لفهم وتعديل ملف الزحف بمنتهى الاحتراف

1. مقدمة سريعة

كثير من المبرمجين بيتجاهلوا ملف صغير جدًا لكن تأثيره ضخم في السيو التقني…
الملف ده هو: robots.txt
الملف ده لو مش مظبوط، ممكن يمنع جوجل من الوصول لصفحات مهمة، أو يخلي الزحف يضيع في صفحات ملهاش قيمة.

2. يعني إيه ملف robots.txt؟

ده ملف نصي بسيط بتحطه في جذر الموقع (root directory) علشان تقول لعناكب محركات البحث إيه الصفحات اللي تدخلها، وإيه الصفحات اللي تبعد عنها.

يعني زي خريطة فيها علامات:
✅ الطريق مفتوح
❌ الطريق مقفول

3. بيشتغل إزاي وليه مهم في السيو؟

أول ما أي محرك بحث (زي جوجل أو بينج) ييجي يزور موقعك، بيبص أول حاجة على الملف ده علشان يعرف:

يروح فين
ومايروحش فين
إيه الصفحات المسموح بيها

يعني أنت بتتحكم في وقت وموارد الزحف.

4. الفرق بين robots.txt و meta robots

يعني:

robots.txt = افتح أو اقفل الطريق
meta robots = لو دخلت، تنشر ولا لا

5. فين مكان الملف ده في ووردبريس؟

المكان الطبيعي بتاعه هو:
https://example.com/robots.txt

ولو مش موجود، ووردبريس بينشئ واحد بشكل ديناميكي، بس ممكن تعمل واحد يدوي وتتحكم فيه أكتر.

6. الصيغة العامة للملف وأوامره

شكل ملف robots.txt:

txtCopyEditUser-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml

شرح:

User-agent: يعني بتخاطب أي نوع من البوتات (ممكن تحدد نوع معين)
Disallow: الصفحات اللي ممنوع دخولها
Allow: استثناءات من الممنوع
Sitemap: رابط خريطة الموقع

7. إزاي تمنع الزحف لصفحات معينة؟

مثال:

txtCopyEditDisallow: /cart/
Disallow: /checkout/
Disallow: /wp-login.php

ليه؟ علشان الصفحات دي مش مفيدة في الأرشفة ومش هتجيب زيارات من جوجل.

8. إزاي تسمح بجزء وتمنع جزء؟

مثال عملي:

txtCopyEditDisallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

يعني تمنع البوت من الدخول للوحة التحكم، لكن تسمح له يدخل على سكريبت معين مهم بيشتغل من الواجهة الأمامية.

9. حالات استخدام عملية في مواقع ووردبريس

موقع متجر:

txtCopyEditDisallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

مدونة:

txtCopyEditDisallow: /tag/
Disallow: /author/

ليه؟ علشان تمنع الزحف على صفحات محتوى مكرر (زي الوسوم والكاتب).

10. هل لازم كل موقع يبقى عنده robots.txt؟

مش شرط، بس من الأفضل دايمًا يكون عندك نسخة مخصصة بنفسك علشان:

تقلل الزحف اللي ملوش لازمة
تحافظ على سرعة الزحف في صفحاتك المهمة
تظبط خريطة الموقع sitemap.xml

11. الأخطاء الشائعة اللي لازم تتجنبها

❌ منع الزحف لمجلد /wp-content/ بالكامل
❌ منع البوتات كلها:

txtCopyEditUser-agent: *  
Disallow: /

❌ نسيان رابط الـ sitemap
❌ كتابة المسارات بشكل غلط أو بحروف كبيرة/صغيرة غلط

12. أدوات تقدر تفحص بيها الملف وتتأكد إنه سليم

Google Search Console (قسم robots.txt tester)
Screaming Frog SEO Spider
أدوات Yoast / Rank Math
أدوات الفحص زي Ahrefs / Semrush

13. علاقة الملف بـ Crawl Budget

لو موقعك فيه 500 صفحة، وجوجل بيزورك 100 مرة بس في اليوم، يبقى لازم تظبط الملف ده علشان البوت يقضي الوقت في الصفحات المهمة بس.

كل صفحة مملة أو متكررة بتاخد من ميزانية الزحف وبتأخر فهرسة الصفحات اللي تستاهل.

14. مثال عملي على ملف صحيح

txtCopyEditUser-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /tag/
Disallow: /author/
Sitemap: https://example.com/sitemap_index.xml

15. خلاصة وتوصيات للمبرمجين

ملف robots.txt أداة قوية في إيد أي مطور ووردبريس
حاول تبنيه بشكل استراتيجي يخدم المحتوى مش يدفنه
راجع الملف بعد كل تعديل كبير في الموقع
استخدمه دايمًا جنب sitemap.xml علشان تزود قوة موقعك في الزحف والفهرسة

16. الأسئلة الشائعة (FAQ)

❓هل ممكن الملف يمنع الموقع كله من الظهور؟

أيوه، لو كتبت Disallow: / هتقفل الزحف على الكل، ودي كارثة.

❓هل لازم أكتب فيه كل صفحة مش عايزها تظهر؟

مش لازم، ممكن تستخدم meta robots في بعض الصفحات، لكن robots.txt بيريّح في الحاجات العامة.

❓هل لازم أستخدم robots.txt لو عندي Yoast أو Rank Math؟

الإضافات دي بتساعد، بس الأفضل تكتب ملف يدوي علشان التحكم الكامل.

عنوان النهاية: “ملف صغير.. بس ليه تأثير تقيل أوي على ترتيبك في جوجل!”

لو انت كمبرمج ووردبريس عايز موقعك يظهر في أول نتائج البحث، متستهونش بملف robots.txt.
ده هو البوابة اللي جوجل بيعدي منها، وإنت اللي لازم تفتح وتقفل الأبواب زي ما يناسب استراتيجية الموقع.