وظيفة ملف Robots.txt وأوامر Allow و Disallow مع أمثلة عملية
وظيفة ملف Robots.txt وأوامر Allow و Disallow مع أمثلة عملية
يُعتبر ملف Robots.txt أحد أهم الملفات التقنية في أي موقع إلكتروني، حيث يساعد في توجيه محركات البحث إلى الصفحات التي يمكنها الوصول إليها والصفحات التي يجب تجاهلها. ورغم بساطة هذا الملف، إلا أن أي خطأ في إعداده قد يؤثر بشكل مباشر على أرشفة الموقع وظهوره في نتائج البحث.
في هذا المقال سنتعرف على وظيفة ملف Robots.txt، وأوامر Allow و Disallow، مع أمثلة عملية تساعدك على فهم طريقة استخدامه بشكل صحيح.
ما هي وظيفة ملف Robots.txt؟
ملف Robots.txt هو ملف نصي يتم وضعه في المجلد الرئيسي للموقع، ويحتوي على تعليمات خاصة بروبوتات محركات البحث مثل Googlebot.
تتمثل وظيفته الأساسية في:
تنظيم عملية الزحف إلى الموقع.
منع الوصول إلى الصفحات غير المهمة.
توجيه محركات البحث نحو الصفحات المفيدة.
تقليل استهلاك ميزانية الزحف (Crawl Budget).
المساعدة في تحسين السيو التقني للموقع.
عندما تدخل محركات البحث إلى موقعك، فإنها تقرأ ملف Robots.txt أولًا لمعرفة الصفحات المسموح لها بفحصها.
ما هو أمر Allow؟
يُستخدم أمر Allow للسماح لمحركات البحث بالوصول إلى صفحة أو مجلد معين.
مثال:
User-agent: *
Allow: /
في هذا المثال يُسمح لجميع محركات البحث بالوصول إلى جميع صفحات الموقع.
مثال آخر
السماح بفهرسة مجلد معين:
User-agent: *
Allow: /blog/
هنا يتم السماح لمحركات البحث بالوصول إلى محتوى المدونة.
ما هو أمر Disallow؟
يُستخدم أمر Disallow لمنع محركات البحث من الوصول إلى صفحة أو مجلد معين.
مثال:
User-agent: *
Disallow: /admin/
في هذا المثال يتم منع جميع محركات البحث من الوصول إلى مجلد الإدارة.
الفرق بين Allow و Disallow
| الأمر | الوظيفة |
|---|---|
| Allow | السماح بالوصول إلى صفحة أو مجلد |
| Disallow | منع الوصول إلى صفحة أو مجلد |
يتم استخدام الأمرين معًا للتحكم الكامل في كيفية تعامل محركات البحث مع موقعك.
أمثلة عملية
السماح بكل الموقع
User-agent: *
Allow: /
هذا الإعداد مناسب لمعظم المواقع التي ترغب في ظهور جميع صفحاتها في نتائج البحث.
منع لوحة التحكم
User-agent: *
Disallow: /admin/
يمنع هذا الإعداد محركات البحث من الوصول إلى صفحات الإدارة.
منع صفحة تسجيل الدخول
User-agent: *
Disallow: /login/
غالبًا لا تحتاج صفحات تسجيل الدخول إلى الظهور في نتائج البحث.
منع صفحة البحث الداخلي
User-agent: *
Disallow: /search/
يساعد ذلك على منع فهرسة نتائج البحث الداخلية التي لا تضيف قيمة لمحركات البحث.
إضافة رابط Sitemap
من أفضل الممارسات إضافة رابط خريطة الموقع داخل Robots.txt:
User-agent: *
Allow: /
Sitemap: https://yourwebsite.com/sitemap.xml
يساعد ذلك جوجل ومحركات البحث الأخرى على اكتشاف صفحات الموقع بسرعة أكبر.
أخطاء شائعة
منع الموقع بالكامل
User-agent: *
Disallow: /
هذا الأمر يمنع محركات البحث من الوصول إلى جميع صفحات الموقع، وهو خطأ شائع وخطير.
منع صفحات مهمة
قد يتم حظر صفحات المقالات أو الخدمات عن طريق الخطأ مما يؤدي إلى انخفاض الزيارات.
نسيان تحديث الملف
بعد تعديل بنية الموقع أو إضافة أقسام جديدة يجب مراجعة الملف والتأكد من صحة الإعدادات.
أفضل الممارسات
اسم الملف يجب أن يكون Robots.txt.
وضع الملف في المجلد الرئيسي للموقع.
إضافة رابط Sitemap.
منع الصفحات غير المهمة فقط.
مراجعة الملف بشكل دوري.
اختبار الملف قبل تطبيقه على الموقع.
الخلاصة
يساعد ملف Robots.txt في تنظيم عملية الزحف وتحسين فهم محركات البحث لموقعك. ومن خلال استخدام أوامر Allow و Disallow بشكل صحيح يمكنك التحكم في الصفحات التي يتم فحصها وفهرستها، مما يساهم في تحسين السيو التقني وزيادة فرص ظهور موقعك في نتائج البحث.
لذلك يُنصح بمراجعة الملف باستمرار والتأكد من عدم حظر الصفحات المهمة أو ارتكاب أخطاء قد تؤثر على الأرشفة.
تعليقات
إرسال تعليق
إذا كانت هذه الأداة مفيدة لك، شارك رأيك في التعليقات أو اقترح أداة جديدة نضيفها إلى الموقع.