ملف robots.txt: تتحكم في الزحف من غير ما تقفل موقعك
افهم قواعد robots.txt واختبر السماح والحظر بمثال واضح، وتجنب منع الموقع أو استخدام الملف لحماية أسرار أو ضمان منع الفهرسة.
محتويات المقال
لقيت سطرًا في شرح بيقول Disallow: / ونسخته علشان تمنع صفحة تجريبية؟ السطر ده نطاقه أوسع بكتير من صفحة واحدة. قبل تعديل robots.txt لازم تعرف القاعدة هتطابق أنهي روابط، وأنهي زاحف، وفي أنهي نسخة من الموقع.
robots.txt ملف نصي بيعلن قواعد الزحف للروبوتات التي تحترمه. استخدامه المناسب يبدأ من هدف واضح وخريطة مسارات، ثم اختبار القواعد قبل وبعد النشر. الملف لا يحمي بيانات سرية، وحظر الزحف به ليس طريقة مضمونة لمنع ظهور عنوان URL في نتائج البحث. مقدمة جوجل عن robots.txt.
الأمثلة هنا تعليمية لمسارات افتراضية. ما تنسخش ملفًا كاملًا لموقع حي من غير مراجعة المسؤول التقني وخطة رجوع.
الملف بيتحط فين؟
المكان المعتاد يكون في جذر المضيف، مثل https://example.com/robots.txt. قواعده مرتبطة بالمضيف والبروتوكول والمنفذ الخاصين به؛ ملف نطاق فرعي لا تفترض إنه يدير كل النطاقات الفرعية الأخرى. والمسارات تفرق فيها حالة الحروف.
اقرأ مواصفات robots.txt التي تتبعها جوجل عندما تحتاج تفاصيل المطابقة. ما تعتمدش على وجود ملف باسم مشابه في مجلد داخلي وتعتبره الملف الذي يقرأه الزاحف.
ابدأ بتسجيل النسخ المستخدمة فعلًا: هل الموقع على www؟ وهل المتجر على نطاق فرعي؟ بعد كده افتح الملف الصحيح لكل نطاق تريد مراجعته، من غير تغيير أي حاجة في البداية.
تقرأ القاعدة الأساسية إزاي؟
في مثال تعليمي، نفترض أن موقع تدريب يريد تقييد زحف مسار تجريبي عام غير سري:
User-agent: *
Disallow: /demo-filter/
Allow: /demo-filter/help/
Sitemap: https://example.com/sitemap.xmlUser-agent يحدد المجموعة المقصودة من الزواحف، وDisallow يحدد المسار المحظور، وAllow يوضح الاستثناء في المثال. سطر Sitemap يعرّف مكان خريطة الموقع؛ ما يضمنش فهرسة الروابط الموجودة فيها.
في قواعد جوجل، المطابقة الأكثر تحديدًا للمسار هي التي تُرجّح، وعند تعادل التحديد تُفضل القاعدة الأقل تقييدًا. ترتيب السطرين وحده مش الطريقة الصحيحة لفهم النتيجة.
اختبر المثال على روابط قبل ما تفكر في التطبيق
المسار الافتراضي | النتيجة المتوقعة للمجموعة العامة في المثال | السبب |
|---|---|---|
| الزحف محظور | يقع تحت مسار الحظر |
| الزحف مسموح | يطابق استثناء أكثر تحديدًا |
| لا تحظره هذه القواعد | خارج نطاق المسارات المذكورة |
| لا تفترض تطابقه | حالة الحروف مختلفة |
الجدول يختبر المثال وحده. في الملف الحقيقي قد تكون هناك مجموعات خاصة لزاحف معين وقواعد أخرى، فلا تحكم بعد قراءة أربعة أسطر من الملف فقط.
فرّق بين هدف الزحف وهدف الفهرسة
لو عايز تمنع صفحة عامة من دخول نتائج البحث، راجع قرار noindex وطريقة وصول الزاحف له. ولو عايز تحمي لوحة أو ملفًا خاصًا، استخدم آلية حماية وصول مناسبة؛ إعلان مساره في robots.txt لا يجعله سريًا.
اسأل قبل كل قاعدة: هل هدفي تقليل زيارة نوع روابط؟ أم منع ظهور صفحة؟ أم حماية بيانات؟ الإجابة تحدد الأداة المناسبة، وتمنع خلط مشاكل مختلفة في ملف واحد.
كمان ما تحظرش ملفات يحتاجها عرض الصفحة من غير فهم الأثر. حظر موارد أساسية ممكن يصعّب قراءة المحتوى بالشكل المقصود. خلي المسؤول عن العرض يراجع الموارد والصفحات المتأثرة معًا.
إيه الأخطاء اللي تستحق مراجعة عاجلة؟
حظر أوسع من المطلوب
قاعدة عامة قد تطابق كل الموقع أو قسمًا كاملًا بدل صفحة اختبار. ابدأ بمقارنة النطاق المقصود بالنطاق الفعلي، وحدد الصفحات التجارية المهمة التي قد تتأثر.
بقايا إعدادات بيئة التجربة
بعد نقل الموقع للنشر، راجع الملف الذي يراه الزائر فعلًا. وجود ملف سليم في مستودع التطوير لا يثبت أن النسخة العامة هي نفسها؛ القالب أو طبقة أخرى قد تولّد استجابة مختلفة.
تعارض هدف الصفحة مع قواعدها
صفحة مطلوبة في البحث لكنها محظورة، أو صفحة مطلوب قراءة noindex فيها لكن الزحف إليها ممنوع. اكتب هدف كل نوع صفحات، ثم راجع اتساق القواعد معه.
اختبار الصفحة الرئيسية فقط
نجاح زيارة الرئيسية لا يثبت السماح للمنتجات والمقالات والموارد. اختار عينة من كل مسار مهم، ومعها رابط يفترض السماح له وآخر يفترض حظره.
طريقة تعديل آمنة خطوة بخطوة
احفظ النسخة الحالية وسجل تاريخها والجهة التي تولدها.
اكتب الهدف والمسارات المتأثرة والمستثناة.
جهز جدول اختبارات بقيم متوقعة قبل التغيير.
راجع القواعد مع المسؤول المختص، خصوصًا لو النطاق واسع.
نفّذ التغيير المعتمد فقط، ثم اجلب الملف العام وقارن محتواه.
اختبر الروابط المختارة، ثم تابع أدوات الفحص بدل افتراض تطبيق الأثر فورًا.
لو الملف اتغير في المحرر لكن النسخة العامة لم تتغير، لا تكرر تعديلات إضافية بشكل عشوائي. افحص مصدر التوليد أو التخزين المؤقت مع المسؤول بدل خلط أكثر من تغيير يصعب تتبعه.
ماذا تسلّم للمطور لو أنت مسؤول سيو؟
سلّم القاعدة الحالية، والهدف المطلوب، وروابط الاختبار، والنتيجة المتوقعة لكل رابط. مثال طلب واضح: «المطلوب السماح لصفحة المساعدة داخل هذا المسار مع استمرار تقييد روابط الفلاتر المحددة، ونحتاج التحقق من الرابطين بعد التنفيذ».
تجنب طلبًا عامًا مثل «ظبط robots للسيو». المطور محتاج قرارًا يمكن اختباره، مش تخمين وظيفة كل مسار بنفسه.
قبل اعتماد المهمة، تأكد أن الملف يفتح من موقعه الصحيح، وأن قواعده لا تمس أسرارًا أو صفحات خاصة باعتبارها آلية حماية. ولو محتاج مراجعة تأثير القواعد على صفحات موقعك، تقدر تبدأ بمناقشة نطاق محدد عبر خدمات السيو على سنوحي، ومعاك نسخة القواعد وروابط أمثلة عامة فقط.
التعليقات
لا توجد تعليقات بعد.
