بسم الله
الرحمن الرحيم
-
ما هو ملف "robots.txt" ؟
هو ملف يحتوي على
تعليمات لبرامج محركات البحث لتحكم في المجلدات و الملفات التي يكمن أو يمنع تضمينها في
نتائج البحث .
يوجد هذا الملف في
المجلد الأساسي للموقع أو ما يسمى بالمجلد الجذر.
-
هل يمكن الحصول على هذا الملف ؟
نعم , من متصفحك قم
بكتابة عنوان الموقع يلي به أسم ملف robots.txt كالتالي
:
-
ما هي أوامر هذا الملف ؟
هذه قائمة بأوامر الملف :
| الأمر | الشرح |
| User-agent | أسم البرنامج المتصفح المسموح له بالبحث في الموقع |
| Disallow | يتحكم هذا الأمر في المجلدات و الملفات التي يمنع على محرك البحث الدخول لها |
| Allow | السماح لمحرك البحث بأرشفة الملف أو المجلد الموجود في الأمر |
و الآن إلى الأمثلة العملية :
User-Agent:*
Disallow:
- هذا الملف سيسمح لك مواقع البحث بالحصول على كل الملفات (لاحظ أننا أستخدمنا * لسماح لك محركات البحث).
User-Agent:*
Disallow:/
Allow:/user/pages/
- السماح لجميع محركات البحث مع منعها من البحث في جميع المجلدات ما عدا المجلد user/pages/
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
- منع البحث في المجلدات cgi-bin,images,tmp,private.
- عيوب أستخدام ملف robots.txt للحماية
- ليس أتباع أوامر ملف robots.txt ألزاميا لمحرك البحث (تستطيع أستخدام الأمر wget لتنزيل الموقع مع تجاهل التعليمات).
- يوفر ملف robots معلومات عن المجلدات التي لا يريد مدير الموقع عرضها على محرك البحث (هذه المعلومة مهمة للهاكر!).
ليست هناك تعليقات:
إرسال تعليق