«®°·.¸.•°°·.¸.•°®»[ السلام عليكم ورحمة الله وبركاته ]«®°·.¸.•°°·.¸.•°®»
ما هو الـملف robots.txt ؟ وما وظيفته ؟
هو ملف يمنحك الصلاحيات لمنع / السماح لـ عناكب الارشفة للوصول الى ملفات موقعك. هو ليس جدار ناري ضد العناكب، ولكنه - بالاصح - قائمة الاقتراحات. من المستحيل ان تثق بالعناكب التي تزور موقعك بانها تتبع حتما محتوى هذا الملف، الكثير من العناكب تقوم باتباع اي رابط تجده في طريقها ... ولكن عناكب محركات البحث الشهيرة تقوم باتباع ما خصصت في هذا الملف
انشاء هذا الملف سيساعد العناكب لارشفة موقعك بشكل افضل، حيث يساعدك على ارشفة المواضيع المفضلة، ويقوم بتجاهل البقية، كما انه من الجيد تجاهل الصفحات التي تحتوي على اخطاء.. وهذا يساعدك على ترك سجل الاخطاء فارغا لموقعك
انشاء ملف robots.txt :
يمكنك انشاء الملف باستعمال اي محرر نصوص، قم بحفظ الملف باسم robots.txt، ثم قم برفع الملف الى المجلد الرئيسي لموقعك، اي انه سيكون رابطه مثل:
www.4algeria.com/robots.txt
يمكنك استعمال التعليمات التالية : User-agent، Allow، Disallow ...
User-Agent : تعني الموقع العنكبوت
التعليمة Allow لا تدعم من طرف كل العناكب، بالنسبة للعناكت اللي تدعم هذه التعليمة، تقوم هذه التعليمة بـ السماح للعنكبوت بارشفة المجلد المحدد فقط..
بما انها غير مدعومة من قبل كل العناكب، انصحك بعدم استعمال هذه التعليمة
التعليمة disallow تعني عدم ارشفة المجلد المحدد
أمثلة :
1- السماح لكل العناكب بالوصول الى الموقع :
كود:
User-agent: *
Allow: /وهذا هو الاختيار الافتراضي
* تعني كل العناكب
التعليمة Allow : /
تعني السماح للعناكب بالوصول الى كل الملفات في الموقع
2- منع كل العناكب من الوصول الى موقعك :
كود:
User-agent: *
Disallow: /3- منع عنكبوت معين من الوصول الى موقعك :
كود:
User-agent: Googlebot-Image
Disallow: /لمنع عنكبوت من الوصول الى موقعكـ ، نذكر اسم العنكبوت المحدد، ونضيف التعليمة
disallow : /
المثال السابق يستعمل في المواقع التي لا تريد من جوجل للصور الوصول الى الموقع
4- منع العناكب من ارشفة ملف او مجلد معين :
كود:
User-agent: *
Disallow: /cgi-bin/
Disallow: /private_dir/
Disallow: /secret/large_page.html
Allow: /في المثال السابق قمنا بمنع كل العناكب من الوصول الى المجلدات
cgi-bin - private_dir
والملف:
secret/large_page.html
ملاحظة: في حالة وجود ملف خاص في سرفرك لا تكتف بمنع العناكب من الوصول اليه، من الافضل حمايته بـ جدار نـاري
الحقوق محفوظـة لمنتديات اللمة الجزائرية
وشكرا [ لكم ]
و... [ لكم ] تحياتــي
أخوكـم في الله
The DoN
«®°·.¸.•°°·.¸.•°®»[ في حفظ الرحمن ]«®°·.¸.•°°·.¸.•°®»
