הגבלת תנועת רובוטים באינטרנט - שימוש ב-robots.txt

מאת ניר אדר
מדריך מדריך
הורדת המסמך
הועלה: סוג מסמך: מסמך מודפס מסמך מודפס
עמודים: 3 הורדות: 6277
במסמך זה נלמד כיצד להגביל את צעדיהם של רובוטים המבקרים באתר שלנו. הפעולה מתבצעת על ידי הוספת קובץ בשם robots.txt, המגדיר עבור הרובוטים המבקרים מהם האיזורים המותרים ומהם האיזורים האסורים עבורם.
אין תגובות!
שיתוף:
| עוד