

מה זה קובץ robots.txt?
קובץ robots.txt הוא קובץ טקסט פשוט שנמצא בתיקיית הבסיס (Root Directory) של האתר שלך. הוא משמש כפרוטוקול תקשורת בין אתר אינטרנט לבין "רובוטים" של מנועי חיפוש (Crawlers או Bots). תפקידו העיקרי הוא להנחות את הבוטים אילו דפים, קבצים או תיקיות הם רשאים או לא רשאים לסרוק באתר. הוא מהווה מעין "שלט הכוונה" שמוצב בכניסה לאתר, ואינו כלי אבטחה.