חינם — כולל AI Crawlers
מחולל robots.txt
צור קובץ robots.txt מותאם לאתר שלך. כולל תמיכה ב-AI crawlers כמו GPTBot, Claude ו-Gemini.
Disallow
Allow
הוסף AI Crawler
הגדרות נוספות
robots.txt
User-agent: * Allow: / Disallow: /admin/
מה זה robots.txt?
robots.txt הוא קובץ טקסט שנמצא בשורש האתר (example.com/robots.txt) ומורה לבוטים של מנועי חיפוש (ובוטים של AI כמו ChatGPT ו-Claude) אילו דפים לסרוק ואילו לא.
- • User-agent: * — חל על כל הבוטים
- • Disallow: /admin/ — חוסם סריקה של תיקייה
- • Allow: / — מתיר סריקה
- • Sitemap: — מפנה לקובץ sitemap.xml
- • Crawl-delay: — השהייה בין בקשות (בשניות)