לחברות ה-AI הגדולות יש כמה בוטים, ולכל אחד תפקיד אחר. לפי OpenAI, הבוט GPTBot אוסף תוכן לאימון מודלים, ו-OAI-SearchBot קובע אם האתר יופיע בתשובות של החיפוש ב-ChatGPT, ואפשר לחסום אחד ולאפשר את השני. גם ל-Anthropic יש הפרדה דומה: ClaudeBot לאימון, ו-Claude-SearchBot ו-Claude-User לתשובות. ולפי גוגל, Google-Extended משפיע על השימוש בתוכן ב-Gemini, ולא על החיפוש בגוגל. לכן חסימה גורפת של כל בוטי ה-AI עלולה להוציא את האתר גם מהתשובות.
שורה אחת בקובץ, שתי תוצאות שונות
בקובץ robots.txt, שנמצא בכתובת הראשית של האתר, אפשר לכתוב לבוטים מה מותר להם לסרוק. בשנים האחרונות נוספו לרשימה הזו גם בוטים של חברות AI, והרבה אתרים חוסמים את כולם בבת אחת.
הבעיה היא שלא כל הבוטים עושים אותו דבר. חלק אוספים תוכן כדי לאמן מודלים, וחלק אחראים לכך שהאתר בכלל יופיע כשמישהו שואל שאלה. הנה מילון קצר, לפי מה שכל חברה כותבת על הבוטים שלה.
| השם בקובץ | חברה | בשביל מה | אם חוסמים |
|---|---|---|---|
| GPTBot | OpenAI | אימון מודלים | התוכן לא ישמש לאימון |
| OAI-SearchBot | OpenAI | תשובות החיפוש של ChatGPT | האתר לא יוצג בתשובות החיפוש |
| ChatGPT-User | OpenAI | עמוד שמשתמש ביקש | ייתכן שהכלל לא יחול |
| ClaudeBot | Anthropic | אימון מודלים | התוכן העתידי לא ייכלל באימון |
| Claude-SearchBot | Anthropic | תשובות בחיפוש | פחות נראות בתשובות |
| Claude-User | Anthropic | שאלה של משתמש | פחות נראות בתשובות |
| Google-Extended | שימוש בתוכן עבור Gemini | אין השפעה על החיפוש בגוגל |
לפי התיעוד של OpenAI, של Anthropic ושל גוגל.
OpenAI: שלושה בוטים
לפי OpenAI (נפתח בחלון חדש), הבוט OAI-SearchBot הוא זה שקובע אם האתר יופיע בתשובות של החיפוש ב-ChatGPT. אתר שחוסם אותו לא יוצג בתשובות החיפוש, אם כי עדיין יכול להופיע כקישור ניווט.
לפי OpenAI, הבוט GPTBot אוסף תוכן שעשוי לשמש לאימון מודלים. חסימה שלו אומרת שלא רוצים שהתוכן ישמש לאימון. ולפי OpenAI, שתי ההגדרות נפרדות: אפשר לאפשר את OAI-SearchBot כדי להופיע בחיפוש, ולחסום את GPTBot.
והבוט השלישי, ChatGPT-User, נכנס לאתר כשמשתמש מבקש מ-ChatGPT לפתוח עמוד מסוים. לפי OpenAI, הוא לא סורק את הרשת באופן אוטומטי, ומכיוון שהביקור נעשה ביוזמת המשתמש, ייתכן שהכללים בקובץ לא יחולו עליו.
ולפי OpenAI, אחרי שינוי בקובץ, לוקח בערך 24 שעות עד שהחיפוש מתעדכן.
Anthropic: אותה הפרדה, שמות אחרים
לפי Anthropic (נפתח בחלון חדש), הבוט ClaudeBot אוסף תוכן שעשוי לשמש לאימון המודלים שלה. חסימה שלו אומרת שהתוכן העתידי של האתר לא ייכלל באימון.
לפי Anthropic, הבוט Claude-SearchBot סורק תוכן כדי לשפר את התשובות בחיפוש, ו-Claude-User נכנס לאתר כשמשתמש שואל שאלה. ולפי Anthropic, חסימה של כל אחד מהם עלולה להפחית את הנראות של האתר בתשובות.
ולפי Anthropic, את הכלל צריך לכתוב בקובץ robots.txt בתיקייה הראשית של האתר, וגם בכל תת-דומיין.
גוגל: Google-Extended
אצל גוגל המצב קצת שונה. לפי גוגל (נפתח בחלון חדש), Google-Extended הוא לא בוט נפרד שסורק את האתר, אלא הגדרה בקובץ שקובעת אם תוכן שגוגל כבר סורקת ישמש לאימון ולשיפור של Gemini. ולפי גוגל, ההגדרה הזו לא משפיעה על ההופעה של האתר בחיפוש בגוגל, ולא משמשת לדירוג.
כלומר, חסימה של Google-Extended לא תוציא את האתר מגוגל.
על קובץ אחר שמזכירים הרבה בהקשר הזה, llms.txt, ומה הוא עושה ומה לא, כתבתי בפוסט על llms.txt.
אז מה חוסמים?
זו החלטה עסקית, לא טכנית. יש עסקים שלא רוצים שהתוכן שלהם ישמש לאימון, ויש כאלה שזה לא מפריע להם. אבל רוב העסקים הקטנים כן רוצים שהאתר יופיע כשמישהו שואל את ChatGPT או את Claude על השירות שלהם.
אני ממליצה לא לחסום את כל בוטי ה-AI בבת אחת, אלא להחליט על כל סוג בנפרד: אימון לחוד, ותשובות לחוד.
- חשוב לכם שהאתר יופיע בתשובות של צ'אטבוטים?כן ← לא חוסמים את בוטי החיפוש והמשתמשיםלא ← אפשר לחסום גם אותם
- מפריע לכם שהתוכן ישמש לאימון מודלים?כן ← חוסמים רק את בוטי האימוןלא ← לא צריך לחסום כלום
לבדוק שהחסימה היא באמת מה שהתכוונתם
פותחים בדפדפן את הכתובת של האתר, ומוסיפים בסוף /robots.txt. אם מופיעה שם שורה של User-agent עם שם של אחד הבוטים, ומתחתיה Disallow עם לוכסן, הבוט הזה חסום בכל האתר.
ויש עוד מקום שבו בוטים נחסמים, בלי שמישהו התכוון. לפי OpenAI (נפתח בחלון חדש), כלל בקובץ לא תמיד מספיק, כי חומת אש, שירות CDN או כלי הגנה מבוטים יכולים להפעיל הגבלות משלהם. אם האתר שלכם מאחורי שירות כזה, כדאי לבקש ממי שמנהל אותו לבדוק את ההגדרות.
ומה הלאה
אחרי שהבוטים יכולים לקרוא את האתר, אפשר לבדוק אם מגיעה ממנו תנועה. על זה כתבתי בפוסט על תנועה מ-ChatGPT ב-Google Analytics.
ואם תרצו שאבדוק איך האתר שלכם נראה בעיני מנועי ה-AI, זה חלק מהעבודה שלי בנראות במנועי AI.
שאלות נפוצות
אם אחסום את GPTBot, האתר ייעלם מ-ChatGPT?
לא בהכרח. לפי OpenAI, ההופעה בתשובות של החיפוש ב-ChatGPT תלויה ב-OAI-SearchBot, והוא נפרד מ-GPTBot. אפשר לחסום אחד ולאפשר את השני.
חסימה של Google-Extended תפגע בקידום בגוגל?
לא. לפי גוגל, ההגדרה הזו לא משפיעה על ההופעה של האתר בחיפוש ולא משמשת לדירוג.
איך חוסמים את הבוט של Claude מאימון?
לפי Anthropic, מוסיפים בקובץ robots.txt כלל ל-ClaudeBot, בתיקייה הראשית של האתר ובכל תת-דומיין.
שיניתי את הקובץ. מתי זה ישפיע?
לפי OpenAI, לגבי החיפוש ב-ChatGPT, לוקח בערך 24 שעות עד שהשינוי נקלט.
מקורות
- Overview of OpenAI Crawlers (נפתח בחלון חדש)OpenAI: OAI-SearchBot, GPTBot ו-ChatGPT-User, וזמן עדכוןdevelopers.openai.com
- Advertiser guidance for allowing OpenAI web crawlers (נפתח בחלון חדש)OpenAI Help: חומת אש ו-CDN יכולים לחסום בנפרד מהקובץhelp.openai.com
- Does Anthropic crawl data from the web? (נפתח בחלון חדש)Claude Help: ClaudeBot, Claude-SearchBot ו-Claude-User, וחסימה בכל תת-דומייןsupport.claude.com
- Google's common crawlers (נפתח בחלון חדש)Google Crawling: Google-Extended, ואין השפעה על החיפושdevelopers.google.com