בלוג · נראות במנועי AI (GEO)

הבוטים של מנועי ה-AI: מי מהם לומד מהאתר, מי מביא אותו לתשובות, ומה קורה כשחוסמים

התשובה בקצרה

לחברות ה-AI הגדולות יש כמה בוטים, ולכל אחד תפקיד אחר. לפי OpenAI, הבוט GPTBot אוסף תוכן לאימון מודלים, ו-OAI-SearchBot קובע אם האתר יופיע בתשובות של החיפוש ב-ChatGPT, ואפשר לחסום אחד ולאפשר את השני. גם ל-Anthropic יש הפרדה דומה: ClaudeBot לאימון, ו-Claude-SearchBot ו-Claude-User לתשובות. ולפי גוגל, Google-Extended משפיע על השימוש בתוכן ב-Gemini, ולא על החיפוש בגוגל. לכן חסימה גורפת של כל בוטי ה-AI עלולה להוציא את האתר גם מהתשובות.

שורה אחת בקובץ, שתי תוצאות שונות

בקובץ robots.txt, שנמצא בכתובת הראשית של האתר, אפשר לכתוב לבוטים מה מותר להם לסרוק. בשנים האחרונות נוספו לרשימה הזו גם בוטים של חברות AI, והרבה אתרים חוסמים את כולם בבת אחת.

הבעיה היא שלא כל הבוטים עושים אותו דבר. חלק אוספים תוכן כדי לאמן מודלים, וחלק אחראים לכך שהאתר בכלל יופיע כשמישהו שואל שאלה. הנה מילון קצר, לפי מה שכל חברה כותבת על הבוטים שלה.

טבלהשבעה שמות בקובץ, ומה כל אחד עושה
השם בקובץחברהבשביל מהאם חוסמים
GPTBotOpenAIאימון מודליםהתוכן לא ישמש לאימון
OAI-SearchBotOpenAIתשובות החיפוש של ChatGPTהאתר לא יוצג בתשובות החיפוש
ChatGPT-UserOpenAIעמוד שמשתמש ביקשייתכן שהכלל לא יחול
ClaudeBotAnthropicאימון מודליםהתוכן העתידי לא ייכלל באימון
Claude-SearchBotAnthropicתשובות בחיפושפחות נראות בתשובות
Claude-UserAnthropicשאלה של משתמשפחות נראות בתשובות
Google-ExtendedGoogleשימוש בתוכן עבור Geminiאין השפעה על החיפוש בגוגל

לפי התיעוד של OpenAI, של Anthropic ושל גוגל.

OpenAI: שלושה בוטים

לפי OpenAI (נפתח בחלון חדש), הבוט OAI-SearchBot הוא זה שקובע אם האתר יופיע בתשובות של החיפוש ב-ChatGPT. אתר שחוסם אותו לא יוצג בתשובות החיפוש, אם כי עדיין יכול להופיע כקישור ניווט.

לפי OpenAI, הבוט GPTBot אוסף תוכן שעשוי לשמש לאימון מודלים. חסימה שלו אומרת שלא רוצים שהתוכן ישמש לאימון. ולפי OpenAI, שתי ההגדרות נפרדות: אפשר לאפשר את OAI-SearchBot כדי להופיע בחיפוש, ולחסום את GPTBot.

והבוט השלישי, ChatGPT-User, נכנס לאתר כשמשתמש מבקש מ-ChatGPT לפתוח עמוד מסוים. לפי OpenAI, הוא לא סורק את הרשת באופן אוטומטי, ומכיוון שהביקור נעשה ביוזמת המשתמש, ייתכן שהכללים בקובץ לא יחולו עליו.

ולפי OpenAI, אחרי שינוי בקובץ, לוקח בערך 24 שעות עד שהחיפוש מתעדכן.

Anthropic: אותה הפרדה, שמות אחרים

לפי Anthropic (נפתח בחלון חדש), הבוט ClaudeBot אוסף תוכן שעשוי לשמש לאימון המודלים שלה. חסימה שלו אומרת שהתוכן העתידי של האתר לא ייכלל באימון.

לפי Anthropic, הבוט Claude-SearchBot סורק תוכן כדי לשפר את התשובות בחיפוש, ו-Claude-User נכנס לאתר כשמשתמש שואל שאלה. ולפי Anthropic, חסימה של כל אחד מהם עלולה להפחית את הנראות של האתר בתשובות.

ולפי Anthropic, את הכלל צריך לכתוב בקובץ robots.txt בתיקייה הראשית של האתר, וגם בכל תת-דומיין.

גוגל: Google-Extended

אצל גוגל המצב קצת שונה. לפי גוגל (נפתח בחלון חדש), Google-Extended הוא לא בוט נפרד שסורק את האתר, אלא הגדרה בקובץ שקובעת אם תוכן שגוגל כבר סורקת ישמש לאימון ולשיפור של Gemini. ולפי גוגל, ההגדרה הזו לא משפיעה על ההופעה של האתר בחיפוש בגוגל, ולא משמשת לדירוג.

כלומר, חסימה של Google-Extended לא תוציא את האתר מגוגל.

על קובץ אחר שמזכירים הרבה בהקשר הזה, llms.txt, ומה הוא עושה ומה לא, כתבתי בפוסט על llms.txt.

אז מה חוסמים?

זו החלטה עסקית, לא טכנית. יש עסקים שלא רוצים שהתוכן שלהם ישמש לאימון, ויש כאלה שזה לא מפריע להם. אבל רוב העסקים הקטנים כן רוצים שהאתר יופיע כשמישהו שואל את ChatGPT או את Claude על השירות שלהם.

אני ממליצה לא לחסום את כל בוטי ה-AI בבת אחת, אלא להחליט על כל סוג בנפרד: אימון לחוד, ותשובות לחוד.

עץ החלטהמה לחסום בקובץ?
  1. חשוב לכם שהאתר יופיע בתשובות של צ'אטבוטים?כן ← לא חוסמים את בוטי החיפוש והמשתמשיםלא ← אפשר לחסום גם אותם
  2. מפריע לכם שהתוכן ישמש לאימון מודלים?כן ← חוסמים רק את בוטי האימוןלא ← לא צריך לחסום כלום

לבדוק שהחסימה היא באמת מה שהתכוונתם

פותחים בדפדפן את הכתובת של האתר, ומוסיפים בסוף /robots.txt. אם מופיעה שם שורה של User-agent עם שם של אחד הבוטים, ומתחתיה Disallow עם לוכסן, הבוט הזה חסום בכל האתר.

ויש עוד מקום שבו בוטים נחסמים, בלי שמישהו התכוון. לפי OpenAI (נפתח בחלון חדש), כלל בקובץ לא תמיד מספיק, כי חומת אש, שירות CDN או כלי הגנה מבוטים יכולים להפעיל הגבלות משלהם. אם האתר שלכם מאחורי שירות כזה, כדאי לבקש ממי שמנהל אותו לבדוק את ההגדרות.

ומה הלאה

אחרי שהבוטים יכולים לקרוא את האתר, אפשר לבדוק אם מגיעה ממנו תנועה. על זה כתבתי בפוסט על תנועה מ-ChatGPT ב-Google Analytics.

ואם תרצו שאבדוק איך האתר שלכם נראה בעיני מנועי ה-AI, זה חלק מהעבודה שלי בנראות במנועי AI.

שאלות נפוצות

אם אחסום את GPTBot, האתר ייעלם מ-ChatGPT?

לא בהכרח. לפי OpenAI, ההופעה בתשובות של החיפוש ב-ChatGPT תלויה ב-OAI-SearchBot, והוא נפרד מ-GPTBot. אפשר לחסום אחד ולאפשר את השני.

חסימה של Google-Extended תפגע בקידום בגוגל?

לא. לפי גוגל, ההגדרה הזו לא משפיעה על ההופעה של האתר בחיפוש ולא משמשת לדירוג.

איך חוסמים את הבוט של Claude מאימון?

לפי Anthropic, מוסיפים בקובץ robots.txt כלל ל-ClaudeBot, בתיקייה הראשית של האתר ובכל תת-דומיין.

שיניתי את הקובץ. מתי זה ישפיע?

לפי OpenAI, לגבי החיפוש ב-ChatGPT, לוקח בערך 24 שעות עד שהשינוי נקלט.

מקורות