Microsoft deckt Traffic von KI-Bots auf
Microsoft Clarity hat eine Methode veröffentlicht, mit der sich Muster identifizieren lassen, die zeigen, wie Crawler, Such-Bots und automatisierte Agenten mit künstlicher Intelligenz (KI) mit Webinhalten interagieren, lange bevor KI-Agenten Zitate oder Empfehlungen an Publisher oder Content-Webseiten weiterleiten.
Die eingeführte Funktion "Bot Activity" richtet sich an Webseiten-Betreiber und Digitalprofis, die feststellen müssen, ob Traffic von Menschen oder von Bots generiert wird.
Sie bietet eine Möglichkeit, frühe Hinweise in KI-Inhaltszyklen zu identifizieren.
Diese Hinweise sind wertvoll, da sie die frühesten beobachtbaren Interaktionen zwischen Inhalten und KI-Systemen darstellen, die vor Grounding-, Zitier- oder Verweisaktivitäten auftreten.
Die Fähigkeit, Bots zu identifizieren, die eine Webseite crawlen, ist oft der früheste erkennbare Hinweis darauf, wie Inhalte später von KI-Systemen verwendet werden könnten, die entweder in Suchergebnissen zusammengefasst oder zitiert oder in KI-Assistenten bereitgestellt werden.
Im Gegensatz zu herkömmlichen Crawlern können KI-Systeme kontinuierlich, plattformübergreifend, in großen Mengen und mit hoher Geschwindigkeit auf Inhalte zugreifen.
Messungen sind der Schlüssel zur Beantwortung von Fragen für Publisher und Webseite-Betreiber, darunter neue Fragen wie die Fähigkeit, Systeme zu identifizieren, die auf Inhalte zugreifen, und ob Bot-Aktivitäten produktiv oder kostspielig sind und welche Seiten von den Bots am aggressivsten identifiziert und aufgerufen werden können.
Die KI-Bot-Aktivität von Microsoft liefert Daten darüber, wie verifizierte Bots mit den Inhalten einer Webseite interagieren. Anstatt Crawler-Traffic als Hintergrundrauschen zu behandeln, wandelt Clarity ihn in Daten um, die Publisher und Vermarkter messen und analysieren können. Die Daten machen es möglich, zu ermitteln, wie häufig der Bot die Webseite crawlt, und die Seiten, Pfade und Ressourcen zu identifizieren.
Die Daten geben Aufschluss darüber, wie oft die KI-Agenten und Bots auf Inhalte zugreifen und zu welchen Zwecken, z. B. Indizierung, Vorbereitung der Abfrage, Generierung von Einbettungen oder andere KI-gesteuerte Workflows.
Die im Dezember veröffentlichten Daten von Microsoft zeigen, wie KI-Assistenten die Traffic-Muster von Webseiten verändert haben. Untersuchungen zeigen, dass KI-Verweise innerhalb von acht Monaten um 155 % zugenommen haben. Dabei wurde der Traffic von ChatGPT, Microsoft Copilot, Google Gemini und ähnlichen Plattformen untersucht, nachdem diese Verweise auf Quell-Webseiten generiert hatten.
Die Bot-Aktivität basiert auf serverseitigen Protokolldaten, die über CDN-Integrationen erfasst werden und für clientseitige Analysen nicht sichtbar sind.
Microsoft weist darauf hin, dass die Verbindung zu einem Server oder einer CDN-Integration je nach Anbieter, Cloud-Plattform, Datenverkehrsvolumen und regionaler Konfiguration zusätzliche Kosten verursachen kann.
Nach der Verbindung beginnt Clarity mit der Verarbeitung der serverseitigen Protokolle, um Crawling-Aktivitäten anzuzeigen. Die Metrik "Bot-Betreiber" zeigt den Anteil des Webseiten-Traffics, der von automatisierten Bots und Agenten statt von menschlichen Benutzern generiert wird. Standardmäßig konzentriert sich diese Ansicht auf KI-bezogene Bots und Crawler.
Die primäre Metrik spiegelt den Anteil der gesamten Anfragen wider, die aus Bot-Aktivitäten stammen. Ein hoher Wert zeigt an, dass automatisierte Zugriffe einen erheblichen Teil Ihres gesamten Traffics ausmachen. Diese Erkenntnisse können die Infrastrukturplanung, die Leistungsoptimierung, Entscheidungen zur Barrierefreiheit von Inhalten und die Bewertung, ob Bot-Aktivitäten zum nachgelagerten Wert beitragen, unterstützen.
Die Metrik "Pfad-Anfragen" hebt die Seiten und Ressourcen hervor, die die höchste Anzahl automatisierter Anfragen erhalten. Die Anfragen werden auf Pfadebene aggregiert und umfassen Inhaltstypen wie HTML-Seiten, Bilder, JSON-Endpunkte, XML-Dateien und andere Assets.