Crawler

Stellen Sie sich das Internet wie eine riesige Bibliothek vor, die mit unorganisierten Inhalten gefüllt ist. Die Crawler sind die Bibliothekare des Internets, die Webseiten durchforsten und nützliche Inhalte indizieren. 

Suchmaschinen haben ihre eigenen Webseiten-Crawler; Google zum Beispiel hat seine "Google Bots". Diese Bots (auch als "Crawler" oder "Spider" bezeichnet) besuchen neue oder aktualisierte Webseiten, analysieren den Inhalt und die Metadaten und indizieren die gefundenen Inhalte.  

Wie funktionieren Crawler?

Wenn Sie eine Suchanfrage in eine Suchmaschine eingeben und eine Liste mit möglichen Treffern erhalten, haben Sie von der Arbeit der Crawler profitiert. 

Webseiten-Crawler sind komplexe Algorithmen, die mit umfangreichen Computerprogrammen erstellt werden. Sie sind dazu da, eine große Menge an Informationen zu scannen und zu verstehen und dann die entdeckten Informationen mit Ihrem Suchbegriff zu verknüpfen.

Jeder Webseiten-Crawler durchläuft 3 Schritte:

  • Crawling Ihrer Webseite
  • Scannen des Inhalts Ihrer Webseite
  • Besuch der Links (URLs) auf Ihrer Webseite

All diese Informationen werden in einer riesigen Datenbank gespeichert und nach Schlüsselwörtern und Relevanz indiziert. 

Auf diese Weise vergeben Suchmaschinen die ersten Plätze an die qualitativ hochwertigsten, zuverlässigsten, genauesten und interessantesten Inhalte, während alle anderen auf der Liste nach unten durchgereicht werden.

Stand: 04.03.2022