Ein Crawler ist ein kleines „Programm“, dass automatisch bestimmte Websites durchsucht und die gefundenen Inhalte auf eine bestimmte Art und Weise verarbeiten. Man nennt sie auch „Spider“ oder „Robots“, kurz „bots“. In aller Regel folgen die Crawler automatisch den Links auf Websites. In manchen Fällen werden Crawler aber auch nach anderen Kriterien zu URLs geleitet.
Viele Firmen nutzen Crawler, um die Inhalte des öffentlichen WWW zu durchforsten. Die seriösen Konzerne (wie Google, bing etc.) weisen sich dabei in den Logfiles aus, d.h. sie hinterlassen ihren Namen, so dass man sie bei einer Logfile-Analyse identifizieren kann. Viele unseriöse Anbieter nutzen jedoch Crawler, ohne sich auszuweisen. Das geschieht entweder aus Unkenntnis – oder weil die Aktivitäten unlauteren Zielen folgen (zum Beispiel dem automatischen Scrapen von Inhalten anderer Websites).
Google Crawler / Googlebots
In Zusammenhang mit der Suchmaschinenoptimierung kommt den Crawlern eine besondere Bedeutung zu. Das gilt insbesondere für die verschiedenen Google-Crawler. Dazu gehören:
- Googlebot (Deskop und Tablett): Googlebot/2.1 oder Mozilla/5.0
- Googlebot (Smartphone): Mozilla/5.0
- Googlebot-Image/1.0
- Googlebot-Video/1.0
- Googlebot-News
- AdsBot-Google (Zielseiten-Qualitätsprüfung für Adsense / Adwords)
- Google-App-Crawler
Anweisungen mit Hilfe der robots.txt
Als Website-Betreiber kann man den verschiedenen Bots gezielte Anweisungen übergeben. Das funktioniert bei den seriösen Crawlern auch recht stabil und sicher – bei unseriösen Bots kann man sich nie sicher sein, ob sie sich daran halten.
Ressourcen
- support.google.com: Google-Crawler
Artikel zum Thema crawler
Bilder-Indexierung und Google-Images-Crawler (Logfile-Analyse)

https://www.tagseoblog.de/bilder-indexierung-und-google-images-crawler-logfile-analyse
Was macht eigentlich der Googlebot-Image? Ingo hat vor einigen Tagen darauf hingewiesen, dass er bei der Crawler-Aktivität erneut einige Veränderungen beobachtet hat (siehe „Googlebot-Image aus dem Winterschlaf erwacht?„). Gru
Googlebot Crawler Aktivität – Logfiles selber auswerten

https://www.tagseoblog.de/googlebot-crawler-logfiles-selber-auswerten
Im folgenden kleinen Beitrag soll es um die Auswertung der eigenen Logfiles gehen. Sehr häufig lese ich Fragen wie „Wie oft kommt der googlebot Crawler?“ oder „Woran kann ich erkennen, ob der googlebot Crawler eine meiner
Der Googlebot-Image/1.0 Crawler – kleine Logfiles Analyse

https://www.tagseoblog.de/googlebot-image-crawler-logfiles-analyse
Wie gestern angekündigt, möchte ich mal die Google-Bildersuche unter die Lupe nehmen. Fast 10% aller Suchabfragen werden über images.google entschieden. Aber während die SEO-Szene sich endlose Debatten über die Optimierung für die
Bilder aus der Google Bildersuche entfernen / löschen

https://www.tagseoblog.de/bilder-aus-der-google-bildersuche-entfernen-loeschen
Normalerweise schreibe ich hier ja, wie man Bilder möglichst schnell in die Google Bildersuche und dann möglichst weit nach vorne bekommt. In diesem Artikel soll es aber um das Gegenteil gehen: Wie kann man möglichst zügig Bilder aus de
Website-Bilder optimieren – Seo für Bilder

https://www.tagseoblog.de/website-bilder-optimieren-bilder-seo-2011
Update: dieser Artikel ist leider inzwischen veraltet. Es hat sich vieles getan, neue Rankingfaktoren haben enorm an Bedeutung gewonnen. Einen Übersichtsartikel werde ich in den kommenden Tagen veröffentlichen. Wer jedoch alles zum Thema
Bilder optimieren für Google – Bilder-SEO Basics kompakt

https://www.tagseoblog.de/bilder-optimieren-fuer-google-bilder-seo-basics-kompakt
[Von diesem Artikel gibt es eine aktualisierte Version, siehe: „Website-Bilder optimieren – Seo für Bilder (2011)„] …Warum sind meine Bilder nicht bei Google zu finden? Bzw. warum sind sie so weit hinten? Warum dauert e
Kategorie: Glossar Autor: Martin Mißfeldt