Was ist ein Crawler? (Spider, Robots)

Ein Crawler ist ein kleines „Programm“, dass automatisch bestimmte Websites durchsucht und die gefundenen Inhalte auf eine bestimmte Art und Weise verarbeiten. Man nennt sie auch „Spider“ oder „Robots“, kurz „bots“. In aller Regel folgen die Crawler automatisch den Links auf Websites. In manchen Fällen werden Crawler aber auch nach anderen Kriterien zu URLs geleitet.

Viele Firmen nutzen Crawler, um die Inhalte des öffentlichen WWW zu durchforsten. Die seriösen Konzerne (wie Google, bing etc.) weisen sich dabei in den Logfiles aus, d.h. sie hinterlassen ihren Namen, so dass man sie bei einer Logfile-Analyse identifizieren kann. Viele unseriöse Anbieter nutzen jedoch Crawler, ohne sich auszuweisen. Das geschieht entweder aus Unkenntnis – oder weil die Aktivitäten unlauteren Zielen folgen (zum Beispiel dem automatischen Scrapen von Inhalten anderer Websites).

Google Crawler / Googlebots

In Zusammenhang mit der Suchmaschinenoptimierung kommt den Crawlern eine besondere Bedeutung zu. Das gilt insbesondere für die verschiedenen Google-Crawler. Dazu gehören:

  • Googlebot (Deskop und Tablett): Googlebot/2.1 oder Mozilla/5.0
  • Googlebot (Smartphone): Mozilla/5.0
  • Googlebot-Image/1.0
  • Googlebot-Video/1.0
  • Googlebot-News
  • AdsBot-Google (Zielseiten-Qualitätsprüfung für Adsense / Adwords)
  • Google-App-Crawler

Anweisungen mit Hilfe der robots.txt

Als Website-Betreiber kann man den verschiedenen Bots gezielte Anweisungen übergeben. Das funktioniert bei den seriösen Crawlern auch recht stabil und sicher – bei unseriösen Bots kann man sich nie sicher sein, ob sie sich daran halten.

Ressourcen

Artikel zum Thema crawler

Bilder-Indexierung und Google-Images-Crawler (Logfile-Analyse)

https://www.tagseoblog.de/bilder-indexierung-und-google-images-crawler-logfile-analyse

Was macht eigentlich der Googlebot-Image? Ingo hat vor einigen Tagen darauf hingewiesen, dass er bei der Crawler-Aktivität erneut einige Veränderungen beobachtet hat (siehe „Googlebot-Image aus dem Winterschlaf erwacht?„). Gru

Googlebot Crawler Aktivität – Logfiles selber auswerten

https://www.tagseoblog.de/googlebot-crawler-logfiles-selber-auswerten

Im folgenden kleinen Beitrag soll es um die Auswertung der eigenen Logfiles gehen. Sehr häufig lese ich Fragen wie „Wie oft kommt der googlebot Crawler?“ oder „Woran kann ich erkennen, ob der googlebot Crawler eine meiner

Der Googlebot-Image/1.0 Crawler – kleine Logfiles Analyse

https://www.tagseoblog.de/googlebot-image-crawler-logfiles-analyse

Wie gestern angekündigt, möchte ich mal die Google-Bildersuche unter die Lupe nehmen. Fast 10% aller Suchabfragen werden über images.google entschieden. Aber während die SEO-Szene sich endlose Debatten über die Optimierung für die 

Bilder aus der Google Bildersuche entfernen / löschen

https://www.tagseoblog.de/bilder-aus-der-google-bildersuche-entfernen-loeschen

Normalerweise schreibe ich hier ja, wie man Bilder möglichst schnell in die Google Bildersuche und dann möglichst weit nach vorne bekommt. In diesem Artikel soll es aber um das Gegenteil gehen: Wie kann man möglichst zügig Bilder aus de

Website-Bilder optimieren – Seo für Bilder

https://www.tagseoblog.de/website-bilder-optimieren-bilder-seo-2011

Update: dieser Artikel ist leider inzwischen veraltet. Es hat sich vieles getan, neue Rankingfaktoren haben enorm an Bedeutung gewonnen. Einen Übersichtsartikel werde ich in den kommenden Tagen veröffentlichen. Wer jedoch alles zum Thema

Bilder optimieren für Google – Bilder-SEO Basics kompakt

https://www.tagseoblog.de/bilder-optimieren-fuer-google-bilder-seo-basics-kompakt

[Von diesem Artikel gibt es eine aktualisierte Version, siehe: „Website-Bilder optimieren – Seo für Bilder (2011)„] …Warum sind meine Bilder nicht bei Google zu finden? Bzw. warum sind sie so weit hinten? Warum dauert e

Kategorie: Glossar   Autor: Martin Mißfeldt

Werbung ... (oder auch nicht)

Werbebanner buchen? Einfach nachfragen ...
Martin Mißfeldt

Autor: (Künstler, Firma DUPLICON Berlin) über Bilder, die Bildersuche im Internet sowie Bilder- und Video-Optimierung. Mehr

Bilder SEO E-Book

168 Seiten komplexes Wissen
für Einsteiger und Fortgeschrittene

Bilder-SEO-Buch

PDF: 29,99 €

epub: 29,99 €

Kategorien

Blogroll