Diese Website verwendet Cookies. Mehr erfahren ... OK, kein Problemclose-Button
Nischenseiten E-Book von Peer Wandiger
Werbung

Was ist ein Crawler? (Spider, Robots)

Ein Crawler ist ein kleines „Programm“, dass automatisch bestimmte Websites durchsucht und die gefundenen Inhalte auf eine bestimmte Art und Weise verarbeiten. Man nennt sie auch „Spider“ oder „Robots“, kurz „bots“. In aller Regel folgen die Crawler automatisch den Links auf Websites. In manchen Fällen werden Crawler aber auch nach anderen Kriterien zu URLs geleitet.

Viele Firmen nutzen Crawler, um die Inhalte des öffentlichen WWW zu durchforsten. Die seriösen Konzerne (wie Google, bing etc.) weisen sich dabei in den Logfiles aus, d.h. sie hinterlassen ihren Namen, so dass man sie bei einer Logfile-Analyse identifizieren kann. Viele unseriöse Anbieter nutzen jedoch Crawler, ohne sich auszuweisen. Das geschieht entweder aus Unkenntnis – oder weil die Aktivitäten unlauteren Zielen folgen (zum Beispiel dem automatischen Scrapen von Inhalten anderer Websites).

Google Crawler / Googlebots

In Zusammenhang mit der Suchmaschinenoptimierung kommt den Crawlern eine besondere Bedeutung zu. Das gilt insbesondere für die verschiedenen Google-Crawler. Dazu gehören:

  • Googlebot (Deskop und Tablett): Googlebot/2.1 oder Mozilla/5.0
  • Googlebot (Smartphone): Mozilla/5.0
  • Googlebot-Image/1.0
  • Googlebot-Video/1.0
  • Googlebot-News
  • AdsBot-Google (Zielseiten-Qualitätsprüfung für Adsense / Adwords)
  • Google-App-Crawler

Anweisungen mit Hilfe der robots.txt

Als Website-Betreiber kann man den verschiedenen Bots gezielte Anweisungen übergeben. Das funktioniert bei den seriösen Crawlern auch recht stabil und sicher – bei unseriösen Bots kann man sich nie sicher sein, ob sie sich daran halten.

Ressourcen

Artikel zum Thema crawler

Bilder-Indexierung und Google-Images-Crawler (Logfile-Analyse)

http://www.tagseoblog.de/bilder-indexierung-und-google-images-crawler-logfile-analyse

Bilder-Indexierung und Google-Images-Crawler (Logfile-Analyse): 29. März 2011 Bilder-Crawler Analyse Was macht eigentlich der Googlebot-Image? Ingo hat vor einigen Tagen darauf hingewiesen, dass er bei der Crawler-Aktivität erneut einige

Googlebot Crawler Aktivität – Logfiles selber auswerten

http://www.tagseoblog.de/googlebot-crawler-logfiles-selber-auswerten

Googlebot Crawler Aktivität – Logfiles selber auswerten: 9. Januar 2009 Logfiles Analyse Im folgenden kleinen Beitrag soll es um die Auswertung der eigenen Logfiles gehen. Sehr häufig lese ich Fragen wie „Wie oft kommt der goo

Der Googlebot-Image/1.0 Crawler – kleine Logfiles Analyse

http://www.tagseoblog.de/googlebot-image-crawler-logfiles-analyse

Der Googlebot-Image/1.0 Crawler – kleine Logfiles Analyse: 9. Januar 2009 Fremde im Paradies Wie gestern angekündigt, möchte ich mal die Google-Bildersuche unter die Lupe nehmen. Fast 10% aller Suchabfragen werden über images.googl

Bilder aus der Google Bildersuche entfernen / löschen

http://www.tagseoblog.de/bilder-aus-der-google-bildersuche-entfernen-loeschen

Bilder aus der Google Bildersuche entfernen / löschen: 1. August 2011 Bild löschen Normalerweise schreibe ich hier ja, wie man Bilder möglichst schnell in die Google Bildersuche und dann möglichst weit nach vorne bekommt. In diesem Arti

Website-Bilder optimieren – Seo für Bilder

http://www.tagseoblog.de/website-bilder-optimieren-bilder-seo-2011

Website-Bilder optimieren – Seo für Bilder: 30. September 2011 Bilder-Seo 2011 Bilder sind inzwischen selbstverständlicher Bestandteil vieler Websites. Ich würde sogar sagen: Bilder sind das Salz in der Internetsuppe: sie erleichte

Bilder optimieren für Google – Bilder-SEO Basics kompakt

http://www.tagseoblog.de/bilder-optimieren-fuer-google-bilder-seo-basics-kompakt

Bilder optimieren für Google – Bilder-SEO Basics kompakt: 24. April 2010 Bilder optimieren [Von diesem Artikel gibt es eine aktualisierte Version, siehe: „Website-Bilder optimieren – Seo für Bilder (2011)„] …Waru

Kategorie: Glossar   Autor: Martin Mißfeldt

Werbung ... (oder auch nicht)

Werbebanner buchen? Einfach nachfragen ...
Martin Mißfeldt

Autor: (Künstler, Firma DUPLICON Berlin) über Bilder, die Bildersuche im Internet sowie Bilder- und Video-Optimierung. Mehr

Werbepartner

Kategorien

Werbepartner

KFZ-2012

Blogroll