Googlebot bei der Arbeit beobachten Frage Googlebot bei der Arbeit beobachten zu Favoriten hinzufügen

Daumen hoch 2 Daumen runter

Wer im Besitz eines eigenen root-Servers ist, kann auf seiner Webseite live mitverfolgen wie der Googlebot die Seite crawlt.

Einfach in der Shell folgenden Befehl nutzen:

tail -f /var/www/pfad/zu/den/logs/access_log | grep Googlebot

Hat jemand noch weitere spannende Kniffe um den Googlebot in freier Wildbahn zu beobachten? :-)

bearbeitet am 09.11.2011

sehr, sehr spannend!

martin am 09.11.2011

Antworten


Diese Antwort als GUT bewerten 1 Diese Antwort als SCHLECHT bewerten

Allgemein ist

tail -f /var/www/pfad/zu/den/logs/access_log

sehr gut im die Aktivität auf dem eigenen Server zu beobachten, um z.B. das von michael angesprochene Lastproblem zu lösen.

Bei mir war es die letzten Tage der http://ahrefs.com/robot/, der wild gecrawlt hat und meine Server-Load jenseits der 30 getrieben hat.

Mit tail -f habe ich ihn erkannt und anhand der IP gebannt :)

Diese Antwort als GUT bewerten 1 Diese Antwort als SCHLECHT bewerten

Da ich viele Projekte mit Wordpress realisiere, benutze ich u. a. Visitor Maps (http://wordpress.org/extend/plugins/visitor-maps/). Zeigt schön an, welche Seiten sich die Bots und Onlineuser gerade anschauen. Liefert auch ne kleine Statistik mit fürs Dashboard. Auch die IP der Bots wird angezeigt. Nettes Tool!

Diese Antwort als GUT bewerten 0 Diese Antwort als SCHLECHT bewerten

Konnte ich gerade bei mir testen, klappt super.

Sehr spannend .... :-)

Diese Antwort als GUT bewerten 0 Diese Antwort als SCHLECHT bewerten

Falls es zu Lastproblemen auf euren Servern kommt, kann unter Umständen der GoogleBot schuld sein. :-/

Über die WebmasterTools von Google lässt sich einstellen, wie oft Google die Seite crawlen soll! Bei der Einstellung ist natürlich Vorsicht geboten, damit man nicht aus den Suchergebnissen fliegt!

Deine Antwort

Registrierter User Bereits registriert? Bitte logge dich vor dem Antworten ein.

Deine Daten