Googlebot bei der Arbeit beobachten

09.11.2011 14:21 Uhr

Wer im Besitz eines eigenen root-Servers ist, kann auf seiner Webseite live mitverfolgen wie der Googlebot die Seite crawlt.

Einfach in der Shell folgenden Befehl nutzen:

tail -f /var/www/pfad/zu/den/logs/access_log | grep Googlebot

Hat jemand noch weitere spannende Kniffe um den Googlebot in freier Wildbahn zu beobachten? :-)

4 Antworten

#1

07.12.2011 15:08 Uhr

Konnte ich gerade bei mir testen, klappt super.

Sehr spannend .... :-)

#2

14.12.2011 10:53 Uhr

Falls es zu Lastproblemen auf euren Servern kommt, kann unter Umständen der GoogleBot schuld sein. :-/

Über die WebmasterTools von Google lässt sich einstellen, wie oft Google die Seite crawlen soll! Bei der Einstellung ist natürlich Vorsicht geboten, damit man nicht aus den Suchergebnissen fliegt!

#3

14.12.2011 14:10 Uhr

Allgemein ist

tail -f /var/www/pfad/zu/den/logs/access_log

sehr gut im die Aktivität auf dem eigenen Server zu beobachten, um z.B. das von michael angesprochene Lastproblem zu lösen.

Bei mir war es die letzten Tage der http://ahrefs.com/robot/, der wild gecrawlt hat und meine Server-Load jenseits der 30 getrieben hat.

Mit tail -f habe ich ihn erkannt und anhand der IP gebannt :)

#4

13.01.2012 09:35 Uhr

Da ich viele Projekte mit Wordpress realisiere, benutze ich u. a. Visitor Maps (http://wordpress.org/extend/plugins/visitor-maps/). Zeigt schön an, welche Seiten sich die Bots und Onlineuser gerade anschauen. Liefert auch ne kleine Statistik mit fürs Dashboard. Auch die IP der Bots wird angezeigt. Nettes Tool!

Ähnliche Fragen



Datenschutzerklärung · Impressum