Wie schützt ihre eure Seite vor bösen Crawlern? Frage Wie schützt ihre eure Seite vor bösen Crawlern? zu Favoriten hinzufügen

Daumen hoch 0 Daumen runter

Wie schützt ihr eure Webseite vor Crawlern von Sistrix, XOVI und Co.? Macht ihr das auch über die .htaccess und wenn ja, wie genau? Oder wählt ihr die Robots.txt?

Antworten


Diese Antwort als GUT bewerten 0 Diese Antwort als SCHLECHT bewerten

OK... beantworte einen Teil meiner Frage mal selbst. Nehmt lieber die .htaccess, weil die robots.txt von manchen Bots auch mal gerne ignoriert wird.

Den genauen Inhalt der .htaccess versuche ich noch herauszufinden.

 

Deine Antwort

Registrierter User Bereits registriert? Bitte logge dich vor dem Antworten ein.

Deine Daten