Erweiterte robots.txt
Es gibt einfach so eine Anzahl von Web-Grabbler, die ich auf manchen Projekten in Zukunft nicht mehr sehen möchte. Inzwischen ist daraus eine recht umfangreiche Lsite geworden, die natürlich fortlaufend ergänzt wird. Wie die entprechende robots.txt aussehen könnte, sieht man hier.
Eine ständig aktualisierte Liste von Bots findet man dort.
Wenn Sie eine eigene Meinung dazu haben, schreiben Sie doch einen Kommentar. Oder vielleicht möchten Sie aktuell über neue Beiträge informiert werden, dann abonnieren Sie doch den Feed.
Kommentare
Nachtrag:
ich habe mir mal fix die Arbeit gemacht und Deine Liste mit meiner abgeglichen und komplettiert sowie von a bis z sortiert.
Wer mag, feel free to take it :)
Grüssle Heiko
@Arndt … es geht darum, wenn die Domain ein Teil eines Linknetzwerkes ist. Lies mal die vorherigen Beiträge hier auf dem Blog dazu.
ah, ok! es geht also darum sein projekt nicht von andren seos über linkdomain, sistrix oder sonsitige hilfen ausspionieren zu lassen, richtig?
ich habe mal gehört/gelesen das google das ranking in andren sumas mit ins eigene einfließen lässt - wenn das so währe würde man sich doch damit schaden.
Hallo Heiko, ich steuere auch noch welche bei, war ja erst Schritt eins. Ich mag keine Spione, falls ich das nicht schon mal nebenbei erwähnt haben sollte ;)
Felix, bist Du Dir zu 1.000% sicher, dass Google nicht die restriktivere Anweisung auf sich bezieht? Der Yahoo Bot würde es tun … Dann lieber spezifizieren, bevor man sich in diese Gefahr begibt.
MoinMoin Matthias,
nur diese?
Ich hatte schon Zeit ein paar mehr zu sammeln :)
http://www.virenschutz.info/robots.txt
Grüssle Heiko