Spione bitte draussen bleiben
Wie versprochen hier ein paar Hinweise auf “Spione”, die im Linknetzwerk nichts verloren haben und deshalb per Robots.txt ausgesperrt werden sollten:
User-agent: Slurp
Disallow: /
User-agent: sistrix
Disallow: /
User-agent: dotbot
Disallow: /
An erster Stelle natürlich Slurp, der Yahoo-Bot und Basis aller Backlinkchecker, dazu die deutsche Spezialität sistrix und der dotbot (u.a. Hauptbasis für SEOmoz). Diese drei auszusperren ist m.E. ein Muss. Hinweise, welchen Bots das Stop-Schild unter die Nase gehalten werden sollte, findet man hier:
Einige SEO sollen unbestätigten Gerüchten zufolge durchaus Programmierkenntnisse besitzen und Open Source Crawler entsprechend umgebaut haben:
http://en.wikipedia.org/wiki/Web_crawler#Open-source_crawlers
Hinzu wären nach verschiedene Libs der Programmiersprachen eine genauere Betrachtung wert, v.a. Perl und Python Bibliotheken, aber ein wenig Recherche soll dem einzelnen schon noch selbst überlassen werden.
Wenn Sie eine eigene Meinung dazu haben, schreiben Sie doch einen Kommentar. Oder vielleicht möchten Sie aktuell über neue Beiträge informiert werden, dann abonnieren Sie doch den Feed.
vielen Dank für die nützliche Info, habe sofort umgesetzt