Geschickt selbst ausgetrickst
Die robots.txt ist oftmals die Ursache, wenn es Indizierungsprobleme gibt bei einer Website gibt, daher werfe ich in solchen auch immer gleich einen Blick darauf. Auf eine Variante, sich geschickt selbst auszusperren, möchte ich gleich hinweisen, nur weil ich selber nicht sofort darauf gekommen bin.
Yahoo hatte die Startseite des Projektes nur als Domain im Index - ohne Cache und Inhalt. In Google hingegen fanden sich gut 70.000 indizierte Unterseiten. Mysteriös.
Die www.domain.tld/robots.txt war völlig in Ordnung, doch die domain.tld/robots.txt, die noch der Testphase stammte, sperrte alle Spider aus. Der Y-Spider kann nicht erkennen, welchen der beiden Anweisungen er folgen soll und entscheidet sich immer für die strikteren Regeln.
Ein Fehler, der vermieden hätte werden können durch die Einrichtung einer Standard-Domain.
Wenn Sie eine eigene Meinung dazu haben, schreiben Sie doch einen Kommentar. Oder vielleicht möchten Sie aktuell über neue Beiträge informiert werden, dann abonnieren Sie doch den Feed.
Kommentare
Hallo Matthias,
danke nochmals für deine Lösung des Problems. Ich war sozusagen der Verursacher des Problems. Wir haben auf dem Webportal umfangreiche Rewrite Engine Bedingungen und die HTML-Seiten von ednetz.de auf http://www.ednetz.de umgeleitet, jedoch nicht die robots.txt von ednetz.de/robots.txt auf http://www.ednetz.de/robots.txt.
ich möchte mich nochmals sehr herzlich bei dir, Matthias, für deine schnelle Hilfe bedanken.
Sebastian Blum und das ednetz.de Team
Das gleiche Problem habe ich bei einem Projekt. Allerdings ist die Standard-Domain seit Jahren eingerichtet. Der Yahoo-Bot kommt auch jeden Tag vorbei. Allerdings ist nur die Startseite im Index.
Irgendeine Idee?
Vielen Dank,
Andre