URL-Aufrufe mit Parametern per robots.txt verbieten

Heute habe ich ein kleines Indexierungsproblem bei einer Kundenwebseite festgestellt. Diese arbeitet mit einem Shopsystem, das zwar „sprechende URLs“ unterstützt und damit schon ein bisschen SEO-Freundlichkeit aufweist, aber leider bietet es die Sortierung von Produktlisten und hängt damit jede Menge Parameter an die schönen URLs, die dadurch natürlich viel zu oft indexiert werden. Die Folge ist [doppelter Inhalte (duplicate content)->duplicate-content] in Hülle und Fülle.

Um dem Webmaster die Arbeit möglichst einfach zu machen, habe ich darum eine Lösung mit der [robots.txt Datei->robots-txt] gesucht, die hilft, die Indexierung von solchen Sortierungsseiten zu unterbinden. Das Ganze läßt sich in meinem Fall einfach lösen, da die Dateien normalerweise mit „.html“ enden und nur bei den Sortierungen ein „.html?irgendwas=irgendwie“ zu finden ist. Dieser Zusatz in der robots.txt tut ab sofort seine Arbeit auf der Kundenseite:

Allow: /*.html$
Disallow: /*.html?*

Wenn eure Dateien mit .php enden, müsst ihr den Eintrag natürlich entsprechend anpassen. Und gebt Google ruhig ein paar Wochen, bis er die Seiten aus dem Index geworfen hat, die nun auf verboten sind. Tante G ist nicht die Schnellste…

Jens Kleinholz( Gründer & Sir Apfelot )

Seit 2012 betreibe ich meinen Blog als Sir Apfelot und helfe meinen Lesern bei technischen Problemen. In meiner Freizeit flitze ich auf elektrischen Einrädern, fotografiere mit meinem iPhone, klettere in den hessischen Bergen oder wandere mit meiner Familie. Meine Artikel behandeln Apple-Produkte, Drohnen-News und Lösungen für aktuelle Bugs.