Google Duplicate Content überprüfen und vermeiden

Von Duplicate Content spricht man, wenn verschiedene Seiten einer Website oder einem Shop gleiche Texte, Bilder, Videos oder andere Elemente enthalten. Grund hierfür sind oft Herstellerbeschreibungen, Sortier- oder Filterfunktionen oder einfach der gleiche Einleitungstext auf mehreren Unterseiten.

Dabei wird unterschieden zwischen:

• Internen Duplicate Content: Wenn derselbe Inhalt über mehrere URL-Varianten einer Domain aufgerufen werden kann.
• Externer Duplicate Content: Wenn derselbe Inhalt auf verschiedenen Domains zu finden ist.

Meist wird dieses Thema im Rahmen von Suchmaschinenoptimierung (SEO) betrachtet, da Duplicate Content meist eine direkte (negative) Wirkung auf die Rankings der Seite und entsprechender Keywords hat.

Warum kann Duplicate Content schädlich sein?

Suchmaschinen – allen voran Google –  bevorzugen einzigartigen und qualitativ hochwertigen Content. An erster Stelle steht der User oder die Userin mit der Erwartung dass er oder sie die bestmöglich passenden Suchergebnisse zur Anfrage erhält. Um diesem Anspruch gerecht zu werden, analysiert, bewertet und indexiert Google tagtäglich Millionen von Webseiten. Wenn es nun mehrere Seiten gibt, die denselben oder beinahe identischen Inhalt besitzen, dann kann nicht mehr ermittelt werden, welche dieser Seiten die höchste Relevanz besitzt – die Seiten müssen sich also die Relevanz teilen und verlieren im Ranking der Suchtreffer an Bedeutung. Je mehr Seiten von Duplicate Content betroffen sind, desto schlechter wird meist das Ranking. Man sollte zudem am Besten der Erste sein, der Content publiziert, denn mittlerweile nimmt die Bedeutung der Historie zu: Suchmaschinen analysieren, wer als erstes einen entsprechenden Content publiziert hat oder eben wo er auf der eigenen Plattform publiziert wurde.

Jeder Webseite wird eine bestimmte Zeit zugeordnet, die die Suchmaschine dort verbringt, um einzelne Unterseiten in den Index aufzunehmen. Dies ist die sogenannte Crawlzeit. Ist nun aber auf bestimmten Unterseiten eines Web-Auftritts häufig Duplicate Content zu finden, kann es passieren, dass Google einen großen Teil der Crawlzeit damit verbringt, diese doppelten Seiten zu überprüfen. Die Crawlzeit kann also aufgebraucht sein, obwohl die Suchmaschine einige wichtige Seiten noch gar nicht besucht hat. So kann es passieren, dass einzelne Seiten nicht mit in den Index aufgenommen werden. Durch Duplicate Content verschenkt man also möglicherweise wichtige Rankingpotenziale, da die Seiten in Konkurrenz zueinander stehen und sich somit gegenseitig schwächen.

Häufige Ursachen für Duplicate Content

Neben technischen Aspekten können auch inhaltliche Vorgänge die Ursache für Duplicate Content sein, die als selbstverständlich erachtet werden, wie z.B.:

• Eine Website ist mit und ohne “www” erreichbar: Beispiel: http://www.ihredomain.de und http://ihredomain.de
• Eine Website ist per http und https erreichbar: Beispiel: http://www.ihredomain.de und https://www.ihredomain.de
• Neue Website: Die alte Website ist noch im Index von Google und hat sich evtl. ein gutes Ranking aufgebaut, die neue Seite bietet nun jedoch denselben Inhalt unter einem neuen Link (gleiche Domain, jedoch neue Link-Struktur).
• Domain-Umzug: Alle Seiten sind noch unter der alten Domain bei Google indexiert und die neue Domain liefert nun dieselben Inhalte unter einer völlig neuen URL.
• Paginierung: Ein und dieselbe Seite ist sowohl direkt erreichbar, als auch über verschiedene Kategorien, Tags, Seitenzahlen, usw.
• Sehr ähnliche oder identische Produkt-Beschreibungen.
• Unterschiedliche Sprachen auf einer Website: Viele Shops sind in unterschiedlichen Sprachen verfügbar, wobei sich die Inhalte nur minimal unterscheiden. Die geografische Ausrichtung der Seite sollte Google mitgeteilt werden, damit nicht mehrere Sprachversionen in der Suche auftauchen und sich gegenseitig schwächen.

Wie kann ich überprüfen, ob meine Website Duplicate Content enthält?

Eine Möglichkeit, Duplicate Content ausfindig zu machen, ist die Google Extension Google Similar Pages. Hiermit findet man Websites, die der eigenen Seite ähnlich sind. Ein weiteres Tool ist der Siteliner. Dort kann man den Content einer Seite im Detail analysieren. Zusätzlich sind natürlich auch kostenpflichtige Tools wie z.B. OnPage.org in der Lage, entsprechende Analysen zu machen.

Was kann nun konkret gegen Duplicate Content getan werden?

• Domain-Umleitungen z.B. von http://ihredomain.de auf http://www.ihredomain.de vornehmen (z.B. serverseitig in den Webserver-Einstellungen oder, sofern vorhanden, in der .htaccess Datei).
• Dauerhafte Weiterleitungen (301 Redirects) für nicht mehr vorhandene Seiten anlegen.
• Für Top-Produkte einzigartig Beschreibungen verfassen und nicht nur die Herstellerbeschreibung kopieren.
• Paginierungen mit einem entsprechenden HTML Tag versehen (next / prev).
• Sortier- und Filterfunktionen in den Webmaster Tools ausschließen, ggf. mit noindex versehen und zusätzlich in den robots.txt ausschließen.
• Bei URLs mit demselben Inhalt den canonical tag einsetzten und auf der Haupt-URL anzeigen lassen (z.B. Produktdetailseite mit Parametern oder mit zwei URLs in zwei Kategorien).
• Bei mehreren Ländern (z.B. bei einer Seite auf Deutsch für Deutschland, Österreich und die Schweiz) sollte man unbedingt das sog. hreflang-Attribut (rel=”alternate” hreflang=”x”) für Sprach- oder Regions-URLs der Seiten verwenden. So kann Google den Nutzern die URL für die korrekte Sprache und Region bereitstellen. Falls mehrere Sprachversionen einer URL existieren, müssen bei jeder dieser Seiten alle Sprachversionen identifiziert werden, auch die eigene Sprachversion. Wenn die Website z. B. Inhalte auf Französisch, Englisch und Spanisch anbietet, muss die spanische Version einen rel=”alternate” hreflang=”x”-Link für sich selbst enthalten, zusätzlich zu den Links zur französischen und englischen Version. Ebenso müssen die englischen und französischen Versionen auf die französische, englische und spanische Version verweisen. Dies gilt ebenso für die drei deutschen Versionen für Deutschland, Österreich und die Schweiz. Mehr Informationen hierzu gibt es hier.
• Verwendung der Google (oder Bing) Webmaster Tools, um die Indexierung der eigenen Seite im Blick zu behalten.

Diese Punkte sind nur ein kleiner Teil der Möglichkeiten, die für Suchmaschinenoptimierung genutzt werden können. Alle Faktoren setzen sich wie Puzzleteile zusammen – Duplicate Content ist vielleicht ein kleines, aber dennoch entscheidendes Teil, wenn SEO gelingen soll.

Autor: Stephan Sigloch, CEO bei der KlickPiloten GmbH