Es gibt ein paar gute Gründe, warum bestimmte Seiten deiner Website nicht auf den Ergebnisseiten von Google und anderen Betreibern von Suchmaschinen auftauchen sollen. In diesem Artikel lernst du verschiedene Vorgehensweisen, damit Suchmaschinen bestimmte Seiten einer Website nicht indexieren.
Dies sind drei wichtige Gründe:
- “Doppelter Inhalt:” Dieser Punkt wird meist an erster Stelle genannt. “Doppelter Inhalt” bedeutet, dass auf zwei Seiten einer Website oder auch auf zwei Seiten von zwei Websites sich derselbe Inhalt befindet. In diesem Fall verteilt sich die Klickraten auf die Seiten und das Ranking beider Seiten leidet darunter.
- Danke-Seiten: Diese soll eigentlich nur von Personen besucht werden, denen du den Link zur Seite gegeben hast. Denn üblicherweise erhält der Besucher auf dieser Seite Zugang zu exklusiven Inhalten, die du vor der Öffentlichkeit schützen möchtest.
- Passwortgeschützte Seiten oder Mitgliederseiten: Diese Seiten, sind nur für Personen, welche sich mit einem Passwort oder einem Benutzernamen und einem Passwort als rechtmäßige Besucher ausweisen können. Möchte eine nicht-autorisierte Person eine derartige Seite besuchen, wird vom System eine 403-Fehlermeldung erzeugt. Dasselbe gilt auch für die Such-Roboter. Auch für sie sind diese Seiten nicht erreichbar.
In diesem Artikel erfährst du, was du tun kannst, um den Such-Robotern den Besuch dieser Seiten zu verwehren. Und was du tun kannst, wenn so eine Seite bereits auf den Ergebnisseiten der Suchmaschinen auftaucht. Also wie du diese Seite aus den Suchergebnissen wieder verschwinden lassen kannst.
Am Ende des Artikels zeige ich dir noch, wie du die Such-Roboter von Google motivieren kannst, deine Website häufiger zu besuchen und Veränderungen schneller in ihre Verzeichnisse aufzunehmen.
Zunächst schauen wir uns aber an, wie du bestimmte Seiten einer Website vor Google verbergen kannst.
Hierfür stehen dir zwei Möglichkeiten zur Verfügung:
- Du kannst die Metatags “noindex” und “nofollow” für die zu schützenden Seiten deiner Website verwenden.
- Du kannst eine robots.txt-Datei erzeugen und in diese bestimmte Befehle schreiben.
Die Metatags “noindex” und “nofollow” auf deiner Website verwenden
Dies ist eine einfache Möglichkeit, um eine ganze Seite, alle Links auf einer Seite oder einen einzelnen Link vom Indexieren auszunehmen.
Zuerst schauen wir uns aber an, was “noindex” und “nofollow” bedeuten:
Was ist ein “noindex”-Befehl?
Ein“noindex”-Befehl bzw. ein “noindex”-Metatag teilt dem Search Bot der Suchmaschine mit, dass sie zwar diese Seite durchsuchen kann, jedoch nicht den Inhalt in ihren Index aufnehmen darf.
Dies bedeutet, dass der Inhalt einer Seite, welche den “noindex”-Befehl enthält, auch nicht auf den Ergebnisseiten der Suchmaschinen angezeigt werden kann.
Was ist ein “nofollow”-Befehl?
Der “nofollow”-Befehl einer Seite teilt dem Search Bot mit, dass er den Links auf dieser Seite nicht folgen darf.
Was ist der Vorteil von Metatags?
Metatags lassen sich sehr einfach einsetzen. Du musst dafür nur ein klein wenig Code in die Seite integrieren. Für Metatags benötigst du auch nur wenig technisches Wissen. Du kannst sogar ein Plugin dafür verwenden. Ich werde dir weiter unten die grundsätzliche Vorgehensweise vorstellen.
Wann macht es Sinn, den“noindex”-Befehl oder den “nofollow”-Befehl zu verwenden?
Eigentlich hast du nicht nur zwei, sondern sogar drei Möglichkeiten. Du kannst einen“noindex”-Befehl, einen “nofollow”-Befehl oder einen “noindex, nofollow”-Befehl einfügen.
“Noindex-Metatag”
Den“noindex”-Metatag verwendest du, wenn der Search Bot zwar eine Seite durchsuchen, jedoch nicht den Inhalt der Seite in seine Verzeichnisse aufnehmen soll. Er kann jedoch den Links auf dieser Seite zu nachfolgenden Seiten folgen. Da die Ausgangsseite jedoch nicht indexiert wird, besitzt sich auch keine “Site Authority”, welche sie an die nachfolgenden Seiten weitergeben kann.
Die “Site Authority” ist eine wichtige Größe, die von den Suchmaschinen für die Berechnung des Rankings einer Seite verwendet wird. Geht ein Link von einer Seite mit einem hohen Ranking zu einer anderen Seite, wird diese nachfolgende Seite als wichtiger angesehen. Der umgekehrte Fall ist, wenn ein Link von einer Seite mit einer niedrigen Autorität ausgeht.
Wenn das Ranking einer Seite aufgrund des “noindex”-Befehls gar nicht weitergegeben werden darf, dann kann diese Seite auch nicht dem Ranking der nachfolgenden Seite helfen.
Ein Beispiel für die Verwendung von“noindex”-Befehlen sind Danke-Seiten oder Seiten, die nur Personen offen stehen, die dafür bezahlt haben bzw. mit Hilfe eines Passwortes Zutritt zu diesen Seiten haben.
Bei diesen Seiten möchtest du sicher nicht, dass sie in den Ergebnissseiten der Suchmaschinen auftauchen und der Besuch der Seiten allen Personen offen steht.
Die Search Bots dürfen also die Seite nicht indexieren, den Links auf dieser Seite dürfen sie jedoch folgen.
“Nofollow”-Metatag
Im Gegensatz dazu steht der “nofollow”-Befehl. Er verbietet den Such-Robotern einem Link zur nächsten Seite zu folgen. Sie dürfen jedoch die Seite, auf der diese Links stehen, indexieren und auch auf den Ergebnisseiten anzeigen.
Den kombinierten Befehl aus “noindex” und “nofollow” verwendest du, wenn die Search Bots weder deine Seiten indexieren, noch den Links auf der Seite folgen sollen.
Der “noindex, nofollow”-Befehl wird häufig auf Dankeseiten mit nachfolgenden Bonus-Seiten eingesetzt. Du möchtest sicher nicht, dass die Danke-Seite von jedermann besucht und dass diese Personen Zugang zu deinen Bonusseiten erhalten.
Vorgehensweise, um einen“noindex”-Befehl und einen “nofollow”-Befehl in die Seiten deiner Website einzufügen
Ich stelle dir hier zwei Möglichkeiten vor, wie du einen Metatag in deine Seite einfügen kannst.
Der erste Weg erfordert einen kleinen Eingriff in den Programmiercode der Seite. Ich habe volles Verständnis, wenn du diese Methode mit etwas Argwohn betrachtest. Deshalb zeige ich dir danach noch die Vorgehensweise mit einem Hilfsmittel, dem Yoast SEO-Plugin.
Zuerst schauen wir uns jedoch die erste Vorgehensweise an, damit du verstehst, was bei der zweiten Vorgehensweise passiert.
Bevor du nun beginnst, einen Befehl in deine Website einzufügen, schauen wir uns diese Befehle noch kurz an. Sie sind sehr einfach aufgebaut und intuitiv zu verstehen.
Der Befehl besteht aus zwei Teilen. Der erste Teil enthält den Titel. Dieser steht hinter der Bezeichnung “META NAME”. Er gibt an, für wen dieser Befehl gilt. Bei den “nofollow”- und“noindex”-Befehlen sind dies die Search Bots bzw. Such-Roboter.
Im zweiten Teil steht der eigentliche Befehl. Er befindet sich hinter dem Wort CONTENT:
Dies sind die 3 möglichen Befehle:
<META NAME=“robots“ CONTENT=“noindex“>
<META NAME=“robots“ CONTENT=“nofollow“>
<META NAME=“robots“ CONTENT=“noindex, nofollow“>
Metatags selbst in den Seitencode einfügen
Damit der von dir ausgewählte Befehl von den Such-Robotern erkannt werden kann, musst er sich im Kopfbereich der Seite befinden. Dieser Bereich beginnt mit dem Befehlund endet mit dem Befehl.
Wenn du das Template einer Seite mit einem entsprechenden Programm öffnest, dann kannst du irgendwo zwischen diesen beiden Befehlen den Metatag einfügen. Danach speicherst du deine Veränderung.
Das war es schon. Wenn nun ein Search Bot auf die Seite kommt, erkennt er an diesem Befehl, was er mit dem Inhalt dieser Seite tun kann.
Metatags mit dem Yoast SEO-Plugin einfügen
Wenn du eine WordPress-Website besitzt, dann kannst du auch mit Hilfe des Yoast SEO-Plugins die Metatags in die Seiten einfügen.
Zunächst installierst und aktivierst du das Plugin. Danach wählst du in der Seitenübersicht die Seite, auf der du einen Metatag einfügen möchtest.
Im Feld “Yoast SEO” klickst du auf das Zahnrad. Jetzt kannst du das passende Metatag für index oder follow per Dropdown-Menü bzw. Radio Button auswählen. Zum Schluss klickst du auf “Aktualisieren”, um die Änderungen in der Seite abzuspeichern.
Sobald wieder ein Such-Roboter auf diese Seite kommt, wird er jetzt den Metatag sehen und sich entsprechend verhalten.
Dies waren die beiden Möglichkeiten, eine Seite deiner Website mit Hilfe von Metatags vor den Suchmaschinen zu verbergen.
Als Nächstes schauen wir uns an, wie dir die robots.txt-Datei dabei helfen kann. Denn auch mit ihr kannst du Teile deiner Website vor den Suchmaschinen verbergen.
Eine Robots.txt-Datei für deine Website einsetzen
Mit einer robots.txt-Datei kannst du genau festlegen, welche Inhalte von den Suchmaschinen nicht besucht und indexiert werden können. Du kannst damit auch mit einem Befehl eine größere Anzahl von Seiten gemeinsam schützen. Außerdem befinden sich alle Befehle zum Schutz der Seiten deiner Website an einem Ort. Dies erleichtert die Handhabung und sind eindeutige Vorteile einer robots.txt-Datei.
Mit Hilfe deiner robots.txt-Datei kannst du z.B. genau bestimmen, ob du Einzelseiten, Gruppen von Seiten oder auch nur einzelne Bilder oder Dateien vor den Such-Robotern schützen möchtest. Und das ist nur ein Teil der Möglichkeiten, die eine robots.txt-Datei bietet.
Die robots-txt-Datei befindt sich im Root- bzw. Hauptverzeichnis deiner Website auf dem Server des Hosting Providers. Du kannst die Datei z.B. mit Hilfe eines FTP-Programms vom Server auf deinen Rechner kopieren, dort bearbeiten und danach wieder hochladen.
Es gibt jedoch noch einen komfortableren Weg.
Das Yoast SEO-Plugin für die robots.txt-Datei verwenden
Auch bei der Erzeugung von Befehlen für die robots.txt-Datei kann dir das Yoast SEO-Plugin helfen. Und falls bisher noch keine robots.txt-Datei vorhanden ist, dann hilft es dir sogar eine Datei zu erstellen.
Bevor du mit Yoast SEO die robots.txt-Datei erstellen oder bearbeiten kannst, musst du jedoch das Plugin konfigurieren. Ich gehe davon aus, dass du dies bereits gemacht hast. Falls nicht, dann dauert dies nur wenige Minuten.
Um Zugang zur robots.txt-datei zu erhalten, gehst du in der linken Spalte auf SEO und klickst dann auf Werkzeuge. Danach klickst du auf Datei-Editor.
Hier hast du die Möglichkeit die robots.txt-Datei und die .htaccess-Datei zu bearbeiten.
Falls die robots.txt-Datei noch nicht existiert, siehst du einen Button mit der Aufschrift “Erstelle robots.txt Datei”. Sobald du auf diesen Button geklickt hast, stellt Yoast diese Datei in das Hauptverzeichnis der Website.
Jetzt wird der Inhalt der Datei angezeigt. Dieser lautet z.B.
User-agent: *
Disallow: /
Dies bedeutet, dass alle Such-Roboter davon abgehalten werden, deine Website zu besuchen. Die Website ist somit komplett gespert.
Lautet der Befehl hingegen
User-agent: *
Disallow:
bedeutet dies, dass alle Such Roboter Zugang zu allen Informationen auf deiner Website haben.
Jetzt kannst du beginnen, ganz bequem im Yoast SEO-Plugin deine Befehle in die robots.txt-Datei einzugeben.
Zum Schluss klickst du auf den Button mit der Aufschrift “Änderungen in der robots.txt übernehmen”.
Am Ende dieses Artikels findest du eine kleine Liste gebräuchlicher Befehle.
Was sind die Nachteile der robots.txt-Datei?
- Du benötigst ein gewisses Verständnis für die Struktur deiner Website und die Syntax der zu verwendenden Befehle.
Die robots.txt-Datei kann nicht verhindern, dass andere Websites durch einen Link auf eine geschützte Seite deiner Website verweisen. Wenn ein Such-Roboter diesem Link folgt, wird er diese Seite indexieren und in das Verzeichnis aufnehmen. Deshalb solltest du für Seiten, die auf jeden Fall ausgeschlossen werden sollen, mit dem Metatag “noindex” arbeiten. - Es ist möglich, dass nicht alle Search-Bots oder Crawler die Befehle auf dieselbe Weise interpretieren und befolgen. Du kannst jedoch davon ausgehen, dass die Such-Roboter der großen Suchmaschinen sich an die Befehle halten.
- Wenn du mehr darüber wissen möchtest, dann findest du unterhalb dieses Artikels einen Link zu einer Seite auf Google Webmaster Tools. Dort findest du verschiedene Artikel zu diesem Thema.
Wie geht es weiter?
Du hast jetzt bestimmte Informationen bzw. bestimmte Seiten vor den Suchmaschinen verborgen. Der Inhalt dieser Seiten wird zukünftig nicht in den Ergebnisseiten der Suchmaschinen erscheinen.
Falls du dies für Seiten angewendet hast, die bisher auf den Ergebnisseiten der Suchmaschinen angezeigt wurden, dann kann dies einige Zeit beanspruchen. Du kannst nicht erwarten, dass diese Seiten sofort verschwinden. Denn die Such-Roboter befinden sich nicht fortlaufend auf deiner Website. Deshalb können sie auch nicht sofort die Änderungen feststellen und in ihre Verzeichnisse aufnehmen.
Die Such-Roboter kommen statt dessen in bestimmten Zeiträumen zu deiner Website. Sie schauen dann nach, ob es irgendwelche Veränderungen gegeben hat. Wenn sie auf deiner Website solche Veränderungen feststellen, nehmen sie diese in ihren Index auf. Dazu zählen natürlich auch die Befehle, den Inhalt bestimmter Seiten nicht mehr anzuzeigen.
Was du tun kannst, damit die Such-Roboter deine Website häufiger besuchen
Damit Änderungen in der robots.txt-Datei oder durch das Einfügen bzw. Löschen der Metatags schneller umgesetzt werden, müssen die Search-Bots deine Website in kürzeren Abständen besuchen. Damit stellt sich die Frage, wie du die Suchmaschinen dazu motivieren kannst, dass deren Such-Roboter deine Website häufiger besuchen?
Eines ist nicht möglich: Du kannst den Suchmaschinenbetreibern nicht Geld geben, damit deine Website häufiger besucht wird. Dies ist für sie nicht interessant, denn es würde ihr Geschäftsmodell zerstören.
Das Geschäftsmodell der Suchmaschinenbetreiber ist, den Nutzern bei deren Anfragen die bestmöglichen Ergebnisse zu präsentieren, die von diesen als relevant angesehen und angeklickt werden. Je besser die Ergebnisse sind, desto mehr Personen nutzen die Suchmaschine. Auf der Basis dieser Ergebnisse platzieren sie Anzeigen, für die sie bezahlt werden.
Mit Geld bringst du also keinen Search Bot häufiger oder schneller zu deiner Website. Aber es gibt eine andere Möglichkeit.
Die größte Motivation, deine Website in kürzeren Abständen zu besuchen, ist das häufige Veröffentlichen von interessantem Inhalten auf deiner Website. Dies ist auch für die Suchmaschinen interessant. Denn sie wollen auf ihren Ergebnisseiten interessante, aktuelle Informationen anbieten.
Wie kannst du dies machen? Ganz einfach: Indem du regelmäßig und häufig Blogbeiträge auf deiner Website veröffentlichst.
Die Crawler werden dann feststellen, dass du neue Inhalte veröffentlicht hast, der von zahlreichen Personen aus deiner Zielgruppe besucht wird oder die von ihrer Website sogar dorthin verlinken. Daraufhin werden sie ihren Zyklus bis zum nächsten Besuch verkürzen. Wenn sie beim nächsten Besuch wiederum neue, interessante Inhalte antreffen, werden sie den Zyklus weiter verkürzen.
Finde einen Rhythmus für die Veröffentlichung neuer Inhalte
Wenn du häufig und regelmäßig neue Inhalte auf deiner Website anbietest, dann werden die Such-Roboter den dazu passenden Rhythmus finden, um möglichst schnell die neuesten Informationen auf deiner Website aufzunehmen.
Daraus ersiehst du, wie der Nutzen für die Personen aus deiner Zielgruppe und der Nutzen für die Suchmaschinen deckungsgleich ist.
Je mehr interessante Inhalte du häufig und regelmäßig auf deiner Website den Personen deiner Zielgruppe anbietest, desto mehr Personen werden sich darauf einstellen und deine Website in einem bestimmten Rhythmus besuchen. Und dasselbe machen auch die Search Bots. Auch sie stellen sich auf diesen Rhythmus ein, besuchen regelmäßig deine Website und präsentieren die dort gefundenen Inhalte auf ihren Ergebnisseiten.
Damit kennst du jetzt die wesentlichen Vorgehensweisen, wie du die Suchmaschinen von bestimmten Seiten auf deiner Website fernhalten kannst und wie du dafür sorgen kannst, dass die Suchmaschinen schneller mehr interessante Inhalte deiner Website präsentieren werden.
Was sind deine Gedanke dazu? Welche Möglichkeiten kennst du, Suchmaschinen davon abzuhalten, bestimmte Seiten auf deiner Website zu besuchen. Ich freue mich auf deine Kommentare.
Link zu Google Webmaster Tools: https://support.google.com/webmasters/answer/6062608?hl=de
Gebräuchliche Befehle für die robots.txt-Datei:
User-agent: *
Disallow:
Gestattet allen Such-Robotern den freien Zugang zur Website.
User-agent: *
Disallow: /
Verwehrt allen Such-Robotern den freien Zugang zur Website.
User-agent: *
Sitemap: https://www.websitename.de/sitemap.xml
Dieser Befehl teilt den Such-Robotern mit, wo sie die Sitemap-Datei finden können. Auf diese Weise hilfst du ihnen, sich schneller auf deiner Website zurecht zu finden. Damit haben sie mehr Zeit, um die wichtigen Inhalte auf deiner Website zu indexieren.
User-agent: *
Disallow: /Ordner/
Die Such-Roboter werden davon abgehalten, den Inhalt eines bestimmten Ordners zu indexieren.
User-agent: *
Disallow: /wp-admin/
Dies verwehrt den Such-Robotern den Zugang zum Bereich wp-admin. Das ist die übliche Einstellung für WordPress-Websites, um Such-Roboter davon abzuhalten, sich Zugang zum Backend zu verschaffen.
User-agent: *
Disallow: /Ordner/
Disallow: /Ordner/Unterordner/
Alle Dateien im Unterverzeichnis “Ordner” sind von der Indexierung ausgeschlossen, während die Dateien im Unterverzeichnis “Unterordner” indexiert werden dürfen.
User-agent: *
Disallow: /datei.pdf
Dieser Befehl verwehrt den Zugang zu einer bestimmten Datei im PDF-Format.
User-agent: *
Disallow: /datei*
Dieser Befehl verwehrt den Zugang zu allen Dateien, die mit “datei” beginnen.
User-agent: *
Disallow: /.pdf
Dieser Befehl verwehrt den Zugang zu allen Dateien, die mit “.pdf” enden.
User-agent: *
Disallow: /Ordner/
Allow: /Ordner/datei.pdf
Die Such-Roboter werden davon abgehalten, den Inhalt eines bestimmten Ordners zu indexieren, haben allerdings Zugang zu der PDF-Datei innerhalb des Ordners.
User-agent: Googlebot
Disallow: /
Dieser Befehl gilt nur für den Desktop-Suchroboter von Google und verwehrt ihm den Zugang zur gesamten Website.