Es gibt zwei Hauptgründe, warum die Seiten deiner Website auf den Ergebnisseiten der Suchmaschinen nicht besonders weit vorne zu finden sind:
- Es liegt am Inhalt deiner Seiten und deiner Blogbeiträge sowie an der Verwendung der richtigen Schlüsselwörter.
- Die Crawler bzw. Bots der Suchmaschinen haben entweder keinen Zugang zum Inhalt deiner Website oder du machst ihnen das Leben schwer.
In diesem Artikel geht es um den zweiten Punkt und die folgende Frage:
Haben die Such-Bots der Suchmaschinen freien Zugang zu den Inhalten deiner Website, um deren Inhalte zu indexieren?
Wie Suchmaschinen arbeiten
Um zu verstehen, wie wichtig dieser Punkt ist, schauen wir uns kurz das Geschäftsmodell und die Arbeitsweise der Suchmaschinen an.
Die Betreiber der Suchmaschinen verdienen ihr Geld zwar durch Anzeigen. Die Grundlage für ihr Geschäft bildet jedoch die Qualität der Suchergebnisse, welche sie bei einer Suchanfrage anzeigen. Denn nur wenn die Nutzer der Suchmaschinen mit den angebotenen Ergebnissen zufrieden sind, werden sie auch weiterhin die Suchmaschine nutzen. Und dies ist die Voraussetzung, um ihnen auch die Anzeigen zu präsentieren.
Damit die Suchmaschinen die bestmöglichen Ergebnisse ausweisen können, benötigen sie detaillierte Informationen über die verfügbaren Websites. Hierzu bedienen sie sich Search-Bots (Such-Roboter).
Was sind Search-Bots
Dies sind Programme, welche unaufhörlich durch das Web “kriechen”, dabei so viele Websites wie möglich besuchen, die dort gefundenen Informationen aufnehmen, indexieren und für zukünftige Suchanfragen abspeichern.
Damit die Search-Bots möglichst viele Websites besuchen können, begrenzen sie die Zeit, welche sie für eine Website aufwenden, bevor sie weitergehen. Reicht diese Zeit nicht aus, ssetzen sie bei ihrem nächsten Besuch die Analyse der Website fort.
Die Search-Bots werden auch Crawler genannt, weil sie wie ein Käfer durch die Website krabbeln. Ausgehend von der Home- oder Start-Seite orientieren sie sich an den Links, welche die verschiedenen Seiten miteinander verbinden. Dies bedeutet, dass eine Seite, welche durch keine Links mit den anderen Seiten verbunden ist, von den Search-Bots nicht besucht und indexiert werden können
Wenn du möchtest, dass deine Website bei Suchanfragen in den Ergebnissen aufgelistet wird, musst du also dafür sorgen, dass die Search-Bots guten Zugang zu deiner Website und den Inhalten der Seiten haben.
11 Bereiche für eine Optimierung deiner Website
Im Folgenden findest du elf Punkten, welche Auswirkungen auf die Arbeit der Such-Roboter haben. Je nachdem, wie ausgeprägt deine Kenntnisse zu deiner Website sind, kannst du mehr oder weniger viele dieser Punkte selbst umsetzen oder musst einen Spezialisten um Hilfe bitten.
Als Erstes solltest du deine robots-txt-Datei und die Metatags deiner Website prüfen. Denn wenn den Such-Bots der Zugang zur gesamten Website verwehrt wird, dann ist deine Website für die Suchmaschinen unsichtbar. Ihre Inhalte können dann bei Suchanfragen überhaupt nicht ausgewiesen werden.
1. Die robots.txt-Datei verbietet den Zugang zur Website
In der robots-txt-Datei können die Such-Bots durch entsprechende Befehle auch von bestimmten Bereichen und Seiten einer Website ausgeschlossen werden. Dies kann durchaus Sinn machen und den Erfolg einer Website sogar steigern, wenn die Befehle richtig eingesetzt werden.
Wenn deine Website z.B. eine “Danke-Seite” hat, die ein Besucher nur dann besuchen soll, wenn er dir davor seine Kontaktdaten gegeben hat, dann möchtest du sicherlich nicht, dass diese Seite auf den Ergebnisseiten der Suchmaschinen auftaucht. Dies kannst du mit Metatags und mit den Befehlen in der robots.txt-datei steuern.
Die robots-txt-Datei steht für die Search-Bots ganz am Anfang eines Website-Besuchs. Denn sie wollen wissen, ob sie diese Website besuchen dürfen oder von bestimmten Seiten ausgeschlossen sind.
Du findest die robots.txt-Datei im Root-Verzeichnis deiner Website. Mit Hilfe eines FTP-Programms oder auch eines Plugins, wie z.B. Yoast SEO, kannst du dir den Inhalt dieser Datei ansehen und ihn auch verändern.
Wenn du in deiner robots.txt-Datei die folgenden Zeilen findest, dann können die Search-Bots keine Seite deiner Website besuchen und indexieren:
User-agent: *
Disallow: /
Mit Hilfe der robots.txt-Datei kann den Such-Robotern auch das Indexieren bestimmter Seiten untersagt werden.
User-agent: *
Disallow: /mitglieder/
Dieser Befehl verwehrt den Search-Bots den Zugang zu allen Seiten, welche sich im Bereich “Mitglieder” befinden.
Mit Hlfe der robots.txt-Datei können sehr spezifische Anweidungen an die Such-Roboter gegeben werden, welche Bereiche, Kategorien und Dateien sie indexieren und in ihr Suchverzeichnis aufnehmen dürfen und welche davon ausgenommen werden sollen.
2. Eine Seite kann wegen Metatags nicht indexiert werden
Mit Hilfe von Meta-Tags (Meta-Schlagwörtern) können ebenfalls die Such-Bots davon abgehalten werden, eine Seite zu besuchen und deren Inhalt in ihren Index aufzunehmen.
Befindet sich der Befehl <meta name="robots" content="noindex" /> im Header-Bereich des Website, wird den Search-Bots der Zugang zu dieser Seite verwehrt. Wenn ein Seach-Bot auf so einen Befehl trifft, dann geht er direkt zur nächsten Seite weiter.
3. Einem Link kann wegen Metatags nicht gefolgt werden
Der “nofollow”-Befehl versperrt dem Search-Bot nicht den Zugang zu einer Seite, sondern kommt im Zusammenhang mit Links vor. Wenn ein Search-Bot auf einen “nofollow”-Befehl trifft, dann weiß er, dass er diesem Link nicht folgen darf.
Bei “nofollow”-Befehlen unterscheidet man zwischen zwei Arten:
- “nofollow”-Befehle, welche für eine ganze Seite gelten. Sie lauten
<meta name="robots" content="nofollow">. In diesem Fall kann der Search-Bot keinem Link auf dieser Seite folgen. - “nofollow”-Befehle, welche nur für einen bestimmten Link gelten. Dieser Befehl befindet sich innerhalb des Link-Codes. Er lautet
<href="seitenname.html" rel="nofollow"/>.
4. Broken Links bzw. kaputte Links
Kaputte Links, zerbrochene Links oder tote Links sind Links, welche zu einer Seite oder einem Bereich führen, der gar nicht (mehr) existiert. Diese Broken Links sind ein großes Ärgernis für die Besucher deiner Website und für die Search-Bots der Suchmaschinen. Denn sie vergeuden unnütz Zeit, ohne ein Ergebnis für ihre Datenbanken zu generieren.
Aus diesem Grund solltest du mit Hilfe der Google Search Console oder des Programms SEMrush regelmäßig prüfen, ob es auf deiner Website Broken Links gibt, und diese dann zeitnah reparieren.
Fehlerhafte URL
Eine Sonderform der Broken Links sind fehlerhafte URLs. Sie entstehen gleich beim Anlegen des Links durch einen Schreibfehler oder einen vergessenen Buchstaben.
Am Sichersten vermeidest du fehlerhafte URLs, indem du direkt nach dem Anlegen des Links seine Funktionsfähigkeit prüfst.
Veraltete URLs
Auch dies ist eine Sonderform der Broken Links. Sie entstehen häufig beim Redesign einer Website. Prüfe deshalb nach einer Veränderung der Seitenstruktur, wo die verschiedenen Links hinführen. Gegebenenfalls richtest du 301-Umleitungen ein, um die bisherigen Links an die richtige Adresse umzuleiten.
5. Mitgliederseiten
Bei Mitgliederseiten geht es genau um das Gegenteil. In diesem Fall sollen die Search-Bots vom Besuch bestimmter Seiten abgehalten werden.
Der Zutritt zu Mitgliederseiten steht per Definition nur registrierten Personen offen. Sie benötigen dafür einen Benutzernamen und ein Passwort. Ein Search-Bot besitzt dies nicht. Aus diesem Grund erzeugen diese Seiten 404-Fehler. 404 ist ein bestimmter Statuscode, der vom Server ausgegeben wird, wenn eine Seite nicht existiert oder nicht aufgesucht werden kann.
Die Links zu diesen Seiten solltest du mit einem “nofollow”-Befehl versehen, um den Search-Bots zu signalisieren, dass sie diesen Links nicht folgen sollen.
6. Keine Sitemap oder falsche Seitenangaben in der Sitemap
Eine Sitemap hilft dem Search-Bot, sich besser in deiner Website zurechtzufinden. Er weiß, welche Seiten relevant sind und wie die einzelnen Seiten zusammenhängen.
Für die Search-Bots ist Zeit eine sehr wichtige Resource. Dies bedeutet auch, dass sie eine umfangreiche Website mehrmals besuchen müssen, bis sie die Inhalte aller Seiten indexiert haben. Aus diesen Grund ist es wichtig, dass du dem Search-Bot in deiner Sitemap mitteilst, was die wichtigen Seiten sind und wie er am Schnellsten dorthin kommt.
Deshalb solltest du auf jeden Fall eine XML-Sitemap deiner Website erstellen und diese z.B. zur Google Search Console und den Bing Webmaster Services hochladen. Damit hilfst du den Betreibern der Suchmaschinen, deine Website schneller und vollständiger zu indexieren.
Prüfe in regelmäßigen Abständen deine Sitemap, ob alle Einträge wichtig, auf dem neuesten Stand und korrekt geschrieben ist.
7. Keine internen Links
Interne Links dienen dazu, verschiedene Inhalte deiner Website miteinander zu verbinden. Mit Hilfe internenr Links schaffst du Verbindungen zwischen verschiedenen Blogbeiträgen und Seiten, die zu demselben Themengebiet gehören.
Die internen Links machen es jedoch nicht nur den Besuchern deiner Website einfacher, interessante Inhalte zu finden, sondern sie helfen auch den Search-Bots bei der Suche und Indexierung von zusammengehörigen Inhalten.
Aus diesem Grund solltest du interne Links zwischen gleichartigen und ähnlichen Inhalten einfügen.
Wenn deine Website über eine optimierte Struktur der internen Links verfügt, dann können die Search-Bots auf einfache Weise jede Seite deiner Website erreichen.
8. Fehlerhafte und problematische interne Links
Mit einem Werkzeug zur Web-Analyse, wie z.B. SEMrush, kannst du die Struktur der internen Links deiner Website analysieren. Allerdings ist es nicht trivial, dieses Problem zu lösen.
Dies sind die häufigsten Gründe, die zu Problemen mit der internen Linkstruktur führen:
- Der Search-Bot muss zu viele Seiten durchwandern, bis er zu der Seite gelangt, die indexiert und bewertet werden soll. Je kürzer der Weg ist, desto besser. Versuche die notwendigen Schritte auf 3, maximal 4 zu begrenzen.
- Eine Seite, die indexiert und bewertet werden soll, ist mit keiner anderen Seite durch einen internen Link verbunden. So eine Seite kann von einem Search-Bot nicht erreicht werden.
- Eine Seite hat zu viele aktive Links. Allerdings muss es sich hierbei schon um eine sehr große Zahl von z.B. 2.000 Links handeln, um einen Search-Bot zu überfordern.
9. Seiten mit identischem Inhalt
Doppelter Inhalt ist sicherlich das häufigste SEO-Problem. Nach einer Studie von SEMrush aus dem Jahr 2016 kommt dieses Problem auf mehr als 50% der Websites vor.
Doppelter Inhalt auf einer Website ist aus drei Gründen problematisch:
- Die Search-Bots limitieren die Zeit, welche sie pro Suchvorgang in eine Website investieren. Wenn sich auf einer Website doppelter Inhalt befindet, dann verbrauchen sie für die Analyse dieses Inhalts unnötig Zeit, die sie in die Analyse anderer Inhalte investieren könnten. Deine Website ist dann mit weniger Inhalt in der Suchmaschine verzeichnet.
- Der Search-Bot kann nicht einschätzen, welcher der mehrfach vorhandenen Inhalte der Wichtigere ist. Somit ist es mehr oder weniger Zufall, welcher Inhalt im Suchergebnis angeboten wird. Dadurch verteilen sich die Klicks der Suchenden auf mehrere Seitenadressen. Dies führt dazu, dass die Seiten von der Suchmaschine als nicht so wertvoll angesehen wird, wie das möglich wäre, wenn es diesen Inhalt nur einmal geben würde.
- Seiten, die einen identischen Inhalt haben, werden auf den Ergebnisseiten weiter hinten angezeigt. Dadurch ist die Wahrscheinlichkeit geringer, dass sie vom Suchenden überhaupt ausgewählt werden.
Dies sind deine Handlungsmöglichkeiten im Falle identischer Inhalte:
- Lösche die Seiten mit dem mehrfachen Inhalt.
- Füge die erforderlichen Befehle in die robots-txt-Datei oder in die Meta-Tags ein, damit nur die wichtigste Seite von den Suchmaschinen indexiert werden kann.
- Erzeuge 301-Umleitungen.
Wenn es wirklich erforderlich ist, Seiten mit identischem Inhalt in einer Website zu verwenden, dann kannst du zu der wichtigeren Seite einen kanonischen Eintrag (rel:canonical) hinzufügen.
Beispiel: <link rel="canonical" href="https://website.de/unterseite.html">
Auf diese Weise weiß die Suchmaschine, dass es sich hierbei um die Seite handelt, welche bei Suchanfragen ausgegeben werden soll.
10. Lange Ladezeiten
Lange Ladezeiten sind nicht nur für die Besucher deiner Website ein Graus, sondern auch für die Search-Bots. Denn sie erhöhen die Zeit, die er für das Durchforsten einer Seite benötigt. Da seine Zeit für eine Website begrenzt ist, kann er bei langen Ladezeiten weniger Seiten durchsuchen und somit weniger Informationen aufnehmen.
Außerdem wirkt sich die Ladegeschwindigkeit auf das Ranking einer Seite aus. Schnelle Seiten werden besser bewertet und werden auf den Ergebnisseiten weiter vorne angezeigt.
Mit Hilfe verschiedener Programme kannst du die Ladegeschwindigkeit der Seiten deiner Websites messen. Viele dieser Programme unterbreiten dir auch gleich Optimierungsmöglichkeiten. Eines der Programme ist Google Pagespeed Insights (https://developers.google.com/speed/pagespeed/insights/?hl=de).
Hier sind einige wichtige Gründe für eine langsame Website:
- Die verwendeten Bilder sind von der Datengröße nicht optimiert.
- Es wird kein Browser-Caching verwendet.
- Deine Website enthält viel JavaScript.
- Die Bandbreite, welche dir von deinem Hosting Provider zur Verfügung gestellt wird, ist zu gering.
- Der Code deiner Website, insbesondere des Themes ist zu umfangreich.
- Die Website verwendet einen umfangreichen CSS-Code.
- Auf der Website verwendete Resourcen werden nicht komprimiert.
Einige der aufgeführten Punkte kannst du mit Hilfe von Online-Werkzeugen und Plugins
11. Veraltete Technologien: HTML-Frames und Flash
HTML-Frames sind veraltet. Du solltest sie baldmöglichst ersetzen.
Auch die Verwendung von Flash auf Websites ist eigentlich tot. Steve Jobs war vor vielen Jahren der Erste, der öffentlich auf die Sicherheitsrisiken von Flash hingewiesen und deshalb einen Ausstieg gefordert hat. Seither haben immer mehr Firmen ihre Unterstützung von Flash beendet. Mittlerweile hat auch Adobe bekannt gegeben, dass sie in Zukunft die Unterstützung für Flash beenden werden. Die Alternative zu Flash ist HTML 5.
Aus folgenden Gründen solltest du möglichst keine Flash-Dateien mehr auf deiner Website verwenden:
- Flash kann relativ leicht gehackt und mit Schadsoftware versehen werden.
- Flash funktioniert auf zahlreichen Mobilgeräten nicht mehr.
- Search-Bots können Inhalte und Links in Flash-Elementen nicht indexieren.
Schlussbemerkung
Damit die Seiten deiner Website auf den Ergbnisseiten der Suchmaschinen möglichst weit vorne angezeigt werden solltest du also nicht nur interessante Inhalte für deine Seiten und Blogbeiträge schreiben. Du solltest auch darauf achten, dass die Search Bots der Suchmaschinen ungehinderten Zugang zu den Seiten deiner Website haben sollten, die wichtig für dich bzw. deine Zielgruppe sind.
Denn auch der beste Inhalt ist wenig wert, wenn er nicht von den Suchmaschinen aufgenommen und bei Suchanfragen angeboten werden kann.
Die Punte in diesem Artikel können dir helfen, die wesentlichen Problemfelder zu analysieren und bei Bedarf deine Website zu optimieren.
Es ist eine gute Idee, wenn du hierfür die passenden Programme, Werkzeuge und Plugins verwendest. Sie können dir eine Menge Arbeit abnehmen. Einige davon hast du in diesem Artikel kennen gelernt.
Was ist deine Meinung zu diesem Thema? Was sind aus deiner Erfahrung die wesentlichen Problembereiche einer Website? Und welche Hilfsmittel, Werkzeuge und Programme verwendest du für die Arbeit mit deiner Website?