Veröffentlicht am 12. August 2025 von Kevin Kühn
Was ist eine robots.txt?
Die robots.txt ist eine kleine Textdatei auf Ihrer Website, die Suchmaschinen mitteilt, welche Bereiche durchsucht werden dürfen – und welche nicht. Sie ist sozusagen ein Wegweiser für Google & Co. und hilft, die Indexierung Ihrer Seiten zu steuern.
Warum ist die robots.txt wichtig für KMU?
Gerade für kleine und mittlere Unternehmen zählt jeder Besucher auf der Website. Mit einer gut konfigurierten robots.txt können Sie steuern, welche Inhalte sichtbar sind – und verhindern, dass unwichtige oder interne Seiten in den Suchergebnissen erscheinen.
Beispiele aus der Praxis:
- Verhindern, dass Test- oder Archivseiten indexiert werden.
- Vermeiden, dass doppelte Inhalte (Duplicate Content) auftauchen.
- Schutz sensibler Unternehmensbereiche wie interne Dokumentationen.
Was steht in einer robots.txt?
Eine robots.txt enthält einfache Anweisungen (sogenannte „Disallow“- oder „Allow“-Befehle), die Crawlern den Zugriff erlauben oder verweigern. Sie befindet sich immer im Hauptverzeichnis Ihrer Website, z. B. unter www.ihrewebsite.ch/robots.txt.
Typischer Aufbau:
- User-agent: Gibt an, für welchen Suchmaschinen-Bot die Regel gilt.
- Disallow: Verhindert den Zugriff auf bestimmte Seiten oder Ordner.
- Allow: Erlaubt den Zugriff auf bestimmte Inhalte.
Häufige Missverständnisse
Viele glauben, die robots.txt könne Inhalte komplett vor der Öffentlichkeit schützen. Das ist falsch. Sie ist keine Sicherheitsmassnahme, sondern lediglich eine Empfehlung an Suchmaschinen. Sensible Inhalte sollten Sie immer zusätzlich mit Passwortschutz oder anderen Methoden sichern.
Ein weiteres Missverständnis: Fehler in der robots.txt können fatale Folgen haben. Ein falscher Befehl kann dazu führen, dass Ihre gesamte Website aus dem Google-Index verschwindet.
Wann sollte die robots.txt angepasst werden?
- Nach einem Website-Relaunch, um neue Seiten korrekt freizugeben.
- Bei technischen Änderungen an der Struktur.
- Regelmässig prüfen, um Fehler zu vermeiden und neue Inhalte zu berücksichtigen.
Fazit: Kleines File, grosse Wirkung
Die robots.txt ist ein unscheinbares, aber wichtiges Werkzeug im SEO-Bereich. Sie sorgt dafür, dass Suchmaschinen die richtigen Inhalte finden und indexieren. Für KMU ist sie besonders wertvoll, um die Online-Sichtbarkeit gezielt zu steuern.
Wenn Sie unsicher sind, ob Ihre robots.txt optimal eingerichtet ist, lohnt sich ein Blick von einem Profi. So vermeiden Sie Fehler, die Ihre Sichtbarkeit im Netz gefährden könnten.
