robots.txt anzeigen und erklären

Aktualisiert am

Die robots.txt sagt Suchmaschinen, welche Bereiche deiner Website sie besuchen dürfen. Du siehst sie, wenn du /robots.txt an die Adresse deiner Website hängst, und liest ein paar Zeilen mit Begriffen wie „User-agent“ und „Disallow“. Ob eine Regel etwas Wichtiges aussperrt, erkennst du daran nicht. Dazu kommt: WordPress erzeugt die Datei oft selbst, im Dateimanager des Webhostings findest du dann nichts.

Eine falsche Zeile, etwa nach einem Relaunch, kann dazu führen, dass Suchmaschinen deine Seiten übersehen. Die KI liest die Datei, erklärt jede Regel in einfachem Deutsch und sagt dir, ob etwas nicht stimmt. Es geht einfacher.

Das brauchst du

  • Eine Website mit WordPress 6.9 oder neuer
  • Ein Konto bei ChatGPT, Claude oder Mistral (bei einigen reichen zurzeit kostenlose Tarife)
  • Ein WordPress-MCP-Plugin, das deine Website mit der KI verbindet.
  • Funktioniert mit: Rank Math SEO, SureRank oder ThinkRank

Der Prompt für ChatGPT, Claude und Co.

Hier gibt es nichts zu ersetzen, der Prompt funktioniert so, wie er ist:

Lies die robots.txt meiner Website und zeige mir ihren Inhalt. Erkläre in einfachem Deutsch, was User-agent, Disallow, Allow und ein vorhandener Sitemap-Verweis bedeuten und was die Regeln bei mir bewirken. Wenn etwas nicht geht, nenne mir das Hindernis und schlage mir einen anderen Weg vor, auch wie ich die robots.txt im Browser oder im WordPress-Admin selbst finde.

Wird an der robots.txt etwas geändert?

Nein. Die KI liest die Datei nur und ändert nichts.

Das musst du beachten

Was in der robots.txt stehen soll, änderst du in deinem SEO-Plugin. Die KI liest die Datei und erklärt sie, gesperrte Bereiche schaltet sie nicht frei.

Prüfen, ob die robots.txt Wichtiges aussperrt

Nach einem Relaunch oder einem Plugin-Wechsel steht manchmal eine Regel in der robots.txt, die Suchmaschinen von Bereichen fernhält, die gefunden werden sollen. Das fällt erst auf, wenn Besucher ausbleiben. Die KI kann jede Regel gegen deine Inhalte prüfen und auch, ob die Sitemap-Adresse angegeben ist. Ob die Website überhaupt eine Sitemap hat, zeigt Sehen, ob die Website eine Sitemap hat. Hier gibt es nichts zu ersetzen:

Lies die robots.txt meiner Website. Nenne jede Regel, die etwas sperrt, und sage, welche Bereiche betroffen sind. Sage mir, ob dabei Beiträge, Seiten, Kategorien oder Bilder gesperrt sind, die in den Suchergebnissen erscheinen sollen. Prüfe auch, ob eine Sitemap-Adresse angegeben ist, und schlage mir nur vor, was sich ändern ließe. Wenn etwas nicht geht, nenne mir das Hindernis und schlage mir einen anderen Weg vor, auch wie ich es im WordPress-Admin selbst prüfe.

Du bekommst eine Liste der Sperren mit einer Einschätzung. Dass der Admin-Bereich gesperrt ist, ist üblich und richtig. Auffällig wird es, wenn Beiträge oder die ganze Website gesperrt sind. Geändert wird die Datei in deinem SEO-Plugin, nicht in der KI.

Prüfen, ob KI-Suchen die Website lesen dürfen

ChatGPT, Claude und Perplexity schicken eigene Crawler los, die Inhalte für ihre Antworten lesen, etwa GPTBot, ClaudeBot und PerplexityBot. Ob die robots.txt sie aussperrt, steht dort unter Namen, die du nicht kennst. Die KI übersetzt das. Hier gibt es nichts zu ersetzen:

Lies die robots.txt meiner Website und sage mir, ob die Crawler GPTBot, ClaudeBot, PerplexityBot und Google-Extended gesperrt oder erlaubt sind. Erkläre in einfachem Deutsch, was das für meine Website bedeutet, und schlage mir nur vor, was sich ändern ließe. Wenn etwas nicht geht, nenne mir das Hindernis und schlage mir einen anderen Weg vor, auch wie ich die robots.txt im WordPress-Admin selbst prüfe.

Du erfährst, welche KI-Crawler hereindürfen. Ob du sie zulässt, entscheidest du selbst und stellst es in deinem SEO-Plugin ein.

Website-Scanner · kostenlos

Teste: Was kann KI auf deiner Website für dich erledigen?

URL eingeben, und der Scanner zeigt dir, was ChatGPT, Claude oder Mistral auf deiner Website heute schon lösen kann. Ergebnis sofort. Keine Anmeldung.

Auch mit KI möglich