Robots.txt Disallow via Regex?

K

Kira123

Guest
Hi,
gibt es die Möglichkeit, in der Robots.txt alle Seiten zu disallowen, welche bestimmte Schlagwörter in der URL haben?
Beispielsweise 'comments' oder 'more' - All diese Seiten sollen mit dem Attribut versehen, lässt sich so etwas realisieren?

Danke,
Kira
 
Für Google: ja

Für andere SuMas: eingeschränkt bis gar nicht.

In der Google Hilfe für Webmaster nach Robots.txt Manuell Erstellen suchen, dort findest Du mehr zu Wildcards etc. für die Robots.txt
 
Zurück
Oben