Diskussion: Wie sieht die optimale robots.txt aus?

[Ayom-Team]

Diskussion zum Artikel Wie sieht die optimale robots.txt aus?
in der Kategorie
SEO Allgemein


Links:
www.searchengineworld.com/robots/robots_tutorial.htm

Threads:
Thema: robots.txt-Frage
Thema: Noch eine Frage über Robots.txt


-------------------
Dieser Artikel steht unter der Creative Commons Lizenz.

 

[Stefu]

Link unbrauchbar!

 

[space]

..eine robots.txt ist eine Textdatei die den Suchrobots mitteilt, was nicht indiziert werden soll. Um z.B. doppelten Content zu vermeiden.

Wichtig ist vielleicht zu wissen, das der Googlebot eine Spezialeinladung wünscht

.

z.B. http://www.costarica-online.com/robots.txt

gruss space

 

[Stefu]

Ich weiss schon für was die robots.txt ist =) Der Thread hats automatisch erstellt, wollte eigentlich den Link nur als broken melden. Was solls...