G
Guest
Guest
Hallo,
in der robts.txt kann mit allow angeben welche Bereiche der Webwanderer durchforsten darf, mit disallow welche nicht.
Wenn ich jetzt zum Beispiel
CODE User-agent: *
Allow: /c_crawler/crawler.html
Allow: /c_crawler/crawler_forum/root.html
in die robots.txt-datei schreibe indexiert der Webwanderer dann nur diese beiden Dateien oder werden diese dann "bevorzugt" durchforstet?
Die beiden oben angebenen Datein sind Sitemaps von Chip Online (
http://www.chip.de/c_crawler/crawler.html )
Gruß
Hexemer
in der robts.txt kann mit allow angeben welche Bereiche der Webwanderer durchforsten darf, mit disallow welche nicht.
Wenn ich jetzt zum Beispiel
CODE User-agent: *
Allow: /c_crawler/crawler.html
Allow: /c_crawler/crawler_forum/root.html
in die robots.txt-datei schreibe indexiert der Webwanderer dann nur diese beiden Dateien oder werden diese dann "bevorzugt" durchforstet?
Die beiden oben angebenen Datein sind Sitemaps von Chip Online (
http://www.chip.de/c_crawler/crawler.html )
Gruß
Hexemer