Robots.txt und Google Adsense

[Hamlet]

Gelesen bei Google Adsense:
QUOTE
Um Ihr Umsatzpotenzial bei AdSense maximieren zu können, ist es wichtig, dass der Content Ihrer Website für unseren Content-Crawler zugänglich ist. Durch bestimmte Mechanismen auf Ihrer Website wird der Content, den wir zum Erstellen von Anzeigen durchsuchen können, möglicherweise eingeschränkt:

Falls Sie über eine Datei mit dem Namen robots.txt verfügen, entfernen Sie diese Datei oder fügen Sie am Anfang der Datei die beiden folgenden Zeilen ein:

User-agent: Mediapartners-Google*
Disallow:

Durch diese Änderung kann der Content Ihrer Website von unserem Bot durchsucht werden, sodass wir Ihnen relevante AdWords-Anzeigen liefern können.


Kann mir das mal jemand genauer erklären?
So wie ich die Funktion der robots.txt bisher verstanden habe, würden diese zwei Zeilen das Indexieren durch Google ja verbieten, oder?

 

[Remo Uherek]

Falsch. Mit diesem Code erlaubt man dem AdSense-Crawler eben explizit, dass er die Seite crawlen darf.

Mit diesem Code verbietet man jedem Spider das crawlen:
CODE User-agent: *
Disallow: /

Mit diesem Code erlaubt man jedem Spider jedoch das crawlen:

CODE User-agent: *
Disallow:

Ein gutes Tutorial gibts hier:
http://www.searchengineworld.com/robots/robots_tutorial.htm

Gruss, Remo

 

[Hamlet]

Ach ja, wie dumm von mir:
Disallow: ohne Angabe ist ja eine Erlaubnis

Danke Remo

 

[Brian Folte]

Kann mir jemand sagen wo ich den Code genau einbauen muß?

 

[Remo Uherek]

@Brian:
Einfach ein Textfile mit robots.txt benennen, Code reinschreiben und in den Root laden.