Crawler Baidu

[TTlong]

Auf einem neuen Projekt von mir wühlt sich seit 3 Tagen ein asiatischer Crawler durch den Content (http://www.baidu.com/search/spider.htm).

Da er für mich ohnehin irrelevant sein sollte, hab ich kurzerhand die IP gesperrt. Aber der kommt jeden Tag mit neuen IPs daher.

Kennt jemand von euch den Bot genauer und kann mir unter Umständen sagen ob der eher harmlos ist?

MfG TTlong

 

[Heiko R]

Ich kenne ihn nicht, aber anstatt die IP(s) zu sperren:

User-agent: Baiduspider
Disallow: /

--------------------
Preisvergleich

 

[TTlong]

Die robots.txt ist soweit ich mich erinnere doch nur eine hinweisende Datei, aber keine, welche die Bots/Crawler dazu veranlasst, das spidern auch wirklich zu unterlassen? Oder irre ich da?

 

[Martin H]

QUOTE (TTlong @ So 27.09.2009, 16:57) Kennt jemand von euch den Bot genauer und kann mir unter Umständen sagen ob der eher harmlos ist?



Baidu ist für die Chinesen wie in etwa Google für den Rest der Welt. Gefährlich wird er wohl nicht sein...

 

[Thomas Matti]

Martin H hats schon geschrieben. Baidu ist das in China, was Google für Europa ist.

Vielleicht wäre es sogar besser den Bot nicht auszuschliessen.
Wer weiss ob Baidu nicht auch den Europäischen Kontinent mal angehen möchte wenn sie ohnehin
für den Chinesischen Markt schon mit Google kämpfen "müssen"?

 

[Jürgen Auer]

Ordentliche Suchmaschinen halten sich auch an die robots.txt.

Baidu ist bei mir auch regelmäßig drauf. Den würde ich aus prinzipiellen Gründen (da 'wesentliche Suchmaschine&#39 nicht aussperren.


Es gibt im Web viel Müll. Aber große Suchmaschinen können immer liefern, bsp. auch für deutsche Nutzer, die in einem der Länder beruflich aktiv sind, aus denen diese Suchmaschinen stammen.

 

[Ronald]

Die Chinesen haben es schon sehr schwer mit dem Internet, wieso die dann extra ausschließen.
Der extra Traffic ist schon damit gerechtfertigt solange auch nur ein Besucher, von dieser Suchmaschine kommt.

Information für alle, auch wenn es dann auch nur eine Person ist!


Gruss, Ronald

 

[beaver]

Auch ich wuerde Dir nicht empfehlen eine Suchmaschine auszusperren. Baidu ist in China Nr. 1 laut Alexa.