QUOTE (jAuer @ So 29.07.2007, 22:35)
QUOTE (cusco_ii @ So 29.07.2007, 21:14)und plötzlich taucht die robots.txt zum ersten mal auf, mit über 1400 Zugriffen (01.07. bis zum 26.07) , vorher war die dort nicht gelistet, nach meinen Kenntnisstand.
Na ja, wenn Du deinen Alexa-Rank durch die Verwendung der Alexa-Toolbar pushst, dann kommt der Alexa-Crawler - und holt sich auch die robots.txt fleißig ab.
google geht i.d.R höchstens einmal am Tag drauf, Yahoo holt sich die robots ziemlich häufig.
Jetzt mache ich mir fast sorgen, laut Statistik vom Vormonat hat die robots nicht mal 460 Zugriffe erreicht uns jetzt sind es über 1500 (27.07). Könnte das wirklich Alexa sein? Ich glaube eher nicht eigentlich reicht es doch wenn die Robots maximal 1 mal am Tag abgeholt wird. Sorgen mache ich mir aber um den Traffic. Aktuell werden es in diesen Monat wohl 15 GB sein, im gesamten Vormonat waren es nur 10 GB (75 GB erlaubt der Tarif). Nächsten Monat werden es wohl 30 GB werden wegen Bannerview-Werbung (Habe die letzten Tage fast 1 GB Traffic am Tag gehabt). Ich rechne jetzt mal ... HTML-Dateien haben 18 MB Umfang (354 Seiten+), 40MB die gesamte Page (2000 Dateien), bei 50 GB Traffic können Suchmaschinen 2800 mal alle HTML-Dateien und 1280 mal die gesamte Homepage abfragen das mach 94/42 mal am Tag. Ich glaub ich kann mich beruhigen oder? Denn keine Maschine durchsucht die Gesamte Webseite jeden Tag und ich bin nur in ca. maximal 100 - 150 Eingetragen.
In diesen Monat sind die Besucherzahlen übrigens um 16% und die Seitenzugriffe um 35% gestiegen, laut Analytics, Besucher von Google +20%