Wie häufig spidert Google?

L

Linkspion

Guest
Hallo Forum,

was sind Eure Erfahrungen, wie häufig Websites von Google gespidered werden und wovon ist das eigentlich abhängig? Hintergrund der Frage ist, dass in meinem Webkatalog LinkSPION.deneu hinzugefügte Unterseiten teilweise relativ lange (3-4 Wochen) brauchen, bis sie von Google indiziert werden. Was könnte der Grund dafür sein?

Danke für konstruktive Infos!
 
Der Googlebot ist nonstop auf meiner Seite eigentlich, im Laufe der Woche hatte ich mal ein Update der Site und die Sachen sind teilweise auch schon im Index...
 
Bei uns ist der Google-Bot eigentlich auch rund um die Uhr anwesend. Änderungen sind im Normalfall spätestens nach 24 Stunden im Index.

Gruss
 
Hiho!

Bei meinen Seiten sieht es so aus, daß auf den Seiten, auf denen sich alle 1-2 Tage etwas ändert, der Google-Bot 2-3 mal am Tag vorbeischaut.

Da sich bei Deinem Linkkatalog täglich was ändert (?) sollte der Bot da auch mehrmals täglich vorbeikommen. Das kannst Du aber auch in Deinen Logs sehen. Wenn nicht, dann solltest Du dafür sorgen, daß Du sowas in Deinen Logs sehen kannst...
wink.gif


Grundsätzlich ist nach meiner Erfahrung aber "im Google-Index" ein sehr schwammiger Begriff. Im internen Index sind die Seiten oftmals seeehr schnell. In den öffentlichen Index, den man mit Anfragen wie site: sehen kann, kommen ganz viele Seiten niemals. Und dann ist irgendwo dazwischen noch der... hmm.. ich nenne es mal Linkindex. Den sieht man zwar nicht, aber er ist Grundlage für das Keyword-Ranking.

jm2ct
Ansgar.
 
Bei mir ist Google immer da. Ich habe auch: REVISIT 1 DAY. Und bei 14k Seiten ist halt viel zu tun.
 
QUOTE (edi @ Fr 21.09.2007, 14:52) Bei mir ist Google immer da. Ich habe auch: REVISIT 1 DAY. Und bei 14k Seiten ist halt viel zu tun.

meinst du mit "REVIST 1 DAY" den meta-tag? ich glaube kaum, dass der da noch einen einfluss drauf hat.
 
Moin,

wer den <meta name="revisit-after" content="3" /> benutzt kann genauso gut auch <meta name="pagerank" content="7" /> benutzen. Kann man also getrost vergessen....Raus mit so einem Meta...nützt gar nichts!

Die Bots kommen wenn sie Lust dazu haben. Bzw wenn du eben gerade dran bist. Bei guten und großen Seiten ist normal immer ein Bot auf deiner Seite. Wird ja nie alles auf einmal "gefressen".

Gruß, Dan
 
Laut Google Sitemap werden bei mir 62 Seiten von ca. 370 täglich durchsucht. Aber mal dauert es ca 1 Woche bis eine neue Seite im Index ist manchmal aber auch nur 1 Tag. Ich habe festgestellt das der Metatag "Date" sehr wichtig ist. Ich schätze nach diesen Datum kann google einschätzen wie oft sich die Seite ändert. Und am besten: Ihr legt eine XML-Sitemap an mit Datumsangabe und tragt sie in Google-Sitemap ein.

Noch ein Tip: Ändert das datum nur dann wenn sich an der Seite auch was geändert hat, denn wenn Google merkt das sich jeden Tag das datum ändert aber der Content nicht geändert wurde dann kommt Google wieder seltener
 
QUOTE (admin @ Fr 21.09.2007, 21:27) gurgel ist immer da!

Ja Google muss erst abschätzen wie oft sich eine Seite ändert das kann mehrere Wochen dauern und um so öfters sie sich ändert umso öfters kommt Google.

Bei mir gibt es Seiten, teilweise relativ neue, da ist Google seit 1 Monat nicht mehr gewesen, obwohl sich die Seiten 2 mal die Woche komplett ändern (Edelmetall - Newssystem), ich bin gespannt wie lange Google brauch um das zu schnallen.
 
Das kommt sicherlich auch auf den Charakter der Seite an. Ich betreibe zum Beispiel ein Newsportal, die dortigen News tauchen teilweise innerhalb einer Stunde in den Suchergebnissen auf ( "vor 17 Minuten gefunden" steht dann meist darunter).
 
QUOTE (TorstenS @ Sa 22.09.2007, 11:09) Das kommt sicherlich auch auf den Charakter der Seite an. Ich betreibe zum Beispiel ein Newsportal, die dortigen News tauchen teilweise innerhalb einer Stunde in den Suchergebnissen auf ( "vor 17 Minuten gefunden" steht dann meist darunter).

So einen fall habe ich vor 2 Tagen gehabt da stand auch "vor 23 Stunden gefunden", das war das erste mal das ich sowas gesehen hatte und das dann noch bei meiner Seite.

Aber Google kann sich seit ca 3 Woche bei einer php Seite (Selbstentwickeltes Skript) die 216 (leicht) Unterschiedliche Seiten generiert einfach nicht entscheiden welche aufgenommen werden Sollen, zuerst waren es 12 Seiten, dann 40, 60,50 dann 143 dann wieder nur 50 und gestern 164 jetzt aktuell wieder nur 50.
Ich bin gespannt was das noch werden soll. es geht um diese Seite(n) http://www.goldsammler.eu/goldpreis-statis...d-statistik.php
 
Moin,

google ist ganz sicher in der Lage zu differenzieren was wirklich wichtige Seiten wie z.B. Nachrichten ist und was eben eher unwichtig ist...Artikelverzeichnisse etc...

Eigentlich ne ganz nette Sache. Aber ich hab keine 10 Leute die einen auf Nachrichtenportal machen können...schade eigentlich ;-)
 
Bei Pligg (siehe Footer) spidert Google jeden Tag mindestens 1000 Seiten. Meist ist neuer Inhalt bereits nach wenigen Stunden im Index.
 
meine erfahrungen sind sehr unterschiedlich. mal dauerts wirklich fast nur minuten bis der googlebot da war und ich im index lande und manchmal dauerts ein paar wochen.
ich habe keine ahnung warum das so ist, möglicherweise wie oben erwähnt ne "websitethemending".
yahoo und co sind viiiiel langsamer
 
QUOTE (Eric-Oliver Mächler @ Di 23.10.2007, 09:05) meine erfahrungen sind sehr unterschiedlich. mal dauerts wirklich fast nur minuten bis der googlebot da war und ich im index lande und manchmal dauerts ein paar wochen.
ich habe keine ahnung warum das so ist, möglicherweise wie oben erwähnt ne "websitethemending".
yahoo und co sind viiiiel langsamer

Ich vermute es geht nach HTML-Datum wie oft es sich ändert, was sich Ändert (Viel oder Wenig), wie das Ranking der anderen Seiten der Page aussieht, wieviele Besucher kommen und vor allen dem Kewordranking, also Keyword die allgemein oft eingegeben werden und wenn die eigene Seite darunter fällt kommt Google eben öfters als bei anderen. Meine Crawler Statistik ist in den letzten 1-2 Monaten auch von 63 auf 71 Seiten am Tag gestiegen, obwohl sich meiner Meinung nach bei ca 500 Seiten keine 10 am Tag ändern.
 
Seitdem ich die Sitemap dort angemeldet habe, ist er dauerhaft präsent....

Es kommen jeden Tag ca. 200-500 neue Seiten dazu....daher mag er uns.
wink.gif


Daher geb ich Shopping recht, denn wir betreiben was ähnliches.
biggrin.gif
 
Bei mir war das früher auch der Fall.. Was ich aber bemerkt habe - der Bot ist immer da, aber die alten Seiten stehen im Index immer noch mit den alten Inhalten. Insbesondere die mit den dynamischen URL's. Wenn ich z.B. was im title abgeändert habe, steht die Seite in den Suchergebnissen mit dem alten da. Komisch, das konnte ich bei meinen mehreren Projekten sehen, ist mir früher nie passiert.
 
Mir ist auch aufgefallen, dass "fast" jeder Datacenter unterschiedliche Anzahl von Seiten im Index hat.

Was die da gerade machen ist mir schleierhaft, aber scheinbar ändern die in letzter Zeit irgendwas, aber solange noch User zu mir finden, ist das kein Problem.
laugh.gif
 
Sie müssen sich einloggen oder registrieren, um hier antworten zu können.
Zurück
Oben