Da ich hier im Forum immer öfter die Fragen Lese "Warum fällt meine Seite aus dem Index?" und "Warum ist mein Pagerank plötzlich niedriger?", hier ist die Erklärung für all diese "plötzlichen" Änderungen:
Jede große Suchmaschine verwendet bekanntlich mehrere Server, diese Server befinden sich in Clustern. Bei Suchmaschinen gibt es grundsätzlich 3 Aufgaben, die diese Cluster übernehmen:
- Datenspeicherung
- Datenerfassung (Crawler)
- Datenabfrage (Web-Frontend)
Die Datenspeicherung ist dabei mehrfach vorhanden und zwar für:
- Datenerfassung (Crawler)
- Datenabfrage (Web-Frontend)
- Backup
Nun damit das Web-Frontend möglichst aktuelle Daten liefert, werden die unterschiedlichen Datenspeicherungen synchronisiert, das heißt "gelegentlich" kommen die Daten die der Crawler in seine Speicherung geschrieben hat in die Datenspeicherung des Web-Frontend.
Das erklärt die kleineren Veränderungen die man ab und an mal feststellt.
Nun kann es vorkommen, dass Wartungsarbeiten an den Datenspeicherungs-Servern gemacht werden müssen. Das heißt zB. ein Server wird abgeschaltet, damit fallen ein paar Daten einfach mal für ein paar Stunden weg (was bei der riesigen Datenmenge kaum auffällt).
Das erklärt das vorrübergehende rausschmeißen aus dem Index.
Nun kann es vorkommen, das am Netzwerk der Datenspeicherung etwas geändert werden muß. Also schaltet man das Netzwerk ab, und sagt dem Frontend bzw. dem Crawler: verwende bitte eine alternative Datenspeicherung. Da kommt dann entweder ein Backup in Frage, oder eine parallel laufende Datenspeicherung eines anderen Crawlers oder eines anderen Frontends.
Das sind die großen Änderungen die man ab und zu mal feststellt. Diese Änderungen werden entweder rückgängig gemacht (im Falle, dass ein Backup verwendet wurde), oder beibehalten werden (wenn die Daten eines Alternativ-System stammt). Wenn es beibehalten wird, wird das Original von anderen Teilen weiterverwendet und kommt später wieder zum Einsatz.
Nun kann es vorkommen, dass Suchmaschinen den Algorithmus des Crawler ändern und damit die Indizierung von Daten. Dieser Fall kommt sehr selten vor, und wird von einigen "Möchtegern-SEO" oftmals also Grund für Änderungen vorgeschoben. In diesem Fall werden bestehende Daten aber meistens erst gelöscht, nachdem der "neue" Crawler die Seite wieder indiziert. Ansonsten müssten die Suchmaschinen bei Programmänderungen ja schließlich das Indizieren von vorne anfangen, was ineffizient ist. Man bräuchte Jahre bis der ursprüngliche Datenbestand wieder erreicht ist.
Die Index-Änderungen durch Crawler Algorithmen-Umstellungen sind schleichend, also ist es sehr unwahrscheinlich, dass ein Benutzer sowas bemerken kann.
Um Performance zu sichern, greift man über ein Web-Frontend oftmals auf mehrere Datenspeicherungen zu. Je nach Auslastung der einzelnen Netzwerke, mal dieses mal jenes (Load Ballancing). Die Datenspeicherungen können sich unterscheiden, da durch das Austauschen der Datenspeicherungen bei Wartungsarbeiten die Differenzen nicht ausgleichbar sind. Die Datenmenge dafür ist einfach zu groß.
Dieses Load-Ballancing bekommt man oft zu Gesicht, wenn man den gleichen Suchbegriff mehrmals abfragt. Es kommt einem dann so vor als wenn die Suchergebnisse sich wahllos verändern würden. Es ist aber nicht wahllos, sondern systembedingt.
So viel dazu... Ich hoffe, das bringt etwas Licht in's Dunkel der Suchmaschinen-Mysterien