Suchergebnisse

  1. O

    robots.txt bei Crawl-Starts

    ggf. gehört dieses Thema auch in den Suchmaschinen-Bereich, aber über die Frage entscheiden eher webmaster, daher hab ich dieses Suchmaschinen-relevante Thema hier eingestellt. (bitte ggf. verschieben) Ich betreibe einen Crawler (ein yacy-peer) und habe das Problem das ein Crawl-Startpunkt vom...
Zurück
Oben