Anwendungsfälle für einen Web Crawler

[ravel]

Hi,

ich habe mich in den letzten Monaten aus reinem Interesse viel mit Web Crawlern beschäftigt. Ich würde gerne ein Projekt basierend auf Web Crawlern starten.
Mir fehlt aktuell nur die richtige Nische zu dem Thema.

Vielleicht habt ihr ja ein paar Anwendungsfälle für Web Crawler. Was könnt ihr gut gebrauchen? Was gibt es noch nicht, bzw. ist schlecht gelöst oder zu teuer?

Einige Anwendungsfälle wären z.B.
- Screen Scraping: Daten von ebay, amazon und co auslesen und weiterverarbeiten
- SEO-Bereich: Backlink-Cecker - sowas wie seokicks
- News-Aggregator zum sammeln von News und anzeigen von ähnlichen News

Bin gespannt auf eure Antworten.

 

[ratzefitz]

Linkquellen succhen, Konkurrenzlink aufspüren, eigene Links überwachen, Contentscraping (wäre wohl Blackhat) würden mir da spontan einfallen. Klingt in jedem Fall interessant. Wäre cool wenn du uns auf dem laufenden halten könntest

 

[ravel]

Hi ratzefitz,

danke für Deine Vorschläge! Kannst Du die Ideen noch weiter ausführen?
Linkquellen suchen, Konkurrenzlinks aufspüren und eigene Links überwachen. Kennst Du schon Tools bzw. Web-Dienste die sowas machen? Haben die irgendwelche Nachteile oder sind sie zu teuer? Würde mehr darüber erfahren, bevor ich mich auf so ein Projekt stürze.

 

[Sancheck]

Übrigens habe ok einen sehe leistungsstarken crawler mit über 7000 IP Adressen wenn du Interesse hast

 

[lametta]

Eine Alternative zu Linkresearchtools wäre natürlich klasse - im Idealfall günstiger und mit deutschen Interfaces. Wird aber als EInmannprojekt wohl eher schwer zu realsieren sein, oder?

 

[Neo]

Ich nutze gerne Imacros nur kenne ich mich nicht aus wie das mit den Javascript geht und erklären will es mir auch niemand.