[B] Job: Crawler für Jobs

[martin_zh]

Hoi zämme

Ich habe einen kleinen Job zu vergeben.

Für ein Projekt benötigen wir einen Crawler welcher uns alle Jobs aus der Bank, Finanz bzw. Versicherungs Branche holt. Das ganze muss schlussendlich in einer mySQL Datenbank für die weitere Verwendung gespeichert werden. Wir sind auch offen für bestehende Lösung bei welcher man monatlich bezahlt etc.

Falls Ihr Erfahrung habt, wisst wer so etwas macht, oder bereits sowas gemacht habt, meldet euch doch bitte.

Beste Grüsse, Martin

 

[Sancheck]

Einlesen per Google API oder bestimmte seiten? Bzw. gibt es hier die Erlaubniss der Seitenbetreiber?

 

[martin_zh]

QUOTE (Sancheck @ Fr 26.11.2010, 14:05) Einlesen per Google API oder bestimmte seiten? Bzw. gibt es hier die Erlaubniss der Seitenbetreiber?

Grundsätzlich sehe zwei Möglichkeiten entweder direkt bei den online Seite der Firmen z.B bei der ZKB https://internet2.refline.ch/792841/search.html oder über eine bestehenden Anbeiter welcher bereits die Daten zusammensammelt (jobwinner.ch etc.)

Ich wenn man die Daten direkt von Firmen Webseiten holt und in einem Iframe anzeigt gibt es keine Probleme.

Bei anderen Seitenbetreibern wird man bestimmt auf Gegenwehr stossen, aber schlussendlich macht doch google das gleiche. Das Netz wird durchsucht und verlinkt. Die Inserate werden nicht bei uns gespeichert nur als Iframe eingebetet.

Ich bin allerdings kein Jurist, von dem her bin ich mir nicht sicher aber die erste Möglichkeit wird oft angewendet.

 

[chris80]

Hey Martin,

es gibt genug freie Tools/Software/Plugins um Jobs einzulesen.

Kommt natürlich drauf an was Du genau vor hast. Wilst Du selber ein JobBoard aufmachen?

Jeder Feed ist ersteinmal öffentlich, sonst würde ich ja kein Feed erstellen wenn ich wollte das keiner auf die Inhalte zugreift. Im Einzelfall muß man dann aber schauen ob es eine Einschränkung gibt die besagt das die gewerbliche Nuzung der Feeds untersagt wird bzw. nur nach Genehmigung.

Es gib allerdings hunderte Job Crawler die nichts anderes machen als den ganzen Tag Feeds/Jobs zusammenzutragen. In dem Bereich sind Multiplikatoren ja auch erwünscht. Man sollte nur keinen Missbrauch betreiben oder die Quellen verheimlichen.

Bei den gängigen bekannten Suchmaschinen für Jobs wird ja auch immer die Quelle mitgenannt und auf diese verlinkt.

 

[Sancheck]

Die Frage ist einfach, ob wenn du "die Daten klaust", sie nicht irgendwann deine IP etc. sperren, viele anbieter blockieren die Inhalte nach einer gewissen anzahl an requests einer IP, wenn du nicht gooogle etc. bist.

Programmiertechnisch aber kein problem

 

[martin_zh]

QUOTE (Sancheck @ Fr 26.11.2010, 17:46) Die Frage ist einfach, ob wenn du "die Daten klaust", sie nicht irgendwann deine IP etc. sperren, viele anbieter blockieren die Inhalte nach einer gewissen anzahl an requests einer IP, wenn du nicht gooogle etc. bist.

Programmiertechnisch aber kein problem

Vielen Dank für eure Antworten, bei der 1. Variante gingen meine Befürchtungen auch in diese Richtung.

Wir haben jemanden gefunden, der uns weiterhelfen kann, vielen Dank für eure Hilfe