Crawler für Website/en entwickeln

[gmaier1970]

Sehr geehrte Damen und Herren,

wir benötigen ein Script, dass in der Lage ist eine spezielle WebSite (Adressseiten) zu durchsuchen und die Adressen in eine CSV zu laden.

Das Ganze wird für 3 Seiten (also 3 Crawler) benötigt. In Zukunft kommen noch mehr dazu.

==> Für jeden Crawler werden 120€ (zzgl. MwSt.) bezahlt, insgesamt also 360€ (zzgl. MwSt.).

Viele Grüße
gmaier1970

 

[infinitnet]

Scrapy sollte für dein Vorhaben perfekt sein und beinhaltet bereits die von dir gewünschte Funktion (http://doc.scrapy.org/en/latest/topics/feed-exports.html#topics-feed-exports).

 

[GwenDragon]

Sowas ist in Perl mit LWP oder LWP:arallel und HTML:arser sowie Text::CSV_XS oder DBD::CSV schnell zu machen.
Probiers aus.