Drie Soorten Voor Web Data Extraction en concurrerende prijs

Met behulp van reguliere expressies te trekken uit de ruwe data kan een beetje intimiderend voor de niet-ingewijden en een beetje rommelig als een script veel van hen kan bevatten. Op hetzelfde moment, als je al bekend bent met reguliere expressies, en schraap uw project is relatief klein, kunnen ze een geweldige oplossing zijn. Andere benaderingen of hiërarchische woordenlijsten bedoeld om de inhoud domein bezig met de ontwikkeling vertegenwoordigen.

Er zijn een aantal bedrijven (waaronder onze eigen) die specifiek zijn voor commerciële toepassingen worden aangeboden aan screen scraping. Toepassingen variëren sterk, maar voor middelgrote tot grote projecten, ze zijn vaak een goede oplossing. Elk heeft zijn eigen leercurve, de tijd nemen om een ​​nieuwe aanvraag moet plannen over de ins en outs te leren.

Wat is de beste manier om gegevens op te halen? Verschillende benaderingen hier, evenals tips over wanneer u gebruik zou hebben een aantal van de voor-en nadelen:

Voordelen:

- Als u al een reguliere expressie en bekend zijn met ten minste een programmeertaal, kan het een snelle oplossing zijn
-. reguliere expressie die de inhoud van dergelijke kleine veranderingen hen niet zal breken in de "vaagheid" naar een redelijk bedrag te bereiken

Reguliere expressies worden ondersteund. modernste programmeertalen. Heck, zelfs VBScript is een reguliere expressie motor. Het is ook goed, omdat de verschillende reguliere expressie implementaties is niet significant verschillend in hun syntax

Nadelen:.

Ze hebben niet veel ervaring hebben met hen kan worden ingewikkeld om. Leren reguliere expressies is niet zoals Perl naar Java

-. Ze worden vaak verwarrend om te analyseren
-. Het proces van data discovery (waar de gegevens uit verschillende webpagina's die u wilt op pagina kruising te krijgen) blijft worden aangepakt, en zeer complex als u cookies of soortgelijke behoefte kunt gebruiken

Voordelen:.

- Gegevens modellen meestal gebouwd Bijvoorbeeld, als u gegevens te extraheren uit websites over auto's al engine extractie, model , en de moeite waard, is het gemakkelijk om bestaande gegevens structuren heeft kunnen identificeren (zoals het invoegen van gegevens in uw database de juiste plaatsen) geweest
- Relatief weinig onderhoud op lange termijn

Nadelen:.
<. p> - Om te werken met betrekking tot een dergelijke motor is complex
-. Zijn duur om deze typen motoren te bouwen

In de gevallen waarin de gegevens sterk gestructureerd (wat betekent dat er is duidelijk op de verschillende velden. te identificeren), de reguliere expressie maakt meer zin om te gaan met een screen scraping toepassing

Screen scraping software

Voordelen:

- De abstracte complexe dingen weg.. Iets over reguliere expressies, HTTP of cookies zonder dat het scherm scraping toepassingen kan alles zeer geavanceerde dingen
-. Het opzetten van de site moest drastisch worden geschaald vermindert de hoeveelheid tijd
-. Ondersteuning voor een commercieel bedrijf . Als je in de problemen tijdens het gebruik van een commerciële toepassing, screen scraping, is de kans groot dat er support forums en hulplijnen waar u hulp kunt krijgen

Nadelen:.

- De leercurve. Elke toepassing heeft zijn eigen manier om te gaan over dingen in de screen scraping
-. Een mogelijke kosten
-.. Een individuele benadering

Als het scherm scraping toepassingen gebruiken deze aanpak om het gebruiksgemak, prijs, fitness, en het omgaan met een breed scala van zeer verschillende scenario's. De kans is groot maar dat als je het niet erg betalen van een beetje, vind je jezelf via een kan een aanzienlijke hoeveelheid tijd te besparen. Als u een enkele pagina, een snelle schrapen met reguliere expressies die je vrijwel elke taal dobbelsteen kunnen gebruiken. Meer over iets, maar misschien jou zijn ontworpen voor screen scraping om overwegen te investeren in de toepassing.

We hebben momenteel een project dat zich bezighoudt met het extraheren van de krantenadvertenties werk. Over de gegevens in de advertenties als je kunt krijgen is. Toch moesten we de verwerking van gegevens te vinden. hebben we besloten om het scherm schraper gebruiken en het is gewoon geweldig om te behandelen. De fundamentele proces dat de verschillende pagina's van het scherm schraper kruis data vervolgens ingebracht in een database
.