Beperkingen en uitdagingen op Web Data Mining Proces

De huidige World Wide Web wordt overspoeld met miljarden webpagina's gemaakt met behulp van statische en dynamische programmeertalen zoals HTML, PHP en ASP. Web is een grote bron van informatie die een weelderige speeltuin voor data mining. Omdat de gegevens worden opgeslagen op het web in verschillende formaten en zijn dynamisch van aard zijn, is een grote uitdaging voor onderzoek, verwerken en presenteren van ongestructureerde informatie beschikbaar op het web.

Complexiteit van een webpagina is veel groter dan de complexiteit van elk document conventionele tekst. Webpagina's op het internet zonder uniformiteit en standaardisering, terwijl de traditionele boeken en tekstdocumenten zijn veel eenvoudiger in hun consistentie. Daarnaast is de zoekmachines met een beperkte capaciteit kan niet indexeren alle webpagina's die data mining is zeer inefficiënt.

Het internet is een bron van kennis is zeer dynamisch en groeit in een snel tempo. Sport, nieuws, finance en corporate sites om hun sites te werken op een uur of per dag basis. Nu miljoenen webgebruikers bereikt met verschillende profielen, interesses en het doel van het gebruik. Elk van deze vereist goede informatie, maar weet niet hoe relevante gegevens efficiënt en met weinig moeite om te weten te halen.

Het is belangrijk op te merken dat slechts een klein deel van het web echt nuttige informatie. Er zijn drie gangbare methoden voor de gebruiker de toegang tot de informatie die is opgeslagen op het Internet:

1. Gebruik algemene zoekwoorden of grote zoekmachines leiden tot miljoenen webpagina's, waarvan vele zijn totaal irrelevant.

2. De semantiek vergelijkbaar keyword of multi-variant terug mijn resultaten dubbelzinnig. Voor een instant woord panter is een dier, sport accessoires, of de naam van de film.

3. Het is mogelijk dat je een heleboel zeer relevante webpagina's die niet direct onder het trefwoord kan missen.

Om het web te gebruiken als een effectief instrument en knowledge discovery onderzoekers hebben effectieve technieken voor data mining ontwikkeld om gemakkelijk te halen de relevante gegevens, soepel en verkopen winstgevend.

Web data mining en het verzamelen van gegevens is van cruciaal belang voor veel bedrijven en marktonderzoek vandaag. Conventionele technieken van data mining op de website van zoekmachines zoals Google, Yahoo, AOL, enz. En zoekwoorden, directories en thema's. Omdat de bestaande structuur van het internet geen informatie van hoge kwaliteit, accurate en intelligente kan bieden, kan systematische Web mining u helpen om de gewenste business intelligence en data.

De belangrijkste factor die de toegang deep web voorkomt is de effectiviteit van de zoekmachine robots. Moderne zoekmachine robots of bots geen toegang tot het gehele Web vanwege beperkingen bandbreedte. Er zijn duizenden Internet databases met een hoge kwaliteit en goed onderhouden gescand uitgever kan informatie geven, maar kan niet worden geopend door de crawlers.

Bijna alle zoekmachines hebben weinig mogelijkheden om te zoeken op trefwoorden te combineren. Zoals Google en Yahoo bieden als een optionele zin of exacte match te zoeken. Het kost meer moeite en tijd om meer relevante informatie. Omdat het menselijk gedrag en de keuzes veranderen in de tijd, een regelmatig bijgewerkte website om deze trends weerspiegelen.

Er is beperkte ruimte voor het web van multi-dimensionale data mining voor het ophalen van informatie zijn sterk afhankelijk van de bestaande basis van zoekwoorden indices, geen feitelijke gegevens. Bovenstaande beperkingen en uitdagingen hebben geleid tot een onderzoek efficiënt en effectief te ontdekken en te gebruiken Web bronnen
.