Big Data-Hadoop en haar invloed op de Business Intelligence-systemen

Onlangs mijn werk noodzakelijk me kijken naar de nieuwe functies toegevoegd in Informatica 9.1, maar ik had nooit gedacht dat de reis zal mij verder te verkennen op deze en schrijf een blog Let &'; s te zien hoe ik doorkruist door verschillende nieuwe aspecten die krijgen heel erg gerelateerd aan data management en Business Intelligence. Eerst zullen we kijken wat Bigdata en haar positie nu.

Mensen zou altijd denken hoe de organisaties als Yahoo, Google, Facebook slaan grote hoeveelheden data van de gebruikers. We moeten een nota te nemen dat Facebook slaat meer foto's dan Google &'; s Picassa. Elke gissingen ??

Wat is Hadoop

Het antwoord is Hadoop en het is een manier om grote hoeveelheden gegevens in petabytes en zettabytes slaan. Dit opslagsysteem wordt genoemd als Hadoop Distributed File System. Hadoop werd ontwikkeld door Doug Cutting gebaseerd op ideeën voorgesteld door Google &'; s papieren. Meestal krijgen we grote hoeveelheden van de machine gegenereerde data. Bijvoorbeeld, de Large Hadron Collider te bestuderen de oorsprong van het universum produceert 15 petabytes aan data per jaar voor elk experiment uitgevoerd.

MapReduce

Het volgende ding dat komt om onze geest is hoe snel we kunnen toegang krijgen tot deze grote hoeveelheden data. Hadoop MapReduce gebruikt, die voor het eerst verscheen in research papers van Google. Hieruit volgt &'; Divide and Conquer &' ;. De gegevens zijn georganiseerd als sleutelwaarde paren. Het verwerkt de volledige gegevens die worden verspreid over ontelbaar aantal systemen parallel brokken van een enkel knooppunt. Dan zal sorteren en verwerken van de verzamelde gegevens.

Met een standaard PC server, Hadoop verbinding met de servers en verdeelt de gegevensbestanden tussen deze knooppunten. Vroeger al deze knooppunten als één groot bestand systeem op te slaan en de gegevens te verwerken, waardoor het een 100% onvervalste gedistribueerd bestandssysteem. Extra knooppunten kunnen worden toegevoegd als de gegevens bereikt de maximale geïnstalleerde capaciteit, waardoor de installatie zeer schaalbaar. Het is erg goedkoop als het is open source en doesn &'; t vereisen speciale processoren zoals gebruikt in de traditionele servers. Hadoop is ook een van de NoSQL implementaties.

Hadoop in real-time

Het Tennessee Valley Authority (TVA) maakt gebruik van smart-grid veldapparatuur om gegevens over haar macht te verzamelen -transmissie lijnen en faciliteiten in het hele land. Deze sensoren sturen gegevens met een snelheid van 30 keer per seconde – tegen die koers, de TVA schat dat de helft van een petabyte aan gegevens gearchiveerd binnen enkele jaren te hebben. TVA Hadoop gebruikt voor het opslaan en analyseren van gegevens. In India Power Grid Corporation of India is van plan om deze slimme apparaten in hun netten te installeren voor het verzamelen van gegevens aan de transmissie verliezen te beperken. Het is beter dat ze ook na te bootsen TVA. Facebook onlangs verhuisd naar 30 Petabyte Hadoop, die ongelooflijk en moeilijk te verteren het feit dat we met behulp van een dergelijk groot volume van gegevens klinkt.

Data Warehouse en Business Intelligence-producten ondersteunen en Hadoop MapReduce

1 ) Greenplum Pagina 2) Informatica verhuur 3) Teradata
5) Pentaho
6) Talend

Als Hadoop en andere NoSQL implementaties op grote schaal worden gebruikt, de beperkingen van de traditionele SQL-systemen kunnen opgelost, zoals het opslaan van ongestructureerde data. Met het volume van data exponentieel toeneemt, zal de commercialisering van Hadoop gebeuren in een grote schaal en data integrator instrumenten zullen een belangrijke rol spelen in de mijnbouw gegevens voor het bedrijfsleven spelen.
Lezers deel je ervaringen als iemand van jullie hebben gewerkt met Hadoop op andere ETL en BI-tools, tools die beschikbaar zijn in de markt
.