Gegevensstroom in MapReduce toepassingen!

MapReduce is een kader dat is ontworpen om grote datasets te verwerken. Het gebruikt een grote cluster van computers die worden genoemd als knooppunten de berekeningen uit te voeren. Deze rekenkundige bewerking wordt uitgevoerd op de data zijn opgeslagen hetzij in een bestandssysteem of in een database. In MapReduce toepassingen, zijn er in principe twee componenten, namelijk kaart te brengen en te verminderen. In Kaart stap, de master-knooppunt ontvangt de input, wanden in kleinere sub-problemen, en het uiteindelijk verdeelt die aan werknemer knooppunten. Dit wordt herhaald door de werknemer knooppunt leidt tot een multi-level boomstructuur. De kleinere problemen die zijn gemaakt in de werknemer knooppunt proces elk van hen en geef het antwoord terug naar zijn meester knooppunt. Aan de andere kant, de vermindering stap neemt de antwoorden en combineert deze andere manier om de uiteindelijke uitgang.

In het MapReduce kader is er een grote gedistribueerde soort, die bestaat uit hot spots, zoals gedefinieerd

• een input lezer
• een Map functie
• Verminder een functie
• een partitie functie
• een vergelijk functie
• een output schrijver

Hier Input lezer verdeelt in principe de input in de juiste maat splitst. De MapReduce kader wijst dan een split aan elke Kaart functie. Er is een gedistribueerd bestandssysteem waar de input lezer leest de gegevens en genereert de vereiste sleutel /waarde paren. Een ander onderdeel namelijk Kaart functie neemt een reeks van sleutel /waarde paren, verwerkt ze en genereert vervolgens nul of meer vermogen sleutel /waarde paren. Vaak zijn de input en output types van de vermindering functie verschillend van elkaar.

verkleinen functie in het kader MapReduce roept elke vermindering functie eenmaal voor elke unieke sleutel in de gesorteerde volgorde. Deze Verminder functie kan doorlopen de waarden die uiteindelijk worden geassocieerd met die sleutel. De uitgangswaarde kan 0 of meer waardes ook. Een andere belangrijke functie is verdelingsfunctie waarbij elke Kaartfunctie uitgang is toegewezen aan een bepaalde reducer. Dit gebeurt met behulp van verdelingsfunctie van de toepassing. Dan komt een vergelijkingsfunctie die wordt gebruikt voor het uitvoeren en sorteren Kaartfunctie. Dan is er nog een belangrijke functie genaamd als output schrijver. De uitgang schrijver wordt gebruikt om de uitvoer van de Reduce functie schrijven naar het gedistribueerde bestandssysteem, vaak aangeduid als stabiele opslag.

Elke component in het MapReduce toepassingen belangrijk en zelfs als men ontbreekt of niet goed geoptimaliseerd de resultaten zouden niet worden verwacht. Voor het definiëren van een MapReduce kader u correct moet elk onderdeel nauwkeurig te begrijpen, waarvoor u moet online tutorials te lezen. Ontdek de online middelen en gebruik maken van deze applicatie en serveer je diverse belangrijke doelen
.