Hadoop Job Tacker
Job Tracker is de hoofddaemon voor zowel het beheer van jobresources als het plannen / monitoren van jobs. Het fungeert als een liaison tussen Hadoop en uw applicatie.
Het proces
De gebruiker kopieert eerst bestanden naar het Distributed File System (DFS), voordat hij een taak naar de client verzendt. De klant ontvangt vervolgens deze invoerbestanden. De gebruiker ontvangt de splitsingen of blokken op basis van de invoerbestanden.De klant zou dat kunnenmaak de splitsingen of blokken in een manner het preferers, aangezien er bepaalde overwegingen achter zitten. Als er een analyse wordt gedaan op de volledige gegevens, verdeelt u de gegevens in splitsingen. Bestanden worden niet gekopieerd via de client, maar worden gekopieerd met behulp van flume of Sqoop of een externe client.
Zodra de bestanden naar de DFS zijn gekopieerd en de client interactie heeft met de DFS,de splitsingen zullen een MapReduce j uitvoerenob. De job wordt ingediend via een jobtracker. De job tracker is de master daemon die op hetzelfde knooppunt draaitlooptdeze meerdere taken op gegevensknooppunten. Deze gegevens zullen op verschillende gegevensknooppunten liggen, maar het is de verantwoordelijkheid van de jobtracker om daarvoor te zorgen.
Nadat een klant zich heeft aangemeldde job-tracker wordt de job geïnitialiseerd in de job-wachtrij en de job-tracker maakt kaarten en verkleint. Gebaseerd op het programma dat is opgenomen in de kaartfunctie en verkleiningsfunctie, zal het de kaarttaak creëren en de taak verminderen. Deze twee worden uitgevoerd op de invoersplitsingen. Opmerking: wanneer gemaakt door de clients, bevat deze invoersplitsing alle gegevens.
is java gebaseerd op c
In elke invoersplitsing wordt een kaarttaak uitgevoerd en de uitvoer van de kaarttaak gaat naar de taak reduceren. Job tracker voert de track uit op bepaalde gegevens. Er kunnen meerdere replicaties van zijn, dus het kiest de lokale gegevens en voert de taak uit op die specifieke taakvolger. De taakvolger is degene die de taak daadwerkelijk uitvoert op het gegevensknooppunt. Job tracker zal hetinformatienaar de taakvolger en de taakvolger zal de taak op het gegevensknooppunt uitvoeren.
Zodra de taak is toegewezen aan de taakvolger, is er een hartslag die is gekoppeld aan elke taakvolger en taakvolger. Het stuurt signalen om erachter te komen of de dataknooppunten nog leven. De twee lopen vaak synchroon, omdat er een mogelijkheid is dat de knooppunten vervagen.
Heeft u een vraag voor ons? Noem ze in het opmerkingengedeelte en we nemen contact met u op.
Gerelateerde berichten:
wat is een naamruimte c ++