Een van de meest aantrekkelijke kenmerken van Hadoop-framework is het gebruik van commodity hardware . Dit leidt echter tot frequente DataNode-crashes in een Hadoop-cluster. Een ander opvallend kenmerk van Hadoop Framework is het schaalgemak in overeenstemming met de snelle groei van het datavolume . Om deze twee redenen is een van de meest voorkomende taken van een Hadoop-beheerder om commissie (Toevoegen) en ontmanteling (Verwijderen) Gegevensknooppunten in een Hadoop-cluster.
wat is hover in css
Inbedrijfstelling en ontmanteling van knooppunten in een Hadoop-cluster:
Het bovenstaande diagram toont een stapsgewijs proces om een DataNode in het cluster buiten gebruik te stellen.
De eerste taak is om de ‘ uitsluiten ‘Bestanden voor beide HDFS (hdfs-site.xml) en MapReduce (mapred-site.xml).
Het 'uitsluiten'-bestand:
- for jobtracker bevat de lijst met hosts die moeten worden uitgesloten door de jobtracker. Als de waarde leeg is, worden geen hosts uitgesloten.
- voor Namenode bevat een lijst met hosts die geen verbinding mogen maken met de Namenode.
Hier is de voorbeeldconfiguratie voor het uitsluitingsbestand in hdfs-site.xml en mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / uitsluit
waar
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / uitsluit
waar
Opmerking: De volledige padnaam van de bestanden moet worden opgegeven.
Evenzo hebben we de ‘include'-bestanden:
- for jobtracker met de lijst met knooppunten die verbinding kunnen maken met de JobTracker. Als de waarde leeg is, zijn alle hosts toegestaan.
- voor Namenode met een lijst van hosts die verbinding mogen maken met de Namenode. Als de waarde leeg is, zijn alle hosts toegestaan.
De ' dfsadmin ’En‘ mradmin ’-Opdrachten vernieuwen de configuratie met de wijzigingen om ze op de hoogte te brengen van het nieuwe knooppunt.
De ' slaven ’Bestand op de masterserver bevat de lijst met alle gegevensknooppunten. Dit moet ook worden bijgewerkt om eventuele problemen in de toekomstige start / stop van de hadoop-daemon te voorkomen.
De belangrijke stap in het commissieproces voor dataknooppunten is het uitvoeren van de Cluster Balancer.
> hadoop balancer -threshold 40
Balancer probeert een evenwicht te bieden voor een bepaalde drempel tussen gegevensknooppunten door blokgegevens van oudere knooppunten naar nieuw in gebruik genomen knooppunten te kopiëren.
Dus dit is hoe je kunt doen - Inbedrijfstelling en Ontmanteling Knooppunten in een Hadoop-cluster.
Heeft u een vraag voor ons? Vermeld het in het opmerkingengedeelte en we nemen contact met u op.
Gerelateerde Links: