Handige Hadoop Shell-opdrachten



Deze blog beschrijft alle nuttige Hadoop Shell-opdrachten. Naast Hadoop Shell-opdrachten heeft het ook schermafbeeldingen om het leren eenvoudig te maken. Lees verder!

HDFS staat voor ‘ H. adoop D wordt verspreid F. met S ystem '. De HDFS is een subproject van het Apache Hadoop-project. Dit Apache Software Foundation-project is ontworpen om een ​​fouttolerant bestandssysteem te bieden dat is ontworpen om op standaardhardware te draaien. HDFS is toegankelijk via een reeks shell-opdrachten die in dit bericht worden besproken.





Een korte opmerking voordat u begint: alle Hadoop-shell-opdrachten worden aangeroepen door het bin / hadoop-script.

Gebruikersopdrachten:

  • Voer het DFS-bestandssysteem uit:

Gebruik: hadoop fsck - /



Run-DFS-bestandssysteem (1)

ontwerppatronen in php met voorbeeld
  • C heck-versie van Hadoop :

Gebruik: Hadoop-versie



FS Shell-opdrachten:

De Hadoop fs-opdracht voert een algemene gebruikersclient voor het bestandssysteem uit die communiceert met het MapR-bestandssysteem (MapR-FS).

  • Bekijk bestandsvermeldingen:

Gebruik: hadoop fs -ls hdfs: /

  • Controleer de geheugenstatus:

Gebruik: hadoop fs -df hdfs: /

  • Aantal mappen, bestanden en bytes in opgegeven pad en bestandspatroon:

Gebruik: hadoop fs -count hdfs: /

  • Verplaats het bestand van de ene locatie naar de andere:

Gebruik: -mv

  • Kopieer het bestand van de bron naar de bestemming :

Gebruik: -cp

  • Verwijder bestand:

Gebruik: -rm

  • Zet het bestand van het lokale bestandssysteem naar het Hadoop Distributed File System:

Gebruik: -put ...

  • Kopieer bestand van lokaal naar HDFS:

Gebruik: -copyFromLocal…

  • Bekijk het bestand in het Hadoop Distributed File-systeem :

Gebruik: -cat

Beheeropdrachten:

  • Formatteer het doel :

Gebruik: hadoop purpose -format

  • Secundaire doeleinden starten:

Gebruik: hadoop secondrynamenode

  • Ren met opzet :

Gebruik: hadoop-doel

  • Rennen data knooppunt :

Gebruik: hadoop datanode

wat veranderlijk en onveranderlijk is

  • Clusterbalancering :

Gebruik: hadoop-balancer

  • Voer MapReduce Job Tracker-knooppunt uit:

Usage: hadoop jobtracker

  • Voer MapReduce task tracker node uit:

Gebruik: hadoop tasktracker

Heeft u een vraag voor ons? Vermeld ze in het opmerkingengedeelte en we nemen contact met u op.

Gerelateerde berichten:

Operatoren in Apache Pig