HDFS-opdrachten: Hadoop-shell-opdrachten om HDFS te beheren



Deze blog gaat over de verschillende HDFS-commando's zoals fsck, copyFromLocal, expunge, cat etc. die worden gebruikt om het Hadoop-bestandssysteem te beheren.

HDFS-opdrachten

In mijn eerdere blogs , Ik heb al besproken wat HDFS is, de functies en architectuur. De eerste stap op weg naar voert HDFS-opdrachten uit en onderzoekt hoe HDFS werkt. In deze blog zal ik het hebben over de HDFS-opdrachten waarmee je toegang hebt tot het Hadoop-bestandssysteem.

Dus, laat me je de belangrijke HDFS-opdrachten en hun werking vertellen die het meest worden gebruikt bij het werken met Hadoop File System.





  • fsck

HDFS-opdracht om de status van het Hadoop-bestandssysteem te controleren.

Opdracht: hdfs fsck /



Gezondheid HDFS-bestandssysteem - HDFS-opdrachten - Edureka

  • ls

HDFS-opdracht om de lijst met bestanden en mappen in HDFS weer te geven.

Opdracht: hdfsdfs –Ls /



  • mkdir

HDFS-opdracht om de map in HDFS te maken.

Gebruik: hdfs dfs –mkdir / directory_naam

Opdracht: hdfs dfs –mkdir / new_edureka

Opmerking: Hier proberen we een map te maken met de naam 'new_edureka' in HDFS.

  • aanraken

HDFS-opdracht om een ​​bestand in HDFS te maken met een bestandsgrootte van 0 bytes.

Gebruik: hdfs dfs –touchz / directory / bestandsnaam

Opdracht: hdfs dfs –touchz / new_edureka / sample

Opmerking: Hier proberen we een bestand met de naam 'sample' te maken in de directory 'new_edureka' van hdfs met een bestandsgrootte van 0 bytes.

  • van

HDFS-opdracht om de bestandsgrootte te controleren.

Gebruik: hdfs dfs –du –s / directory / bestandsnaam

Opdracht: hdfs dfs –du –s / new_edureka / sample

  • kat

HDFS Commando dat een bestand op HDFS leest en de inhoud van dat bestand naar de standaarduitvoer afdrukt.

Gebruik: hdfs dfs –cat / pad / naar / bestand_in_hdfs

Opdracht: hdfs dfs –cat / new_edureka / test

  • tekst

HDFS-opdracht die een bronbestand pakt en het bestand in tekstformaat uitvoert.

Gebruik: hdfs dfs –tekst / map / bestandsnaam

Opdracht: hdfs dfs –text / new_edureka / test

  • copyFromLocal

HDFS-opdracht om het bestand van een lokaal bestandssysteem naar HDFS te kopiëren.

Gebruik: hdfs dfs -copyFromLocal

Opdracht: hdfs dfs –copyFromLocal / home / edureka / test / new_edureka

Opmerking: Hier is de test het bestand dat aanwezig is in de lokale map / home / edureka en nadat de opdracht is uitgevoerd, wordt het testbestand gekopieerd naar de map / new_edureka van HDFS.

  • copyToLocal

HDFS-opdracht om het bestand van HDFS naar Local File System te kopiëren.

Gebruik: hdfs dfs -copyToLocal

Opdracht: hdfs dfs –copyToLocal / new_edureka / test / home / edureka

Opmerking: Hier is test een bestand aanwezig in de new_edureka-directory van HDFS en nadat de opdracht is uitgevoerd, wordt het testbestand gekopieerd naar de lokale directory / home / edureka

  • leggen

HDFS-opdracht om een ​​enkele bron of meerdere bronnen van het lokale bestandssysteem naar het doelbestandssysteem te kopiëren.

hoe u een gekoppelde lijst kunt maken in c

Gebruik: hdfs dfs -put

Opdracht: hdfs dfs –put / home / edureka / test / user

Opmerking: Het commando copyFromLocal lijkt op het put-commando, behalve dat de bron beperkt is tot een lokale bestandsverwijzing.

  • krijgen

HDFS-opdracht om bestanden van hdfs naar het lokale bestandssysteem te kopiëren.

Gebruik: hdfs dfs -get

Opdracht: hdfs dfs –get / user / test / home / edureka

Opmerking: Het commando copyToLocal lijkt op het commando get, behalve dat de bestemming beperkt is tot een lokale bestandsverwijzing.

  • tellen

HDFS-opdracht om het aantal mappen, bestanden en bytes te tellen onder de paden die overeenkomen met het opgegeven bestandspatroon.

Gebruik: hdfsdfs -count

Opdracht: hdfs dfs –count / user

  • rm

HDFS-opdracht om het bestand uit HDFS te verwijderen.

Gebruik: hdfs dfs –rm

Opdracht: hdfs dfs –rm / new_edureka / test

  • rm -r

HDFS-opdracht om de volledige map en alle inhoud ervan uit HDFS te verwijderen.

Gebruik: hdfs dfs -rm -r

Opdracht: hdfs dfs -rm -r / new_edureka

  • cp

HDFS-opdracht om bestanden van bron naar bestemming te kopiëren. Dit commando staat ook meerdere bronnen toe, in welk geval de bestemming een directory moet zijn.

Gebruik: hdfs dfs -cp

Opdracht: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2

Opdracht: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir

  • mv

HDFS-opdracht om bestanden van bron naar bestemming te verplaatsen. Dit commando staat ook meerdere bronnen toe, in welk geval de bestemming een directory moet zijn.

Gebruik: hdfs dfs -mv

Opdracht: hdfs dfs -mv / user / hadoop / file1 / user / hadoop / file2

  • uitwissen

HDFS-opdracht die de prullenbak leegmaakt.

Opdracht: hdfsdfs-uitwissen

  • rmdir

HDFS-opdracht om de map te verwijderen.

Gebruik: hdfs dfs -rmdir

het omzetten van string tot nu toe in java

Opdracht: hdfs dfs –rmdir / user / hadoop

  • gebruik

HDFS-opdracht die de hulp voor een individuele opdracht retourneert.

Gebruik: hdfs dfs -usage

Opdracht: hdfs dfs -usage mkdir

Opmerking: Door het gebruikscommando te gebruiken, kunt u informatie over elk commando krijgen.

  • helpen

HDFS-opdracht die hulp toont voor een gegeven opdracht of alle opdrachten als er geen is opgegeven.

Opdracht: hdfs dfs -help

Dit is het einde van de HDFS Commands-blog, ik hoop dat het informatief was en dat je alle commando's hebt kunnen uitvoeren. Voor meer HDFS-opdrachten kunt u Apache Hadoop raadplegendocumentatie hier.

Nu je de bovenstaande HDFS-opdrachten hebt uitgevoerd, bekijk je het door Edureka, een vertrouwd online leerbedrijf met een netwerk van meer dan 250.000 tevreden leerlingen verspreid over de hele wereld. De Edureka Big Data Hadoop-certificeringstraining helpt leerlingen expert te worden in HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume en Sqoop met behulp van real-time use cases op het gebied van detailhandel, sociale media, luchtvaart, toerisme en financiën.

Heeft u een vraag voor ons? Vermeld het in het opmerkingengedeelte en we nemen contact met u op.