Varkensprogrammering: maak uw eerste Apache Pig-script
In onze , we zullen nu leren hoe we een Apache Pig-script kunnen maken. Apache Pig-scripts worden gebruikt om een set Apache Pig-commando's gezamenlijk uit te voeren. Dit helpt bij het verminderen van de tijd en moeite die wordt geïnvesteerd in het schrijven en handmatig uitvoeren van elke opdracht terwijl u dit doet in Pig-programmering.Het is ook een integraal onderdeel van de .Deze blog is een stapsgewijze handleiding om u te helpen bij het maken van uw eerste Apache Pig-script.
Uitvoeringsmodi voor Apache Pig-script
Lokale modus : In ‘lokale modus’ kunt u het pig-script uitvoeren in een lokaal bestandssysteem. In dit geval hoeft u de gegevens niet op te slaan in het Hadoop HDFS-bestandssysteem, maar kunt u werken met de gegevens die zijn opgeslagen in het lokale bestandssysteem zelf.
MapReduce-modus : In ‘MapReduce-modus’ moeten de gegevens worden opgeslagen in het HDFS-bestandssysteem en kunt u de gegevens verwerken met behulp van het pig-script.
Apache Pig-script in MapReduce-modus
Laten we zeggen dat het onze taak is om gegevens uit een gegevensbestand te lezen en de vereiste inhoud op de terminal als uitvoer weer te geven.
Het voorbeeldgegevensbestand bevat de volgende gegevens:
Sla het tekstbestand op met de naam ‘information.txt’
Het voorbeeldgegevensbestand bevat vijf kolommen Voornaam , Achternaam , Mobiel Nee , stad , en Beroep gescheiden door Tab toets . Het is onze taak om de inhoud van dit bestand uit de HDFS te lezen en alle kolommen van deze records weer te geven.
Om deze gegevens met Pig te verwerken, moet dit bestand aanwezig zijn in Apache Hadoop HDFS.
hoe de tostring-methode in java te gebruiken
Opdracht : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka
Stap 1: Een varkensscript schrijven
Maak en open een Apache Pig-scriptbestand in een editor (bijvoorbeeld gedit).
Opdracht : sudo gedit /home/edureka/output.pig
Dit commando zal een ‘output.pig’ -bestand aanmaken in de homedirectory van de edureka-gebruiker.
Laten we een paar PIG-opdrachten schrijven in het output.pig-bestand.
A = LOAD '/edureka/information.txt' met PigStorage ('') als (FName: chararray, LName: chararray, MobileNo: chararray, City: chararray, Profession: chararray) B = FOREACH A genereer FName, MobileNo, Profession DUMP BSla het bestand op en sluit het.
- Het eerste commando laadt het bestand ‘information.txt’ in variabele A met indirect schema (FName, LName, MobileNo, City, Profession).
- De tweede opdracht laadt de vereiste gegevens van variabele A naar variabele B.
- De derde regel toont de inhoud van variabele B op de terminal / console.
Stap 2: Voer het Apache Pig-script uit
Om het pig-script uit te voeren in HDFS-modus, voert u de volgende opdracht uit:
Opdracht : varken /home/edureka/output.pig
Bekijk het resultaat nadat de uitvoering is voltooid. Deze onderstaande afbeeldingen tonen de resultaten en hun tussenliggende kaart en verminderen functies.
Onderstaande afbeelding laat zien dat het script met succes is uitgevoerd.
Onderstaande afbeelding toont het resultaat van ons script.
Gefeliciteerd met het succesvol uitvoeren van uw eerste Apache Pig-script!
Nu weet u hoe u een Apache Pig-script kunt maken en uitvoeren. Vandaar dat onze volgende blog in zal behandelen hoe maak UDF (User Defined Functions) in Apache Pig en voer het uit in MapReduce / HDFS-modus.
Nu je Apache Pig-script hebt gemaakt en uitgevoerd, kun je het door Edureka, een vertrouwd online leerbedrijf met een netwerk van meer dan 250.000 tevreden leerlingen verspreid over de hele wereld. De Edureka Big Data Hadoop-certificeringstraining helpt leerlingen expert te worden in HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume en Sqoop met behulp van real-time use cases op het gebied van Retail, Social Media, Aviation, Tourism, Finance.
Heeft u een vraag voor ons? Vermeld het in het opmerkingengedeelte en we nemen contact met u op.