Laten we in deze blog zien hoe we Spark kunnen bouwen voor een specifieke Hadoop-versie.
We zullen ook leren hoe je Spark kunt bouwen met HIVE en YARN.
wat is big data en hadoop
Gezien het feit dat je dat hebt gedaan Hadoop, jdk, mvn en Gaan vooraf geïnstalleerd en vooraf geconfigureerd op uw systeem.
Open Mozilla-browser en downloaden Vonk met behulp van onderstaande link.
https://edureka.wistia.com/medias/k14eamzaza/
Terminal openen.
Opdracht: tar -xvf Downloads / spark-1.1.1.tgz
Commando: ls
Open de map spark-1.1.1.
Je kunt openen pom.xml het dossier. Dit bestand geeft u de informatie over alle afhankelijkheden jij hebt nodig.
Bewerk het niet om uit de problemen te blijven.
Opdracht: cd spark-1.1.1 /
Opdracht: sudo gedit sbt / sbt-launch-lib.bash
Bewerk het bestand zoals onderstaand snapshot, sla het op en sluit het.
We verminderen het geheugen om problemen met de objectheapruimte te voorkomen, zoals vermeld in de onderstaande momentopname.
Voer nu de onderstaande opdracht uit in de terminal om spark te bouwen voor Hadoop 2.2.0 met HIVE en YARN.
Opdracht: ./sbt/sbt -P garen -P bijenkorf -Phadoop-2.2 -D hadoop.version = 2.2.0 -D skipTests bijeenkomst
Opmerking: mijn Hadoop-versie is 2.2.0, u kunt deze aanpassen aan uw Hadoop-versie.
Voor andere Hadoop-versies
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-alpha
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.version = 0.23.7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Het compileren en verpakken zal even duren, wacht tot het voltooid is.
Twee potten spark-assembly-1.1.1-hadoop2.2.0.jar en spark-voorbeelden-1.1.1-hadoop2.2.0.jar wordt gemaakt.
Pad van spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Pad van spark-voorbeelden-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Gefeliciteerd, je hebt met succes Spark for Hive & Yarn gebouwd.
Heeft u een vraag voor ons? Vermeld ze in het opmerkingengedeelte en we nemen contact met u op.
Gerelateerde berichten:
Apache Spark met Hadoop - waarom is het belangrijk?