We hebben geleerd hoe Bouw Hive en Yarn on Spark . Laten we nu voorbeelden van Hive en Yarn op Spark uitproberen.
Hive-voorbeeld op Spark
We zullen een voorbeeld van Hive op Spark uitvoeren. We maken een tabel, laden gegevens in die tabel en voeren een eenvoudige query uit. Als je met Hive werkt, moet je een HiveContext die erft van SQLContext .
Opdracht: cd spark-1.1.1
Opdracht: ./bin/spark-shell
Maak een invoerbestand 'monster' in uw homedirectory zoals hieronder snapshot (tab gescheiden).
Opdracht: val sqlContext = nieuwe org.apache.spark.sql.hive.HiveContext (sc)
hoe u een pakket aanmaakt
Opdracht: sqlContext.sql ('CREATE TABLE IF NOT EXISTS test (name STRING, rank INT) ROW FORMAT DELIMITED FIELDS BEËINDIGD DOOR‘ LINES BEËINDIGD DOOR ‘
‘”)
Opdracht: sqlContext.sql ('LOAD DATA LOCAL INPATH‘ / home / edureka / sample ’IN TABLE-test')
Opdracht: sqlContext.sql (“SELECTEER * UIT test WAAR rang<5”).collect().foreach(println)
Garenvoorbeeld op Spark
We zullen SparkPi-voorbeeld op Yarn uitvoeren. We kunnen Yarn on Spark in twee modi implementeren: clustermodus en clientmodus. In de garenclustermodus draait de Spark-driver in een applicatie-masterproces dat wordt beheerd door Yarn op het cluster, en de client kan weggaan na het starten van de applicatie. In de yarn-client-modus draait de driver in het clientproces en wordt de toepassingsmaster alleen gebruikt voor het opvragen van bronnen bij Yarn.
Opdracht: cd spark-1.1.1
Opdracht: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master garen –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –stuurprogramma-geheugen 2g –executor-geheugen 1g –executor-cores 1 voorbeelden / target / scala-2.10 / spark-voorbeelden-1.1.1-hadoop2.2.0.jar
Nadat u de bovenstaande opdracht heeft uitgevoerd, wacht u enige tijd totdat u GESLAAGD bericht.
Bladeren localhost: 8088 / cluster en klik op de Spark-applicatie.
hoe scanners in java te gebruiken
Klik op logboeken .
Klik op stdout om de output te controleren.
Om Yarn on Spark in client-modus te implementeren, hoeft u alleen maar –Implementatie-modus net zo 'cliënt'. Nu weet je hoe je Hive en Yarn op Spark kunt bouwen. We hebben er ook practica over gedaan.
Heeft u een vraag voor ons? Vermeld ze in het opmerkingengedeelte en we nemen contact met u op.
gerelateerde berichten
Apache Spark met Hadoop - waarom is het belangrijk?
Bijenkorf en garen worden geëlektrificeerd door vonk