Apache Hive is een van de belangrijkste frameworks in het Hadoop-ecosysteem, waardoor het op zijn beurt erg cruciaal is voor . In deze blog leren we over de installatie van Apache Hive en Hive op Ubuntu.
Wat is Apache Hive?
Apache Hive is een datawarehouse-infrastructuur die het opvragen en beheren van grote gegevenssets in een gedistribueerd opslagsysteem mogelijk maakt. Het is bovenop Hadoop gebouwd en ontwikkeld door Facebook. Bijenkorf biedt een manier om de gegevens op te vragen met behulp van een SQL-achtige querytaal genaamd HiveQL (Hive-querytaal).
Intern vertaalt een compiler HiveQL verklaringen in MapReduce banen, die vervolgens worden verzonden naar Hadoop-framework voor uitvoering.
Verschil tussen Hive en SQL:
Bijenkorf lijkt erg op de traditionele database met SQL toegang. Maar omdat Bijenkorf is gebaseerd op Hadoop en MapReduce operaties, zijn er een aantal belangrijke verschillen:
Omdat Hadoop bedoeld is voor lange opeenvolgende scans en Bijenkorf is gebaseerd op Hadoop , zou je verwachten dat zoekopdrachten een zeer hoge latentie hebben. Het betekent dat Bijenkorf zou niet geschikt zijn voor die applicaties die zeer snelle responstijden nodig hebben, zoals u kunt verwachten met een traditionele RDBMS-database.
Tenslotte, Bijenkorf is op lezen gebaseerd en daarom niet geschikt voor transactieverwerking waarbij doorgaans een hoog percentage schrijfbewerkingen nodig is.
html-tag voor het invoegen van een regeleinde
Hive-installatie op Ubuntu:
Volg de onderstaande stappen om te installeren Apache Hive op Ubuntu:
Stap 1: Downloaden Bijenkorf teer.
Opdracht: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Stap 2: Pak het teer het dossier.
Opdracht: tar -xzf apache-hive-2.1.0-bin.tar.gz
Opdracht: ls
Stap 3: Bewerk het '.Bashrc' bestand om de omgevingsvariabelen voor de gebruiker bij te werken.
Opdracht: sudo gedit .bashrc
Voeg het volgende toe aan het einde van het bestand:
# Stel HIVE_HOME in
export HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
exporteer PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Zorg er ook voor dat het hadoop-pad ook is ingesteld.
Voer de onderstaande opdracht uit om de wijzigingen in dezelfde terminal te laten werken.
Opdracht: bron .bashrc
Stap 4: Controleer de bijenkorfversie.
round robin-programma in c
Stap 5: Creëer Bijenkorf directories binnen HDFS . De directory 'magazijn' is de locatie om de tabel of gegevens met betrekking tot bijenkorf op te slaan.
Opdracht:
- hdfs dfs -mkdir -p / gebruiker / bijenkorf / magazijn
- hdfs dfs -mkdir / tmp
Stap 6: Stel lees- / schrijfrechten in voor de tabel.
Opdracht:
In dit commando geven we schrijfrechten aan de groep:
- hdfs dfs -chmod g + met gebruiker / bijenkorf / magazijn
- hdfs dfs -chmod g + w / tmp
Stap 7: Set Hadoop pad in h ive-env.sh
Opdracht: cd apache-hive-2.1.0-bin /
Opdracht: gedit conf / hive-env.sh
Stel de parameters in zoals weergegeven in de onderstaande momentopname.
Stap 8: Bewerk hive-site.xml
Opdracht: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC connect string voor een JDBC metastore. Om SSL te gebruiken om de verbinding te coderen / verifiëren, moet u een databasespecifieke SSL-vlag in de verbindings-URL opgeven. Bijvoorbeeld jdbc: postgresql: // myhost / db? Ssl = true voor de postgres-database. hive.metastore.warehouse.dir / user / hive / magazijnlocatie van standaarddatabase voor het magazijn hive.metastore.uris Thrift-URI voor de externe metastore. Gebruikt door metastore-client om verbinding te maken met externe metastore. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Stuurprogrammanaam voor een JDBC-metastore javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory-klasse die de jdo-persistentie implementeert
Stap 9: Hive gebruikt standaard Derby database. Initialiseer de Derby-database.
Opdracht: bin / schematool -initSchema -dbType derby
Stap 10 :Lancering Bijenkorf.
Opdracht: bijenkorf
Stap 11 :Voer enkele query's uit in de Hive-shell.
het implementeren van een gelinkte lijst in c
Opdracht: toon databases
Opdracht: maak tabelmedewerker (id-tekenreeks, naamstring, afdelingsreeks) rij-indeling gescheiden velden afgesloten met ‘‘ opgeslagen als tekstbestand
Opdracht: toon tafels
Stap 12: Om af te sluiten Bijenkorf:
Opdracht: Uitgang
Nu u klaar bent met de installatie van Hive, is de volgende stap voorwaarts het uitproberen van Hive-opdrachten op de Hive-shell. Vandaar dat onze volgende blog “ Top Hive-opdrachten met voorbeelden in HQL ”Zal je helpen om Hive-commando's onder de knie te krijgen.
Gerelateerde berichten: