Met de toegenomen acceptatie van Hadoop in traditionele zakelijke IT-oplossingen en het toegenomen aantal Hadoop-implementaties in de productieomgeving, wordt de behoefte aan Hadoop Operations en Administration-experts om voor de grote Hadoop-clusters te zorgen van vitaal belang.
Verantwoordelijkheden van Hadoop-beheerders:
- Verantwoordelijk voor implementatie en doorlopend beheer van Hadoop-infrastructuur.
- Afstemming met het systeemtechnisch team om nieuwe hardware- en softwareomgevingen voor Hadoop voor te stellen en te implementeren en om bestaande omgevingen uit te breiden.
- Werken met teams voor gegevenslevering om nieuwe Hadoop-gebruikers in te stellen. Deze taak omvat het opzetten van Linux-gebruikers, het opzetten van Kerberos-principals en het testen van HDFS-, Hive-, Pig- en MapReduce-toegang voor de nieuwe gebruikers.
- Clusteronderhoud en het maken en verwijderen van knooppunten met behulp van tools zoals Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage en andere tools.
- Prestatieafstemming van Hadoop-clusters en Hadoop MapReduce-routines.
- Screen Hadoop-cluster jobprestaties en capaciteitsplanning
- Monitor Hadoop-clusterconnectiviteit en beveiliging
- Beheer en bekijk Hadoop-logbestanden.
- Bestandssysteembeheer en monitoring.
- HDFS-ondersteuning en onderhoud.
- Werk ijverig samen met de infrastructuur-, netwerk-, database-, applicatie- en business intelligence-teams om hoge datakwaliteit en beschikbaarheid te garanderen.
- Samenwerken met applicatieteams om het besturingssysteem en Hadoop-updates, patches en versie-upgrades te installeren indien nodig.
- Contactpersoon voor escalatie van leveranciers
Hadoop Administration is een lonende en lucratieve carrière met veel doorgroeimogelijkheden. Als de hierboven genoemde functieverantwoordelijkheden u interesseren, dan is het tijd om kennis te maken met Hadoop Administration en het carrièrepad van Hadoop Admin te volgen.
postdoctoraal diploma versus meesters
DBA-verantwoordelijkheden uitgevoerd door een Hadoop-beheerder:
- Datamodellering, ontwerp & implementatie op basis van erkende standaarden.
- Software installatie en configuratie.
- Database back-up en herstel.
- Database-connectiviteit en beveiliging.
- Prestatiebewaking en afstemming.
- Schijfruimtebeheer.
- Softwarepatches en upgrades.
- Automatiseer handmatige taken.
Ontwikkelingsverantwoordelijkheden van DWH uitgevoerd door Hadoop-beheerder:
De taakverantwoordelijkheden van DWH-beheerders omvatten het ontwikkelen, testen en bewaken van batchtaken voor de volgende taken:
- Zorg voor referentiële integriteit.
- Voer de uitvoering van de primaire sleutel uit.
- Voer herformuleringen van gegevens uit.
- Laad grote datavolumes tijdig.
Nu u weet wat de functieverantwoordelijkheden van een Hadoop-beheerder zijn, gaan we eens kijken naar de vaardigheden die nodig zijn om er een te zijn.
Vereiste vaardigheden om Hadoop-beheerder te worden:
- Algemene operationele expertise zoals goede vaardigheden voor probleemoplossing, begrip van de capaciteit van het systeem, knelpunten, basisprincipes van geheugen, CPU, besturingssysteem, opslag en netwerken.
- Hadoop-vaardigheden zoals HBase, Hive, Pig, Mahout, etc.
- De meest essentiële vereisten zijn: Ze moeten in staat zijn om Hadoop-cluster te implementeren, knooppunten toe te voegen en te verwijderen, taken bij te houden, kritieke delen van het cluster te bewaken, naam-knooppunt hoge beschikbaarheid te configureren, het te plannen en te configureren en back-ups te maken.
- Goede kennis van Linux aangezien Hadoop op Linux draait.
- Bekendheid met open source configuratiebeheer en implementatietools zoals Puppet of Chef en Linux-scripting.
- Kennis van het oplossen van problemen met Core Java-applicaties is een pluspunt.
Edureka heeft speciaal een cursus over Hadoop-administratie samengesteld. Klik op de onderstaande knop om aan de slag te gaan met Hadoop Administration en ontdek hoe de cursus u helpt om Hadoop Administrator te worden.
Gerelateerde berichten:
verschil tussen css en css3