4 praktische redenen om Hadoop 2.0 te leren kennen



Deze 4 redenen om te upgraden naar Hadoop 2.0 vertellen over de Hadoop-arbeidsmarkt en hoe deze je kan helpen je carrière te versnellen door je open te stellen voor enorme vacatures.

Toen ik jonger was, was ik dol op de Star Wars-filmserie. Ik vond het zo leuk dat ik deze videocassettes van elk van hen had. Ik keek ze keer op keer. Toen kwam de tijd van dvd-spelers en ik moest deze films weer op dvd krijgen. Ik had geen enkele moeite om de hele set opnieuw op dvd te kopen, omdat ik de nieuwe technologie wilde ervaren en ook van mijn favoriete films wilde blijven genieten. Het ging goed totdat er weer een nieuwe technologie, Blu-ray, opkwam. Omdat ik de films al twee keer had gekocht, keek ik er niet naar uit om ze allemaal opnieuw te kopen. Ik heb enige tijd geen moeite gedaan om mezelf te ‘updaten’, in de veronderstelling dat ik het zonder deze technologie prima zou doen. En ik deed het prima. Het had hoe dan ook geen invloed op mijn leven. Maar ik zag een trendverandering en kon mijn films niet met mijn vrienden delen, zoals ze met elkaar deden. Ik voelde me echt buitengesloten.





Ik ben eindelijk naar buiten gegaan om de film op Blu-ray te krijgen. Ik herinner het me niet omdat ik van de film hou, maar vanwege het feit dat de kwaliteit van de video verbluffend was. En als klap op de vuurpijl heb ik de hele reeks films op één Blu-ray Disc.

De behoefte of drang om op de hoogte te blijven is het sterkst als het gaat om ons beroep, aangezien de risico's groter zijn. Het is essentieel geworden om op de hoogte te blijven van je spel.



4 praktische redenen om Hadoop 2.0 te leren:

Hoe onvermijdelijk het ook mag zijn, up-to-date blijven in ons vak is een belangrijk onderdeel van ons leven geworden. Hoe ontmoedigend het ook mag klinken, het is niet nodig om gealarmeerd te zijn, aangezien technologieën niet zo snel of drastisch veranderen. Maar de gesprekken en informatie over deze technologieën en de dingen die we ermee kunnen doen, worden steeds zichtbaarder. Hier zijn enkele redenen waarom u up-to-date moet blijven:

# 1: Laat je niet betrappen

Redenen om Hadoop 2.0 te leren kennen



Als u geen aandacht schenkt aan de laatste update in een technologie, kunt u eruitzien als een hert dat in een koplamp wordt gevangen. Niet bepaald een stralend beeld van uw professionele capaciteiten. Door up-to-date te zijn, wordt u gerespecteerd door uw collega's vanwege uw professionele vaardigheden. Het is misschien niet nodig om elk nieuw ding dat u leert te implementeren, maar u moet zich bewust zijn van de updates.

Als er bijvoorbeeld een gesprek is op Hadoop, kunt u uw collega's laten weten dat de Hadoop 2.5.0 authenticatieverbeteringen heeft bij het gebruik van een HTTP-proxyserver. En ook in dezelfde versie van Hadoop is er een voorziening om rechtstreeks naar Graphite te schrijven.

Het wordt essentieel om op de hoogte te zijn van de laatste updates wanneer organisaties overwegen om naar Hadoop te migreren. En ‘weten’ kan een enorm verschil maken voor je carrière.

# 2: een concurrentievoordeel hebben

Professionals die bekwaam zijn in hun vakgebied, worden gerespecteerd. En up-to-date blijven is de beste manier om aan de top te staan. Uw behoefte om op de hoogte te blijven, weerspiegelt uw passie voor uw werk. Door expertise in uw werk en uw branche te ontwikkelen, verdient u het vertrouwen en respect van de mensen om u heen. Vanuit leiderschapsperspectief is dit van onschatbare waarde!

Zelfs als uw organisatie nog steeds met Hadoop 1.0 werkt, zal het kennen van alle nieuwste functies van Hadoop 2 u op het goede spoor houden, aangezien het relatief nieuw en zeker beter is. Als u de eerste bent die dit leert, krijgt u een voorsprong op uw leeftijdsgenoten.

# 3: Nieuwe kansen

Het is een trieste realiteit dat onze huidige rol steeds verandert. Met de tijd komen er meer verantwoordelijkheden en kansen om nieuwe taken uit te voeren. Door op de hoogte te blijven van trends in de branche, bent u in de beste positie om deze kansen te grijpen.

Bedrijven zoals Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory en nog veel meer zijn op zoek naar mensen die bekwaam zijn in de nieuwste functies van Hadoop 2, zoals YARN.

# 4: neem betere beslissingen

Met de extra informatie kunt u weloverwogen keuzes maken en betere beslissingen nemen. Het zal u helpen kansen te herkennen en waarde toe te voegen aan de strategie van uw organisatie.

Hadoop 2 heeft functies die zowel de snelheid verhogen als de kosten verlagen. Door opties voor te stellen om de prestaties en de snelheid te verbeteren, kan de productiviteit van de organisatie zeker toenemen. Hier zijn enkele functies van Hadoop 2 die de organisatie ten goede zullen komen en door deze voor te stellen, zal uw carrière ook een boost krijgen.

  • Ondersteuning voor het uitvoeren van Hadoop op Microsoft Windows

  • Vereenvoudigde distributie van MapReduce-binaire bestanden via HDFS in YARN Distributed Cache.

  • Verbeterde ondersteuning voor nieuwe applicaties op YARN met Application History Server en Application Timeline Server

  • Volledige HTTPS-ondersteuning in HDFS

  • Kerberos-integratie voor de tijdlijnwinkel van YARN.

  • Ondersteuning voor heterogene opslaghiërarchie in HDFS.

  • In-memory cache voor HDFS-gegevens met gecentraliseerd beheer en beheer.

  • Vereenvoudigde distributie van MapReduce-binaire bestanden via HDFS in YARN Distributed Cache.

Er zijn meer dan alleen praktische redenen om op de hoogte te blijven. Er zijn ook technische redenen. Hadoop heeft tal van functies die voordelig zijn voor de organisaties. Als u ze grondig bekijkt, krijgt u een duidelijk beeld van wat de voordelen zijn.

Wat is de laatste update in Hadoop?

Elk product doorloopt verschillende stadia van releases en komt met verschillende versies van zichzelf. Hadoop is geen uitzondering en heeft Hadoop 2.0 bedacht. De Apache-stichting heeft volgende versies van Hadoop bedacht, zoals Hadoop 2.1.0, Hadoop 2.4.0 en heeft Hadoop 2.5.1 bereikt, de nieuwste versie die in september 2014 is uitgebracht.

Waarom is Hadoop 2 uitgebracht?

Met de nieuwe versie komen extra functies en opgeloste bugs. Dus elke keer dat je een bepaalde versie van Hadoop gebruikt en denkt dat een bepaalde functie kan worden toegevoegd of dat er bugs moeten worden opgelost, laat je de jongens van Apache Foundation hiervan weten. Deze jongens werken er op hun beurt aan en geven je een beter product in de volgende versie.

Hadoop 2 - niet alleen een nummer

Hadoop 2 is niet alleen de nieuwste versie van Hadoop. Over het algemeen is het een architectuur van de tweede generatie. Arun Murthy, oprichter en architect bij Hadoop-distributeur Hortonworks, benadrukt dat het onderscheid belangrijk is omdat de hoeveelheid re-engineering die nodig is om Hadoop verder te laten gaan dan batchverwerking en naar de wereld van realtime analyse, aanzienlijk is.

Laten we bespreken hoe Hadoop 2.0 verschilt van zijn voorganger Hadoop 1.0. Het is duidelijk dat de later uitgebrachte versie superieur zal zijn dan de eerdere release. Hieronder volgen de vier belangrijkste verbeteringen in Hadoop 2.0 ten opzichte van Hadoop 1.x:

  • HDFS Federation - Horizontale schaalbaarheid van NameNode

  • NameNode hoge beschikbaarheid - NameNode is niet langer een Single Point of Failure

  • YARN - Mogelijkheid om terabytes en petabytes aan gegevens die beschikbaar zijn in HDFS te verwerken met niet-MapReduce-toepassingen zoals MPI, GIRAPH

  • Resource Manager - splitst de twee belangrijkste functionaliteiten van overbelaste JobTracker (resourcebeheer en taakplanning / monitoring) op in twee afzonderlijke daemons: een wereldwijde resource manager en ApplicationMaster per applicatie

Er zijn extra functies zoals Capaciteitsplanner (Multi-tenancy-ondersteuning inschakelen in Hadoop), Data Snapshot, Ondersteuning voor Windows, NFS-toegang, waardoor de Hadoop-acceptatie in de industrie kan worden vergroot om Big Data-problemen op te lossen.

Hadoop 2.X versus Hadoop 1.X

Laten we een kleine vergelijking maken en kijken op welke manieren Hadoop 2.0 beter en anders is dan Hadoop 1.0

Waarom heeft Hadoop 2 de voorkeur boven Hadoop 1.0?

Hadoop 2.0 biedt prestatieverbeteringen die ten goede komen aan gerelateerde technologieën in het Hadoop-ecosysteem. Naast de baanbrekende kenmerken van HDFS en de tweede generatie architectuur (YARN), zijn er nog meer en grotere redenen om Hadoop 2 te verkiezen boven Hadoop 1.0:

  • Hadoop 2 heeft geen taalbeperking meer. Dit betekent dat een breed scala aan professionals nu Hadoop kan gebruiken.

  • Met Hadoop 2 worden obstakels zoals een tekort aan MapReduce-coders overwonnen.

  • 2 keer sneller dan Hadoop 1.0

  • 2 keer de ROI met bestaande hardware.

  • Met YARN is de applicatie-programmeerinterface veel opener en flexibeler.

  • Hadoop 2 vergroot de mogelijkheden voor het gebruik van Hadoop in Big Data-projecten.

  • Met Hadoop 2 kunnen ontwikkelaars nu een enorme verscheidenheid aan gegevenscrashtaken uitvoeren, die verder gaan dan Hadoop's eerdere reikwijdte van batchverwerking.

  • Biedt nieuwe kansen voor informatiemanagers en pakt tekortkomingen in eerdere versies aan.

  • Deze nieuwe release heeft de unieke eigenschap dat er meerdere workloads op hetzelfde Hadoop-cluster worden uitgevoerd.

  • Hadoop is niet langer beperkt tot één functie. De toepassing ervan gaat nu verder dan HDFS en MapReduce.

Belangrijkste voordelen van YARN

We zijn ons ervan bewust dat YARN een architectuur van de tweede generatie is, laten we eens kijken wat het zo geweldig maakt.

  • Schaal

  • Nieuwe programmeermodellen en -services

  • Verbeterd clustergebruik

  • Behendigheid

    hoe werkt casten in java
  • Veel meer dan Java

  • En nog veel meer

Vraag naar Hadoop 2-vaardigheden

Organisaties lanceren nu of experimenteren met Hadoop 2. Daarom is er behoefte aan professionals die bekwaam zijn in Hadoop 2. Veel organisaties zijn al intern op zoek gegaan naar mensen die met Hadoop willen werken. Er zijn duidelijke aanwijzingen dat YARN in de lift zit en uiteindelijk de vraag naar MapReduce-vaardigheid zal vervangen.

Hier zijn enkele opvattingen over de huidige en verwachte vraag naar Hadoop-vaardigheden:

  • Volgens analisten van Gartner is Hadoop 2 een essentiële ontwikkeling, aangezien grote ondernemingen over de hele wereld hebben ontdekt dat Hadoop een doorbraak is in hun Big Data-beheer.

  • Volgens Eric Kavanagh, van de Bloor-groep, heeft Hadoop 2.0 grip gekregen onder informatiewerkers die Big Data willen bestrijden.

  • De adoptie van Hadoop 2.0 blijft toenemen en komt nu in de fase van volwassenheid.

  • Organisaties zijn zich bewust van de voordelen van YARN en zijn er enthousiast over.

Hier is een momentopname van vacatures voor Hadoop 2.0 / YARN in Indeed.com

Wie verhuist naar Hadoop 2 of heeft dit al gedaan?

Yahoo:

Yahoo! , de leider in alles wat Hadoop YARN (0.23.x) heeft geïmplementeerd. Volgens Murthy verwerkt Yahoo's cluster met 35.000 knooppunten nu 130-150 taken per dag, vergeleken met 50-60 vóór YARN.

Als we het hebben over de geweldige prestaties, citeert Murthy: 'Als je 2x meer dan 35.000 tot 40.000 knooppunten hebt, is dat fenomenaal'. Hij voegde er ook aan toe: 'Het is een behoorlijk boeiend verhaal om een ​​CIO te vertellen dat als je je software upgradet van Hadoop 1 naar Hadoop 2, je twee keer zo hoge doorvoersnelheden in je banen zult zien.'

eBay:

eBay heeft een van de grootste Hadoop-clusters in de branche, waar de gegevens in petabytes staan. Ze hebben ook hun clusters gemigreerd naar Hadoop 2.

Conclusie:

Nu Hadoop 2 volwassen en gemakkelijker te implementeren is, overtuigen ze zelfs de sceptici en migreren steeds meer organisaties naar Hadoop 2.0. Er zijn geldige redenen om de 1.x-versies te vermijden. Maar met Hadoop 2 overwegen zelfs de ongelovigen het, omdat het voor een breed scala aan toepassingen kan worden gebruikt. Door Hadoop 2.0 te leren en het te implementeren om berekeningen op Big Data uit te voeren, opent u de poorten naar een technisch geavanceerde en financieel lonende carrière.

Heeft u een vraag voor ons? Vermeld ze in het opmerkingengedeelte en we nemen contact met u op.

Gerelateerde berichten:

Hoe essentieel is Hadoop-training?