Als je al uit de IT-industrie , dat moet u beseffen Big data is het gesprek van de dag. Of het nu gaat om nieuwe startups die innovatieve bedrijfsmodellen bedenken, of uw collega's die zich om de een of andere reden bij die startups aansluiten, vandaag groenere weiden lijken de Big data industrie.
Als je je afvraagt waarom, dan raad ik je aan dit tot het einde te lezen, want dit kan een zelfonderzoekende blog zijn die je leidt naar waar je voor bestemd bent.
Dus waarom dit allemaal?HYPEomgeving GROTE GEGEVENS?
Is het gewoon een ander domein dat tijdelijk vluchtelingen uit alle andere domeinen aan land gaat brengen? Of zal het hier zijn voor de lange termijn?
bestanden overbrengen naar ec2 linux-instantie
Als ik een gok zou wagen, zou ik zeggen dat het niet alleen hier voor de lange termijn zal zijn, maar dat de big data-industrie het epicentrum van technologische vooruitgang zal zijn.
Omdat alles draait omGEGEVENS!
Net als de zonstijgtvan deOostenensetsin deWestzal voortdurend gebruik van computer- / niet-computerapparatuur resulteren in een uitbarsting van onhandelbare gegevens.
Wanneer deze gegevens de drempel overschrijden, om te worden afgehandeld door Excel of een ander databasebeheersysteem, noemen we het GROTE GEGEVENS .
Denk na, wat was het laatste product dat u bij Amazon hebt gekocht? Welk product kan het volgende product zijn dat u zou kunnen kopen op basis van eerdere activiteiten? Antwoorden op dergelijke vragen worden opgeslagen in Big Data.
Zit er een groeiende trend achter een product? Of is er een dalende trend? Zal een klant ‘Kousen’ kopen als hij ‘Schoenen’ koopt? Dit zijn zakelijke probleemoplossende vragen.
En deze vragen kunnen gemakkelijk zijn beantwoord door het gebruiken van Big Data-analyse .
Wat is tenslotte het gebruik van gegevens, wanneer niet analyseren het?
Big Data dushelemaal overAnalytics?Niet helemaal, maar Analytics is de ultieme prijs.
Andere belangrijke streams in Big Data zijnOpslagenBeheer.
Hier kun jij als professional aan bijdragen. U kunt de rol aannemen van:
- Big Data-ingenieur
- Architect voor big data-oplossingen
En zorg ervoor dat de big data die wordt gegenereerd, altijd beschikbaar is en op een later moment voor analyse kan worden gebruikt. Dus dit brengt ons bij de vraag & hellip
Waar worden Big Data opgeslagen?
Kan het worden opgeslagen in eenExcel bestand? Kan het worden opgeslagen in eenrelationeel databasesysteem?
Echt niet!
Als het had kunnen zijn, dan zou het zijn geweest!
En allemaal samen iets anders genoemd worden. Misschien zoietsExcel-gegevensofRDBMS-gegevens: D
En dat zou ons terugbrengen naar STAP 1 : - Waarom kunnen big data niet worden beheerd met Excel? OmdatBig Data is gewoon te heet voor Excel om ermee om te gaan. En zelfs andere databasebeheersystemen.
Dus, wat is het alternatief?
Voor het omgaan met Big Data hebben we HADOOP . Wellicht kent u dit woord ook. Maar u vraagt zich misschien af, hoe werkt het precies?
Om te beginnen is HADOOP een product vanAPACHE Foundation. Apache is een Amerikaanse non-profitorganisatie die de ontwikkeling van open-source software ondersteunt.
Hadoop wordt gedefinieerd als een open-source op Java gebaseerd programmeerraamwerk dat de verwerking en opslag van extreem grote gegevenssets in een gedistribueerde computeromgeving ondersteunt.
Wat kan Hadoop doen, maar Excel niet?
Verwerk en begrijp ongestructureerde data!Gestructureerde gegevens in tabelvorm of anderszins kunnen gemakkelijk worden verwerkt. Excel kan het, en dat geldt ook voor elk ander RDBMS.
Maar als de leesbaarheid afneemt en de gegevens ongestructureerd zijn, is dat waar Big Datatools zoals Hadoopscore. Een voorbeeld van ongestructureerde data is syslog . Een voorbeeldafbeelding is hieronder.
Dergelijke logboeken zijn absoluut niet opvraagbaar met Excel.
Hadoop kan, net als Big Data-tools, gegevens begrijpen zoals ze zijn, door patronen op te sporen en relaties te leggen tussen verschillende velden. En als de gegevens eenmaal een relationeel tintje hebben, is dat ook zoKlaar voor analyse.
Analytics is wat een zakelijke impact zal hebben op een organisatie! Je carrière zal grotendeels profiteren van zijn betrokkenheid bij dit Big Data-domein.
' Kan ik het maken als Hadoop-er? '
… Is misschien de volgende vraag waar u aan denkt. En terecht, Big Data is een markt die hot is als altijd, en zo belangrijk als altijd.
Zonder Hadoop zullen bedrijven het moeilijk hebben om met Big Data om te gaan. En zonder bekwame professionals zoals jij, zullen bedrijven het moeilijk hebben om met Hadoop om te gaan.
Er is een rapport dat zegt dat er een tekort aan talent is op dit gebied. Een tekort aan talent betekent: minder professionals, maar veel vraag. En dit is op wereldschaal en niet beperkt tot een bepaalde geografie.
Wilt u cijfers?
NAAR McKinsey Global Institute onderzoek stelt dat de VS tegen 2018 te maken zal krijgen met een tekort aan ongeveer 190.000 datawetenschappers en 1,5 miljoen managers en analisten die Big Data kunnen begrijpen en beslissingen kunnen nemen.
Loopbaanadvies aan jou? Surf als de getijden laag zijn!
Maar ben jij beperkt alleen Hadoop ?
Niet echt. Er zijn een aantal tools om Big Data te verwerken, en Hadoop wordt als een van de beste beschouwd. Maar niet elke keer!
Er zijn momenten dat Hadoop niet de beste oplossing is. Als u bijvoorbeeld een niet-technisch persoon bent die niet erg goed is in het schrijven van MapReduce-programma's.
In dergelijke gevallen kunt uTALEND, wat je een grafische gebruikersinterface geeft om te doen wat je anders zou hebben gedaan met MapReduce.
Voor het schrijven van eenvoudigere Java-codes kunt uVARKEN.
Als u SQL-achtige query's op Big Data wilt uitvoeren, danBIJENKORFkunnen worden gebruikt.
Als u gegevens wilt gebruiken die zijn opgeslagen in een NoSQL-database, danHBasekunnen worden gebruikt.
Voor het uitvoeren van analyses in realtime kunt u gebruikenVONK.
Dit zijn Big Data-tools die hand in hand gaan met Hadoop, maar die Hadoop helemaal niet vervangen. Het zijn Hadoop-add-ons voor Big Data.
Bovendien zijn er nog een aantal tools zoals SQOOP, FLUME, OOZIE, enz. Die kunnen worden geïntegreerd met het Hadoop-framework voor het oplossen van verschillende zakelijke problemen.
Wat verwacht de branche van jou als Big Data Expert?
De industrie heeft daar dringend behoefte aan BIG DATA ARCHITECTEN die een end-to-end big data-oplossing voor hun organisaties kunnen bouwen. Big Data Architects zijn degenen met expertise in alle eerder genoemde tools.
Hier is een getuigenis van een Edureka-leerling Cursus:
Een worden te beginnen met Edureka's Big Data en Hadoop-certificeringstraining die leerlingen helpt expert te worden in HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume en Sqoop met behulp van real-time use cases op het gebied van detailhandel, sociale media, luchtvaart, toerisme en financiën .