is een grote zorg als het gaat om het omgaan met vertrouwelijke gegevens. als superieur in gegevensverwerking wordt ook met hetzelfde probleem geconfronteerd. Het heeft geen eigen speciale beveiliging. Laten we begrijpen hoe het probleem hierdoor is opgelost Hadoop-beveiliging artikel.
- Waarom hebben we Hadoop-beveiliging nodig?
- Wat is Hadoop-beveiliging?
- Soorten Hadoop-beveiliging
- Kerberos
Waarom hebben we Hadoop-beveiliging nodig?
is het krachtigste, meest robuuste en zeer schaalbare framework voor de verwerking van big data dat daartoe in staat is petabytes aan gegevens crunchen met gemak. Vanwege de ongeëvenaarde mogelijkheden begon elk bedrijfsleven, gezondheids-, militaire en financiële afdelingen Hadoop te gebruiken.
Hadoop begon aan populariteit te winnen. Dit is wanneer de Hadoop-ontwikkelaars een monumentale misrekening. Hadoop miste speciale beveiligingssoftware in het. Dit had gevolgen voor veel gebieden waar Hadoop in gebruik was.
Meerdere bedrijfssectoren
Nationale veiligheid
Gezondheids- en medische afdelingen
Sociale media
Leger
De bovengenoemde gebieden zijn de belangrijkste gebruikers van Hadoop. Nu, Veiligheid is de grote sprong die Hadoop moet maken.
Wat is Hadoop-beveiliging?
Hadoop-beveiliging wordt over het algemeen gedefinieerd als een procedure om veilig de Hadoop Data Storage-eenheid, door een vrijwel ondoordringbare muur van beveiliging te bieden tegen elke mogelijke cyberdreiging. Hadoop bereikt deze beveiligingsmuur van hoog kaliber door het onderstaande te volgen beveiligingsprotocol.
Authenticatie
Authenticatie is de eerste fase waarin de inloggegevens van de gebruiker worden geverifieerd. De inloggegevens bevatten doorgaans de toegewijde gebruiker Gebruikersnaam en een geheim wachtwoord. Ingevoerdereferenties worden vergeleken met de beschikbare gegevens in de beveiligingsdatabase. Indien geldig, zal de gebruiker zijn geverifieerd.
Autorisatie
Autorisatie is de tweede fase waarin het systeem kan beslissen of het toestemming geeft aan de gebruiker, of toegang krijgt tot gegevens of niet. Het is gebaseerd op de vooraf aangewezen toegangscontrolelijst. Het vertrouwelijkeinformatie wordt veilig en alleen bewaard bevoegd personeel heeft er toegang toe.
Auditing
Auditing is de laatste fase, het houdt gewoon de bewerkingen bij die door de geauthenticeerde gebruiker zijn uitgevoerd tijdens de periode dat hij op het cluster was ingelogd. Dit isalleen gedaan voor veiligheid alleen doeleinden.
Soorten Hadoop-beveiliging
- Kerberos-beveiliging
Kerberos is een van de toonaangevende netwerkverificatieprotocollen die is ontworpen om krachtige verificatieservices te bieden aan beide Server en Client-eindigt door Geheime sleutel cryptografische technieken. Het is bewezen zeer veilig te zijn omdat het gedurende de hele sessie versleutelde servicetickets gebruikt.
- HDFS-versleuteling
HDFS-versleuteling is een formidabele vooruitgang die Hadoop ooit heeft omarmd. Hier de gegevens van bron naar bestemming (HDFS) wordt volledig versleuteld. Deze procedure vereist geen wijzigingen in de originele Hadoop-applicatie, waardoor de cliënt om het enige geautoriseerde personeel te zijn toegang de data.
Verkeersversleuteling
Verkeersversleuteling is niemand minder dan HTTPS (HyperText Transfer Protocol Secure). Deze procedure wordt gebruikt om de gegevensoverdracht te beveiligen, van de website net zoals gegevensoverdracht naar de website . Veel gateways voor internetbankieren gebruiken deze methode om transacties via een Beveiligingscertificaat
Machtigingen voor HDFS-bestanden en mappen
Machtigingen voor de HDFS-bestandsmap werk in een eenvoudig POSIX formaat. De Lezen en Schrijven machtigingen worden verstrekt als r en s respectievelijk. De machtigingen voor het Super gebruiker en Cliënt worden anders ingesteld op basis van de vertrouwelijkheid van het bestand.
Kerberos
Kerberos is een van de eenvoudigste en veiligste netwerken authenticatieprotocol gebruikt door Hadoop voor zijn gegevens- en netwerkbeveiliging. Het is uitgevonden door MET. Het belangrijkste doel van Kerberos is om de noodzaak om wachtwoorden via een netwerk uit te wisselen te elimineren, en ook om het netwerk te beveiligen tegen elk potentieel cyber snuiven.
Om de Kerberos-terminologie te begrijpen, moeten we eerst de componenten van de Kerberos-software leren kennen.
KDC of Key Distribution Center is het hart van Kerberos. Het bestaat voornamelijk uit drie componenten. Namelijk:
Database
De database slaat de gebruikersreferenties op zoals gebruikersnaam en zijn respectieve wachtwoorden. Het slaat ook het toegangsrechten verstrekt aan de gebruiker. Kerberos KDC-eenheid slaat ook aanvullende informatie op, zoals Versleutelingssleutel, ticketgeldigheid enzovoort.
Authenticatieserver
hoe je een Java-programma compileert
De ingevoerde gebruikersgegevens worden kruiselings gecontroleerd. Indien geldig, het Authenticatieserver zal voorzien TGT of Ticket Generation Ticket. Een TGT kan alleen worden gegenereerd als de gebruiker invoert geldige inloggegevens.
Ticket toekennende server
De volgende fase is de TGS of Ticket toekennende server. Het is in feite een applicatieserver van KDC die u de Serviceticket. Het serviceticket is vereist door de gebruiker om met Hadoop te communiceren en de service te verkrijgen die hij nodig heeft of om een bewerking op Hadoop uit te voeren.
U kunt Kerberos installeren met de volgende opdracht:
sudo apt-get install krb5-kdc krb5-admin-server
Laten we nu aannemen dat u toegang wilt tot een met Kerberos beveiligd Hadoop-cluster. U moet de volgende fasen doorlopen om toegang te krijgen tot het Hadoop-cluster, zoals beschreven in de onderstaande stappen:
U moet verkrijgen authenticatie van de Hadoop-cluster. U kunt zich laten verifiëren door uit te voeren Kinit commando op het Hadoop-cluster.
kinit root / admin
De Kinit Opdrachtuitvoering zal u omleiden naar het Inloggegevens pagina waar u wordt verwacht uw gebruikersnaam en wachtwoord.
De Kinit stuurt een Verificatieverzoek naar de Authenticatieserver.
Als uw inloggegevens Geldig, dan zal Authentication Server reageren met een Ticket Generation Ticket (TGT).
De Kinit zal het TGT in uw inloggegevens Cache Geheugen. De volgende opdracht helpt u om uw inloggegevens te lezen
klist
Nu bent u met succes geverifieerd in het KDS.
Voordat u toegang krijgt tot het Hadoop-cluster, moet u Kerberos-clients instellen. Gebruik hiervoor het volgende commando.
sudo apt-get install krb5-user libpam-krb5 libpam-ccreds auth-client-config
Nu probeer je een Hadoop-opdracht. Dat is een Hadoop-client.
De Hadoop-client zal uw TGT en verzoeken TGS ter goedkeuring.
voor- en nadelen van python
De TGS zal het verzoek goedkeuren en u voorzien van een Serviceticket.
Deze Serviceticket wordt in de cache opgeslagen door de Hadoop-client.
Deze Serviceticket wordt gebruikt door de Hadoop-client om communiceren met Hadoop Namenode.
De Namenode zal zich identificeren met zijn Ticket.
Beide Namenode-ticket en Hadoop Client Servicetickets zullen door elkaar worden gecontroleerd.
Beiden zijn er zeker van dat ze communiceren met een geverifieerde entiteit.
Dit heet Wederzijdse authenticatie.
De volgende fase is Autorisatie. De Namenode zal u voorzien van het onderhoud waarvoor u de autorisatie.
Eindelijk is de laatste fase Auditing. Hier je activiteit zal zijn aangemeld voor veiligheidsdoeleinden.
Hiermee komen we aan het einde van dit artikel . Ik hoop dat ik wat licht heb geworpen op uw kennis over een Hadoop-beveiliging.
Nu je Hadoop en zijn beveiliging hebt begrepen, kun je het door Edureka, een vertrouwd online leerbedrijf met een netwerk van meer dan 250.000 tevreden leerlingen verspreid over de hele wereld. De Edureka Big Data Hadoop-certificeringstraining helpt leerlingen expert te worden in HDFS, Yarn, MapReduce , Pig, Hive, HBase, Oozie, Flume en Sqoop met behulp van real-time use-cases op het gebied van detailhandel, sociale media, luchtvaart, toerisme en financiën.
Als u hier een vraag over heeft 'Hadoop-beveiliging' artikel, schrijf ons dan in het commentaargedeelte hieronder en we zullen zo snel mogelijk op u reageren.