Security Data Lake Concept laptop Giacomo Lanzi

A cosa serve? Hadoop Security Data Lake (SDL)

Estimated reading time: 5 minuti

Ogni giorno continuano a emergere nuove minacce alla sicurezza informatica e gli hacker sviluppano nuove tecniche d’intrusione per poter accedere a dati sensibili e violare sistemi IT. Per questo è necessario collaborare con degli esperti di alto livello che tengano traccia dei nuovi sviluppi in ambito della sicurezza IT. Con la nascita e con la continua evoluzione dei Big Data si è affermato anche il concetto di Data Lake e di Security Data Lake.

Per un’azienda, è dispendioso assumere un team che si occupi esclusivamente della sicurezza interna di un sistema per questo in molti si rivolgono a dei professionisti, avvalendosi di un Security Operations Center as a Service (SOCaaS) Questo servizio, offerto da SOD, comprende anche un SDL. Cerchiamo ora di capire cosa sia e quale sia la loro importanza e comodità.

Security Data Lake: cosa sono

Security Data Lake Concept Big Data

Un Data Lake è un archivio che include grandi quantità di dati, strutturati e non, che non sono stati ancora elaborati per uno scopo specifico. Questi dispongono di un’architettura semplice per archiviare i dati. Ad ogni elemento viene assegnato un identificatore univoco e successivamente poi, viene contrassegnato con un set di metadati.

Quando sorge una domanda aziendale, i data scientist possono interrogare il Data Lake al fine di rilevare dati che potrebbero rispondere alla domanda. Essendo i Data Lake sorgenti che andranno ad archiviare informazioni aziendali sensibili, è necessario proteggerli con delle misure di sicurezza efficaci, tuttavia l’ecosistema esterno di dati che alimenta i Data Lake è molto dinamico e potrebbero insorgere regolarmente nuovi problemi che minano la sua sicurezza.

Gli utenti abilitati ad accedere ai Data Lake, ad esempio, potrebbero esplorare e arricchire le sue risorse, aumentando conseguenzialmente anche il rischio di violazione. Se ciò dovesse verificarsi, le conseguenze potrebbero rivelarsi catastrofiche per un’azienda: violazione della privacy dei dipendenti, informazioni normative o compromissione di informazioni di rilevanza essenziale per l’azienda.

Un Security Data Lake invece è più incentrato sulla sicurezza. Offre la possibilità di acquisire dati da molti strumenti di sicurezza, analizza questi ultimi per carpire informazioni importanti, mappando i campi seguendo un pattern comune.

I dati contenuti in un SDL

Esistono innumerevoli varietà diverse di dati, in diversi formati, JSON, XML, PCAP e altro.  Un Security Data Lake supporta tutte queste tipologie di dati, garantendo un processo di analisi più accurato ed efficiente. Molte aziende sfruttano i Big Data per sviluppare sistemi di rilevamento delle minacce basati sull’apprendimento automatico.  Un esempio, per questa eventualità, è il sistema UEBA integrato con il SOCaaS offerto da SOD.

Un Security Data Lake consente di disporre facilmente dei dati, rendendoli disponibili, offrendo l’opportunità anche di un’analisi in tempo reale.

Apache Hadoop

È un’insieme di programmi Open Source che permette alle applicazioni di poter lavorare e gestire un’enorme mole di dati. Lo scopo è quello di risolvere i problemi che coinvolgono elevate quantità di informazioni e di calcolo.

Apache Hadoop include HDFS, YARN e MapReduce. Quando parliamo di Hadoop dunque, ci riferiamo a tutti quegli strumenti in grado di interfacciarsi ed integrarsi con questa tecnologia. Il ruolo di Hadoop è essenziale perché con essi è possibile archiviare ed elaborare dati ad un costo davvero contenuto rispetto ad altri strumenti. Inoltre, è possibile farlo in larga scala. Una soluzione ideale, quindi, per gestire un SDL.

Security Data Lake Concept laptop

Hadoop Distributed File System (HDFS): è uno dei componenti principali di Apache Hadoop, fornisce un accesso ai dati dell’applicazione senza doversi preoccupare di definire degli schemi in anticipo.

Yet Another Resource Negotiator (YARN): Viene utilizzato per gestire le risorse di calcolo in cluster, dando la possibilità di poterle utilizzare al fine di programmare le applicazioni utente. Si occupa di gestire l’allocazione di risorse in tutto l’ecosistema Hadoop.

MapReduce: è uno strumento grazie al quale è possibile trasferire la logica di elaborazione, aiutando così gli sviluppatori a scrivere applicazioni in grado di manipolare grandi quantità di informazioni in un unico set di dati gestibile.

Quali vantaggi offre Hadoop?

È importante utilizzare Hadoop perché con esso è possibile sfruttare i cluster di più computer per analizzare grandi quantità di informazioni anziché avvalersi di un singolo computer di grandi dimensioni. Il vantaggio, rispetto ai database relazionali ed ai data warehouse, sta nella capacità di Hadoop nel gestire i big data in maniera veloce e flessibile.

Altri vantaggi

Tolleranza di errore: I dati vengono replicati su un cluster, così da essere poi facilmente recuperati in caso di errori o malfunzionamenti del disco o del nodo.

Costi: Hadoop è una soluzione molto più economica rispetto ad altri sistemi. Fornisce calcolo e archiviazione su hardware a prezzi accessibili.

Supporto di una solida community: Hadoop attualmente è un progetto supportato da una comunità attiva di sviluppatori che introducono aggiornamenti, migliorie e idee, rendendolo un prodotto appetibile per molte aziende.

Conclusioni

In questo articolo abbiamo appreso le differenze tra un Data Lake e un Security Data Lake, facendo chiarezza sull’importanza di avvalersi di questi strumenti al fine di garantire una corretta integrità dei sistemi informatici presenti in un’azienda.

Raccogliere i dati dell’infrastruttura è solo il primo passo per l’analisi efficiente e la conseguente sicurezza offerta dal monitoring, essenziale per un SOCaaS. Chiedici come queste tecnologie possono aiutarti nella gestione della cyber security della tua azienda.

Per dubbi e chiarimenti, noi siamo sempre pronti a rispondere ad ogni tua domanda.

Link utili:

Condividi


RSS

Piu’ articoli…

Categorie …

Tags

RSS CSIRT

RSS Dark Reading

RSS Full Disclosure

  • Defense in depth -- the Microsoft way (part 84): (no) fun with %COMSPEC% Marzo 24, 2023
    Posted by Stefan Kanthak on Mar 24Hi @ll, the documentation of the builtin START command of Windows NT's command processor CMD.EXE states: | When you run a command that contains the string "CMD" as the first | token without an extension or path qualifier, "CMD" is replaced | with the value of the COMSPEC variable. […]
  • Invitation to the World Cryptologic Competition 2023 Marzo 22, 2023
    Posted by Competition Administrator on Mar 21The WCC 2023 is a fully-online and open competition using GitHub. The language of the competition is English. The WCC 2023 has a total duration of 295 days, from Sunday January 1st 2023 to Monday October 23rd 2023. Teams and Judges must complete registration before Wednesday June 1st. The […]
  • Insecure python cgi documentation and tutorials are vulnerable to XSS. Marzo 22, 2023
    Posted by Georgi Guninski on Mar 21Is there low hanging fruit for the following observation? The documentation of the python cgi module is vulnerable to XSS (cross site scripting) https://docs.python.org/3/library/cgi.html ``` form = cgi.FieldStorage() print("name:", form["name"].value) print("addr:", form["addr"].value) ``` First result on google for "tutorial python cgi" is...
  • Re: Microsoft PlayReady security research Marzo 22, 2023
    Posted by Adam Gowdiak on Mar 21Hello, I feel obliged to provide additional comments to this paragraph as I start to believe that CANAL+ might not deserve sole blame here... While Microsoft claims there is absolutely no bug at its end, I personally start to perceive the company as the one that should be also […]
  • Re: Defense in depth -- the Microsoft way (part 83): instead to fix even their most stupid mistaskes, they spill barrels of snakeoil to cover them (or just leave them as-is) Marzo 22, 2023
    Posted by Arik Seils on Mar 21Hi there, One can use the Metasploit Framework Module post/windows/local/bypassua _fodhelper to achieve this. Greetings from Germany, A.Seils 17.03.2023 06:26:56 Stefan Kanthak :
  • Re: Microsoft PlayReady security research Marzo 21, 2023
    Posted by Security Explorations on Mar 21Hello, I feel obliged to provide additional comments to this paragraph as I start to believe that CANAL+ might not deserve sole blame here... While Microsoft claims there is absolutely no bug at its end, I personally start to perceive the company as the one that should be also […]
  • Defense in depth -- the Microsoft way (part 83): instead to fix even their most stupid mistaskes, they spill barrels of snakeoil to cover them (or just leave them as-is) Marzo 17, 2023
    Posted by Stefan Kanthak on Mar 16Hi @ll, with Windows 2000, Microsoft virtualised the [HKEY_CLASSES_ROOT] registry branch: what was just an alias for [HKEY_LOCAL_MACHINE\SOFTWARE\Classes] before became the overlay of [HKEY_LOCAL_MACHINE\SOFTWARE\Classes] and [HKEY_CURRENT_USER\Software\Classes] with the latter having precedence: Note: while [HKEY_LOCAL_MACHINE\SOFTWARE\Classes] is writable only by...
  • [CFP] Security BSides Ljubljana 0x7E7 | June 16, 2023 Marzo 17, 2023
    Posted by Andraz Sraka on Mar 16MMMMMMMMMMMMMMMMNmddmNMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMM MMN..-..--+MMNy:...-.-/yNMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMM MMy..ymd-.:Mm::-:osyo-..-mMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMM MM:..---.:dM/..+NNyyMN/..:MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMM Mm../dds.-oy.-.dMh--mMds++MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMM My:::::/ydMmo..-hMMMmo//omMs/+Mm+++++shNMN+//+//+oMNy+///ohM MMMs//yMNo+hMh---m:-:hy+sMN..+Mo..os+.-:Ny--ossssdN-.:yyo+mM...
  • Full Disclosure - Fastly Marzo 12, 2023
    Posted by Andrey Stoykov on Mar 11Correspondence from Fastly declined to comment regarding new discovered vulnerabilities within their website. Poor practices regarding password changes. 1. Reset user password 2. Access link sent 3. Temporary password sent plaintext // HTTP POST request POST /user/mwebsec%40gmail.com/password/request_reset HTTP/2 Host: api.fastly.com User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:108.0) Gecko/20100101 […]
  • Full Disclosure - Shopify Application Marzo 12, 2023
    Posted by Andrey Stoykov on Mar 11Correspondence from Shopify declined to comment regarding new discovered vulnerabilities within their website. Although 'frontend' vulnerabilities are considered out of scope, person/tester foundhimself a beefy bugbounty from the same page that has been listed below, including similar functionality that has not been tested yet. Two emails and several reports, […]

Customers

Newsletter