Log file management tramite syslog-ng

I sistemi IT producono grandi quantita’ di log file, strumenti utilissimi per garantire la sicurezza dei dati e la stabilita’ delle applicazioni. Pero’, in un ecosistema complesso, la quantita’ di file e la loro posizione, possono diventare due scogli insormontabili da superare, nel caso in cui sia necessario consultare i dati in modo efficiente. Ecco che entrano in gioco i sistemi di log management, che grazie a tecnologie come quella di Syslog-ng, sono in grado di aggirare il problema. Nell’articolo vediamo in che modo una soluzione di gestione dei log file possa essere un investimento prezioso.

Cos’e’ un log file, a cosa serve

Ogni azione che viene compiuta su un macchina o da essa, puo’ essere registrata in un file log. Per capire cosa sia, immaginiamo che si tratti del diario di bordo di una nave, in cui viene annotato ogni singolo fatto accaduto sull’imbarcazione. In effetti, il nome deriva proprio dall’ambiente nautico, in cui era comune l’uso di un logbook. Questo non era altro che un diario in cui venivano segnati, a intervalli regolari, i dati di navigazione: velocita’, forza e direzione del vento, condizione delle acque e cosi’ via.

Con il concetto di registrare informazioni utili in un file consultabile successivamente, il log file contiene ogni cambiamento, azione, stato o modifica per motivi di sicurezza. Nel caso in cui qualcosa dovesse andare storto, e’ semplice capire cosa sia successo consultando un log file. Questo e’ particolarmente vero quando parliamo di server e di applicazioni, diffusione dei dati, sicurezza IT, etc.

Quantita’ di log file

Alcune compagnie hanno fino a qualche decina di server, altre ne anno centinaia, alcune migliaia e ce ne sono altre che gestiscono decine di migliaia di server. Questi sistemi producono un numero enorme di dati sotto forma di log file.

A complicare le cose ci si mette l’architettura informatica. Molto spesso le macchine sono organizzate in sottosistemi, sia per motivi di comodita’ che di sicurezza. Nel malaugurato caso in cui qualcuno volesse consultare i log file in seguito a un incidente, ci sarebbe da disperarsi. Quale server conserva il dato che ci interessa? In quale sottosistema si trova? Non sono domande a cui si riesce a dare una risposta semplice, soprattutto se non si conosce l’origine del problema.

La gestione dei log file di un sistema (o Log Management) e’ indispensabile nella raccolta dei dati, prevenzione e risoluzione di problemi.

Log Management di Secure Online Desktop

SOD propone una soluzione di log management tramite gli agenti di Syslog-ng Premium Edition. Questi sono in carico della raccolta, trasmissione e stoccaggio dei log file. Non solo vengono raccolti e centralizzati in un unico luogo virtuale, ma i dati sono anche normalizzati, cioe’ “tradotti” in formati standardizzati in modo da poterli consultare e confrontare con maggiore facilita’.

Normalizzazione, report e classificazione in real-time

Grazie alla normalizzazione, e’ possibile effettuare in pochi secondi ricerche full-text trasversali a tutti i log file raccolti. Operazioni complesse sono garantite dalla possibilita’ di utilizzo di wildcard e operatori booleani. L’analisi dei dati raccolti ne risulta quindi molto semplificata, il che permette di utilizzare i dati anche per monitorare l’efficienza del sistema, individuare possibili problemi futuri e intervenire prima che sia troppo tardi.

E’ possibile anche generare report personalizzati composti da grafici e statistiche con lo scopo di attestare la conformita’ a norme e regolamenti come PCI-DSS, ISO 27001, SOX e HIPAA.

Una delle caratteristiche piu’ interessanti di syslog-ng, e’ la capacita’ di classificare in modo automatico i messaggi e ordinarli in classi. Queste possono essere poi usate per etichettare il tipo di evento descritto nel log. Esempi di possibili classi: login utente, crash dell’applicazione, trasferimento file, etc.

Estrazione e correlazione dei messaggi nei log file

La classificazione dei messaggi apre le porte a un ulteriore funzionalita’: l’estrazione e correlazione dei messaggi. Una volta che ogni messaggio contenuto nei log file e’ stato normalizzato e classificato secondo le proprie esigenze, e’ possibile assegnare diversi tag, per aggiungere un livello di filtro ulteriore.

Per fare un esempio: una volta raccolti i messaggi di accesso di un utente, e’ possibile etichettarli come user_login, e poi isolarli estraendoli e raccogliendoli in un file separato per eseguire ulteriori elaborazioni su questi messaggi. 

Syslog-ng rende possibile anche la correlazione degli eventi in tempo reale, per evitare che i dati di un singolo evento siano sparsi in diversi log file. Per esempio i dati di accesso e uscita (log-in e log-out) sono spesso registrati lontani l’uno dall’altro, addirittura in log file diversi. Attraverso la correlazione si possono raccogliere e analizzare i dati di un singolo evento in modo isolato.

Backup automatico

I messaggi di log memorizzati e la configurazione del servizio di Log Management possono essere periodicamente trasferiti a un server remoto utilizzando i seguenti protocolli:

– Network File System protocol (NFS)
– Rsync over SSH
– Server Message Block protocol (SMB/CIFS)

Prestazioni

Il sistema di raccolta e gestione dei log file con gli agenti syslog-ng PE opera su oltre 50 piattaforme, incluse tutte le distribuzioni di Linux e le versioni commerciali di Unix e Windows. Il servizio e’ in grado di gestire quantita’ enormi di messaggi, fino a oltre 100.000 al secondo e oltre 70 GB di log file grezzi all’ora, da 5000 fonti differenti (server, applicativi, etc.).

Chiedici ulteriori informazioni sul nostro servizio di Log Monitoring per sapere nello specifico come e’ implementabile nei tuoi sistemi e come puo’ esserti di aiuto.

Contattaci

Link utili:

Log Management

Log Management caratteristiche

Nuovo servizio | Log Management – Il servizio ad alte prestazione per la conservazioni dei Log

 

Please follow and like us:
syslog server

syslog server – Il servizio ad alte prestazione per la conservazioni dei Log

  • Utilizza tutti i punti di forza del syslog-ng Premium Edition
  • Ricerca i log, rendi sicuri i dati sensibili con policy di accesso granulari e genera report
  • Inoltra i log verso strumenti di terze parti

 

SYSLOG SERVER – SERVIZIO DI LOG MANAGEMENT IN CLOUD PER GESTIRE I TUOI LOG

Il servizio di Log Management ti consente di conservare i log (applicativi, di sistema, audit log, database query, etc) nel Cloud della Secure Online Desktop al sicuro da qualsiasi manomissione ed in rispetto alle normative sulla conservazioni dei dati.

RACCOGLI E INDICIZZA I LOG DELLE TUE APPLICAZIONI NEL CLOUD

Il servizio di gestione dei log utilizza gli agenti syslog-ng Premium Edition per la raccolta scalabile e affidabile dei log. Gli agent sono disponibili per più di 50 piattaforme, incluse le distribuzioni Linux più diffuse, le versioni commerciali di UNIX e Windows.
Il motore di indicizzazione del servizio di Log Management è ottimizzato per le alte prestazioni. A seconda della configurazione adottata può raccogliere e indicizzare fino a 100.000 messaggi al secondo per periodi sostenuti. Una singola istanza del servizio può raccogliere i messaggi di log da più di 5.000 fonti (server, applicativi, etc).

CERCA, ANALIZZA E CREA REPORT

Con la ricerca full-text, e’ possibile eseguire ricerche in miliardi di log in pochi secondi tramite l’interfaccia utente intuitiva web based. Le wildcard e gli operatori booleani consentono di eseguire ricerche complesse e di analizzare i risultati. Gli utenti possono disporre di una panoramica rapida e individuare così eventuali problemi. E’ possibile creare facilmente report personalizzati composti da grafici e statistiche per dimostrare la conformità a norme e regolamenti come PCI-DSS, ISO 27001, SOX e HIPAA.

SISTEMA DI RACCOLTA DEI LOG FLESSIBILE CON AGENT SOFTWARE PER OLTRE 50 PIATTAFORME

Nell’abbonamento sono inclusi gli agent syslog-ng Premium Edition per la raccolta e l’inoltro dei log. Gli eseguibili di syslog-ng PE sono disponibili per oltre 50 piattaforme, incluse le distribuzioni Linux, le versioni commerciali di UNIX e Windows.

SYSLOG SERVER – MOTORE DI INDICIZZAZIONE ALTAMENTE SCALABILE

Il servizio di Log Management e’ ottimizzato per le prestazioni e può gestire enormi quantità di messaggi. A seconda della configurazione, può indicizzare oltre 100.000 messaggi al secondo per periodi prolungati e elaborare oltre 70 GB di log raw all’ora.

TRASFORMAZONE REAL-TIME DEI LOG

Filtra, Analizza, Riscrive

L’applicazione syslog-ng può ordinare i messaggi di log in arrivo in base al loro contenuto e ai vari parametri come l’host di origine, l’applicazione che li ha generati e la priorita’. Le directory, i file e le tabelle di database possono essere create in modo dinamico utilizzando le macro. Il filtro complesso, che utilizza espressioni regolari e operatori booleani, offre flessibilità quasi illimitata per inoltrare solo i messaggi di log importanti alle destinazioni selezionate.

Analizza coppie chiave-valore

L’aggregatore di Log puo’ separare un messaggio composto da coppie di chiave-valore separati da spazi o da virgole (ad esempio i log di firewall) in coppie di nome-valore.

Analizza i messaggi di log del sudo

Gli account utente privilegiati rappresentano il rischio di sicurezza più elevato in quanto consentono l’accesso ai dati e alle risorse più sensibili. Il parser sudo consente di arricchire i dati del tuo messaggio di log con i dettagli degli eventi di escalation dei privilegi.

Normalizza i dati con PatternDB

L’applicazione syslog-ng può confrontare il contenuto dei messaggi di log con un database di modelli di messaggi predefiniti.

Classificazione Real-time dei messaggi di log

Comparando i messaggi di log a modelli conosciuti, syslog-ng e’ in grado di identificare il tipo esatto dei messaggi e di ordinarli in classi di messaggi. Le classi di messaggi possono essere utilizzate per classificare il tipo di evento descritto nel messaggio di log. Le classi di messaggi possono essere personalizzate e, ad esempio, possono etichettare i messaggi come login utente, crash dell’applicazione, trasferimento di file, etc.

Estrazione delle informazioni rilevanti contenute nei messaggi di log

Oltre a classificare i messaggi, puoi anche aggiungere diversi tag che possono essere utilizzati in seguito per filtrare i messaggi, per esempio per raccogliere i messaggi contrassegnati come user_login in un file separato o per eseguire l’elaborazione post-condizionale sui messaggi contrassegnati.

Correlazione Real-time degli eventi

Syslog-ng rende possibile anche la correlazione degli eventi in tempo reale. Questo può essere utile in molte situazioni. Ad esempio, i dati importanti per un singolo evento sono spesso sparsi in più messaggi di syslog. Inoltre, gli eventi di login e di logout vengono spesso registrati lontano l’uno dall’altro, anche in diversi file di log, rendendo difficile l’analisi dei log. Usando la correlazione questi possono essere raccolti in un unico nuovo messaggio.

 

BACKUP AUTOMATICO DEI DATI SALVATI

I messaggi di log memorizzati e la configurazione del servizio di syslog server possono essere periodicamente trasferiti a un server remoto utilizzando i seguenti protocolli:

– Network File System protocol (NFS);
– Rsync over SSH;
– Server Message Block protocol (SMB/CIFS).

 

Contattaci

 

 

Please follow and like us:

Customers

Newsletter