Scenario L'ingegneria dei dati al centro delle tendenze IT

Dario Orlandi

Tempo di lettura: 2' 18''

Pubblicato il: 25/01/2023

InfoQ ha pubblicato un’analisi sulle principali tendenze nel campo dello sviluppo e delle architetture It, che include interessanti spunti per l’ingegneria dei dati, l’intelligenza artificiale e la transizione digitale.

I dati stanno attraversando un processo simile a quello già percorso da altri ambiti come l’architettura e le sicurezza IT, diventando un cittadino di prima classe in termini di modellazione, trasformazione ed elaborazione.

Ciò sta portando a una maggiore attenzione alle pipeline di dati automatizzate end-to-end per evitare problemi di dati in silos, duplicazione e qualità.

Le tendenze emergenti nell'ingegneria dei dati includono l'archiviazione attraverso database e l'architettura di streaming first, che si concentra su come acquisire e analizzare i dati in arrivo in termini di flussi.

La base per l’apprendimento automatico

L’apprendimento automatico e l'intelligenza artificiale sono un'altra area di tendenza, mentre l'infrastruttura che supporta questa evoluzione, ossia la data platform, è attraversata da grandi spinte innovative.

È importante considerare i dati come parte dell'intero sistema e garantire osservabilità e flusso dei dati attraverso l'uso di modelli di intelligenza artificiale. L'architettura dei dati sta diventando sempre più importante e bisogna dargli la stessa attenzione che è garantita al codice e all'architettura.

Esiste un approccio CI/CD continuo anche per i dati, in termini di ricezione, acquisizione, elaborazione e controllo delle versioni.

Attenzione crescente è destinata anche alle problematiche legate alla sostenibilità: la comunità di sviluppo del software deve assumersi la responsabilità non solo dal punto di vista legale, ma anche in termini di etica e sostenibilità.

Un approccio etico

Bisogna prestare attenzione agli aspetti etici per garantire che i prodotti siano buoni per l'ambiente (green computing) e per la comunità nel suo complesso (social computing).

Gli sviluppatori dovrebbero essere consapevoli dei pregiudizi intrinseci incorporati nei modelli di intelligenza artificiale e assicurarsi di utilizzare dati rappresentativi per evitare di perpetuare questi pregiudizi.

Con nuovi strumenti come ChatGPT, l'interazione con l'IA non è più limitata agli esperti in AI/ML e quindi è più importante che mai essere consapevoli e intenzionalmente responsabili nello sviluppo di nuove soluzioni.

Tutti coloro che sono coinvolti nel settore del software dovrebbero iniziare a porre domande sulla sostenibilità e la fonte di energia utilizzata per eseguire il software.

Adrian Cockcroft, che ha lavorato sulla sostenibilità per Amazon arrivando a ricoprire il ruolo di VP Sustainability Architecture, ha lanciato l’idea di gestire la sostenibilità come requisito per lo sviluppo e il funzionamento dei sistemi software.

Questo approccio include la misurazione e la riduzione dell'impronta di carbonio, la gestione del consumo d’acqua, la responsabilità sociale nelle catene di approvvigionamento e il riciclaggio per creare un'economia circolare.