Il valore degli insight generati dall’intelligenza artificiale dipende dall’affidabilità e dalla qualità dei dati con cui l’AI è alimentata. E perché la qualità dei dati sia elevata è necessario disporre di una moderna architettura pensata per essere allineata alla strategia aziendale e basata su un’unica piattaforma che funzioni su infrastrutture cloud pubbliche, come negli ambienti ibridi e on-premise.
Da qui parte il confronto con Fabio Pascali, regional vice president Italia, Grecia e Cipro di Cloudera, sulla scorta della ricerca Data Architecture and Strategy in the AI Era, commissionata questa primavera dall’azienda a Foundry Media e i cui numeri quasi sembrano generare ad hoc lo scenario di discussione con il manager.
L’indagine ha coinvolto 600 tra data leader e decision maker IT interrogati in primavera sullo stato delle moderne architetture di dati e su come l’ascesa dell’intelligenza artificiale (AI) stia impattando le strategie. Il 90% dei leader IT ritiene che l’unificazione del ciclo di vita dei dati su un’unica piattaforma sia fondamentale per analytics e AI. Ma gli intervistati incontrano anche non pochi ostacoli nel percorso di implementazione dell’AI, per motivi diversi: oltre un terzo del campione per la qualità e la disponibilità dei dati; percentuale analoga è in sofferenza per le sfide legate a scalabilità e implementazione e per le difficoltà nell’integrazione dei sistemi esistenti. Gestire il cambiamento e transizione dei modelli pure si rivelano critici.
Implementare i workload AI nelle data platform è tutt’altro che semplice, ma il campione evidenzia anche tre punti strategici su cui lavorare: un‘architettura dati, appunto, che funzioni senza soluzione di continuità per semplificare processi di dati/analisi e introdurre flessibilità nella gestione di tutti i tipi di dati (1); l’approdo ad una gestione unificata e integrata dei dati (2) – perché i fattori che ostacolano la gestione dei dati end-to-end necessaria per lo sviluppo di modelli di AI, per il 62% sono volume e della complessità dei dati, per il 56% la sicurezza dei dati e per il 52% governance e conformità -. Ecco perché il campione di fatto concorda che la soluzione sia proprio un approccio di piattaforma, ‘agnostica’ rispetto alle architetture dati scelte (3).
“Cloudera ha un ruolo molto importante in questo – spiega Pascali – in particolare perché ci posizioniamo esattamente con una proposta di piattaforma in grado di fornire tutti i dati necessari al motore di AI generativa così da avere risultati coerenti, sicuri, privi di allucinazioni, sulla base di una proposizione coerente anche dal punto di vista dei costi, scalabile e sicura”.
L’aggancio ai numeri della survey è servito. Prosegue Pascali: “In un’architettura moderna bisogna poter gestire qualunque tipo di dato e Cloudera ha sposato l’architettura Open Data LakeHouse, per la gestione sia dei dati strutturati come di quelli non strutturati, in tutti gli ambienti (public cloud, hybrid cloud, on-premise). La gestione integrata dei dati ovunque siano, semplifica i workload con l’AI e indirizza il tema della sicurezza perché non sono i dati a spostarsi per servire i workload”. Cloudera porta i large language model (Llm), come quelli di Hugging Face, all’interno della piattaforma. I dati in questo modo non escono dal profilo di sicurezza dell’azienda.
Acquisizione Verta, i vantaggi
Con l’integrazione di Verta, acquisita di recente (giugno 2024), Cloudera rafforza la sua posizione proprio in questo scenario competitivo. Verta infatti è all’avanguardia nella gestione, nel servizio e nella governance dei modelli per l’AI predittiva e generativa (GenAI). La sua proposta risolve uno dei maggiori ostacoli all’implementazione dell’intelligenza artificiale, consentendo alle aziende di costruire, rendere operativi, monitorare, proteggere e scalare in modo efficace i modelli in tutta l’azienda. Nel dettaglio, Verta semplifica il processo di trasformazione dei dataset in applicazioni personalizzate di retrieval-augmented generation, e così qualsiasi sviluppatore – indipendentemente dal suo livello di esperienza nell’apprendimento automatico – può creare e ottimizzare modelli linguistici di grandi dimensioni (Llm) affinché siano pronti per servire il business.
Pascali: “L’acquisizione copre un tassello importante, quello del tema AIOps, cioè della gestione operativa di tutto quello che sono i modelli di AI. Una volta che i clienti hanno a disposizione strumenti che consentono di generare modelli sempre più evoluti, per complessità e numerosità, il tema della loro gestione diventa importante, perché un modello deve essere governato, bisogna aiutare i clienti a crearlo, a svilupparlo, a gestire il suo ciclo di vita. Dismissione compresa”. Verta quindi è stata acquisita proprio per colmare un’area che come Cloudera aveva già indirizzato per la parte di machine learning, adesso andava indirizzata per l’AI.
La partnership con Nvidia e i progetti
“L’evoluzione dell’offering di Cloudera per quanto riguarda l’AI, comprende poi anche l’estensione della partnership con Nvidia, oltre quella relativa all’utilizzo delle Gpu – prosegue Pascali-, per l’integrazione dei microservizi Nvidia Nim”. Con Cloudera Powered by Nvidia vengono quindi integrati i microservizi Nvidia Nim di livello enterprise in Cloudera Machine Learning, un servizio di Cloudera Data Platform per i workflow AI/ML, così da offrire workflow AI generativi end-to-end veloci, semplificati in produzione e sicuri.
“In Italia, vediamo molta attenzione per i progetti AI, tanti sono i Poc, e leggiamo un interesse concreto nel numero di realtà che stanno investendo con noi in maniera significativa nell’ambito della Trusted AI, perché trovano in Cloudera l’approccio sicuro ai dati che chiedono”. Ci sono sicuramente alcuni ambiti più interessati di altri, quelli, in senso esteso, regolati. “L’AI sicura, trusted, enterprise, dove Cloudera porta un valore aggiunto rispetto ad altre soluzioni è l’ambito entro cui meglio ci stiamo muovendo e siamo riconosciuti”. Sicuramente il settore pubblico è quindi un settore molto interessato, ma anche il finance e l’energy lo sono. Più indietro, solo al momento, la sanità.
Cloudera, il ruolo dell’ecosistema
Il ruolo dei partner e dell’ecosistema tutto resta vitale per “democratizzare” anche verso il basso la proposta di AI Trusted e di gestione del dato.
Pascali: “La parte più complessa delle attività AI resta appannaggio dei grandi clienti, delle realtà più grandi, questo è innegabile, ed è legata alle effettive capacità di execution dei clienti. E’ cresciuto intanto il numero di data scientist nelle organizzazioni, e proprio data scientist, chief innovation officer e data officer sono direttamente chiamati in causa nell’elaborazione dei progetti”.
Anche la media azienda però ha guadagnato importanti capability in questo senso, senza le quali sarebbe difficile mettere a terra un progetto che parta dai dati, dall’architettura dati, dagli insight avanzati e da un approccio GenAI. “La notizia buona è che grazie a un approccio flessibile alle data architecture che abbraccia anche il mondo cloud, anche l’entry point di accesso ad architetture complesse si sta abbassando” – e questo apre nuove vie.
“Cloudera è poi realtà che ha bisogno e vuole collaborare con le terze parti, abbiamo fatto un investimento enorme in questi anni nel raccontare la trasformazione di Cloudera da realtà legata al mondo dei Big Data, all’idea della Cloudera Data Platform che abbraccia qualunque tipo di dato, da quando è generato fino al Data LakeHouse“. E la proposizione oggi riconosciuta a livello globale, vede nell’Italia uno dei Paesi con i migliori risultati in assoluto, proprio grazie anche ai partner ed all’ecosistema. “Sono la cerniera tra l’esigenza del cliente, tra l’esigenza di business, quella tecnologica e la declinazione vera e propria del progetto”. Grazie allo sviluppo di use case sulla piattaforma sono gli stessi system integrator ad estender lo spettro di azioni, di sviluppo del business possibile. Perché sono loro che integrano le tecnologie e portano il risultato che è quello che interessa il cliente… “Cliente che vuole utilizzare l’AI per abbassare i costi delle attività più ripetitive, oppure per migliorare l’efficacia di determinate campagne, fare customer summarization di conversazioni e… appunto… Generare nuovi casi d’uso“.
Gli assistant, per un’AI alla portata del business
A facilitare poi l’utilizzo da parte di tutte le line of business dell’AI, Cloudera ha annunciato anche tre nuovi assistenti (Cloudera AI Assistant) che consentono ai clienti di accelerare lo sviluppo di applicazioni basate su dati, analytics e AI e ottenere insight a maggior valore. Con queste nuove funzionalità, Cloudera estende le sue capacità in materia di AI per permettere ai clienti di trasformare i dati, ovunque si trovino, in informazioni utili. Il primo di questi Sql AI Assistant risolve le sfide comunemente associate alla scrittura di query Sql complesse e “consente agli utenti di acquisire competenze avanzate su Sql”. Basta quindi descrivere ciò di cui si ha bisogno in linguaggio naturale e l’assistente Sql AI trova i dati pertinenti utilizzando tecniche avanzate come prompt engineering e retrieval augmented generation (Rag). L’AI Chatbot di Cloudera all’interno di Cloudera Data Visualization è progettato, invece, per dialogare direttamente con i dati aziendali per approfondimenti contestualizzati sul business che vanno al di là di ciò che i cruscotti di BI possono tipicamente visualizzare. “Il chatbot risiede direttamente nella dashboard e nei report creati con Cloudera Data Visualization e sfrutta il contesto dei dati disponibili dietro la dashboard”. Ultimo, Cloudera Copilot per Cloudera Machine Learning è alimentato da Llm pre-addestrati progettati per superare le sfide legate all’implementazione di modelli AI e ML in produzione, dalla gestione dei dati alla codifica. Integrato con oltre 130 modelli e dataset di Hugging Face, “Cloudera Copilot supporta il processo di sviluppo end-to-end delle applicazioni AI e accelera le attività dei data scientist, lo sviluppo dei modelli e la la loro messa a punto”.
Cloudera, perché un approccio differente
Sollecitato ad evidenziare le differenze di spicco dell’approccio Cloudera per quanto riguarda la proposta Data Platform – un segmento di mercato, quelle delle piattaforme dati, oggi decisamente più “affollato” che in passato – Pascali non ha dubbi: “Il nostro obiettivo è quello di riuscire a fare in modo che i clienti utilizzino in maniera efficace i dati, in qualunque contesto. Quindi l’hybrid data platform è il nostro riferimento. Significa perfetta indipendenza dall’infrastruttura oggi e domani – quindi no lock-in infrastrutturali – capacità di gestire il dato in qualunque contesto, on-premise, fisico, virtuale, su piattaforma convergente, sul public cloud in maniera nativa (quindi su Amazon, su Google, su Aws), oppure ancora in modalità ibrida, ma sempre con gli stessi livelli di sicurezza propri della piattaforma, non di dove risiede il dato”.
La gestione del dato è quindi unica, anche se il dato viene gestito in maniera dispersa.
E’ questo approccio fondamentale a fronte dei rischi della cloud concentration ed indirizzato in particolare proprio con Cloudera DataFlow che è un servizio dati nativo per il cloud basato su Apache NiFi per la distribuzione universale dei dati semplificando il processo di trasferimento end-to-end. “L’altro punto importante è che noi crediamo nell’open source come fattore distintivo”. Gli algoritmi dei Llm che Cloudera importa da Hugging Face sono già pre-addestrati e messi a disposizione all’interno dei moduli machine learning. L’open source quindi come “chiave di volta, anche verso chi vuole evitare un lock-in pesante. E un ulteriore elemento che distingue Cloudera è la sicurezza: embedded nella piattaforma e non ‘costruita’ ad hoc: garantisce ai clienti di avere il dato – da quando nasce a quando viene consumato – protetto nello stesso modo”. Ed in ultimo Cloudera è proposta end-to-end. Chiude Pascali: “Ci sono soluzioni sul mercato puntuali. Noi quello che offriamo ai clienti è una piattaforma integrata che non sottopone i clienti a quelle che io chiamo le ‘tasse di integrazione’ che si ripetono poi nel tempo. Tutte queste caratteristiche ci fanno unici sul mercato… In attesa delle novità in occasione dell’appuntamento Evolve 24, in ottobre, in Italia, a Milano. E’ uno dei sette appuntamenti cloud di Cloudera a livello globale, con il nostro Paese ad ospitare l’evento, proprio a voler premiare i risultati raggiunti localmente”.
© RIPRODUZIONE RISERVATA
