La Generative AI è senza dubbio il tema del momento (e probabilmente del decennio). Tutti ovviamente ne parlano.
Ma solo poche aziende stanno facendo qualcosa (i dati dicono che ci sono tanti POC di sperimentazioni con startup, ma ancora pochissime conversioni; al contrario le società di consulenza stanno facendo grandi numeri – Accenture ha dichiarato contratti per oltre 600 milioni nell’ultimo trimestre) e ancora meno hanno ancora le idee chiare su come effettivamente utilizzarla.
Visto che il buon senso suggerisce sempre di ascoltare chi ne sa di più, questa settimana capitalizzo il viaggio immersione che l’amico Patrick Oungre (Head of Innovation di A2A) ha fatto in Silicon Valley. Lì ha avuto la possibilità di incontrare OpenAI, Anthropic, Google, Amazon e Meta.
Raccomando a tutti di rileggere i suoi appunti di viaggio su LinkedIn: accesso ad informazioni, intelligenza e capacità di processarle (soprattutto con un profilo da manager di impresa) e disponibilità a condividerle in modo comprensibile sono un package imperdibile.
Per chi se lo fosse perso (o fosse pigro), trovate un riassunto sotto. Per le cinture nere di pigrizia, rimando alla puntata di Innovation Weekly di sabato cui abbiamo invitato Patrick a partecipare e condividere le sue impressioni.
Imprese e Generative AI: l’impatto
Siamo solo agli inizi della Generative AI ma di seguito è interessante avere qualche dato misurato su un grande cliente di OpenAI del mondo banking americano (no comment sul nome):
- 62% della popolazione dipendente ha risparmiato almeno un’ora a settimana
- 89% ha migliorato l’efficienza operativa
- 78% ha aumentato la propria creatività
- 9% ha scoperto nuovi modi di fare il proprio lavoro quotidiano
Chi ha già adottato la Generative AI
Solo il 5% delle aziende a livello globale è in una fase di adozione della generative AI. In generale tutti stanno cercando di prendere le misure con la tecnologia studiandone a 360° gli impatti, da quelli etici alle ricadute sulla sicurezza e sulla forza lavoro. Da questo punto di vista l’Italia non sembra indietro rispetto al resto del mondo. Va capito come l’AI Act potrà influenzare questo percorso.
La velocità della GenAI
La sola Anthropic tra il 2023 e il 2024 rilascia 3 modelli che sono cresciuti esponenzialmente come performances: Claude1, Claude2 e Claude3.
OpenAI è prossima al lancio di GPT5 che, a detta loro, sarà un passo avanti molto significativo.
Google con Gemini 1.5 Pro sta entrando pesantemente in gioco. Lo stesso Meta.
E questi sono solo i casi più visibili, se ne contano decine e decine di altri.
Difficile immaginare cosa accadrà tra un anno.
L’adattabilità: non vincolarsi a un LLM
A prescindere dalle performances dei vari LLM, un’azienda non deve fare l’errore di costruire una architettura che si vincoli ad un unico LLM o a soluzioni specifiche perché, in funzione dello use case, delle performance attese e dei costi, la configurazione della soluzione di GenAI sarà diversa. È ancora tutto molto fluido e in forte evoluzione
La versatilità dei prompt
Oggi il prompt restituisce risultati diversi in funzione dell’LLM utilizzato. Aspettandoci di dover utilizzare modelli diversi, sarà fondamentale riuscire ad avere dei traduttori di prompt che consentano di convertirlo in modo tale da poterlo adattare a diversi LLM e non perdere le logiche di business integrate.
La sicurezza e i filtri guardiani
Fondamentale sarà riuscire a tracciare come ogni LLM è stato modificato e con quali dataset soprattutto quando si fa “grounding” (ossia la capacità di un modello di basare le sue risposte o azioni su informazioni concrete, verificabili e contestualmente rilevanti). Siccome esistono tanti modi di fare grounding, sarà necessario scegliere quando e come farlo (fermarsi al RAG o andare oltre, e per cosa?).
Ulteriore passo sarà quindi la presenza di un tool (una sorta di filtro guardiano) che sarà in grado di intercettare se quando si fa “prompting” o “inference” si va ad inficiare l’integrità del modello LLM originale.
I costi
Tema non secondario, considerando che ad oggi è molto complicato stimare upfront l’impatto delle applicazioni at scale perché il modello di utilizzo a token è poco programmabile. Giusto per dare qualche numero e collegarlo al tema performance: il costo di chiamate ad Anthropic varia tra gli 0,25$ ai 15$ per MTok. GPT4 intorno ai 10$ per MTok. Ma Claude3 Opus promette performance più elevate.
