Cos'è 'Fiabe Fatte a Macchina'
'Fiabe Fatte a Macchina' è un piccolo progetto di Francesco Fantoni che esplora i limiti e le potenzialità degli attuali modelli di intelligenza artificiale nella creazione di elementi narrativi a partire da alcune parole chiave o da una semplice frase come dati di ingresso, e vuole stimolare una riflessione sul futuro della produzione letteraria e dell'illustrazione.
'Fiabe Fatte a Macchina' usa un modello di linguaggio conosciuto come GPT, sviluppato per generare testo coerente e simile a quello che potrebbe scrivere un essere umano. l'acronimo GPT sta per 'Generative Pre-trained Trasformer' un modello di deep-learning che adotta un meccanismo attraverso il quale il significato di ogni elemento dei dati di input viene ponderato, nella fase detta di tokenizzazione, in modo differenziale. L'architettura dei trasformer si basa sull'uso dell'attenzione, una tecnica che consente al modello di prestare attenzione a diverse parti della sequenza di input in momenti diversi durante l'elaborazione della sequenza. Questo consente una elaborazione del linguaggio naturale più accurata ed efficace rispetto ai primi modelli di deep-learning.
'Fiabe Fatte a Macchina' usa due modelli GPT diversi, uno di seconda generazione e uno di terza generazione, più efficace nella riproduzione del linguaggio. Le differenze nel testo generato dai due modelli sono generalmente molto evidenti. Oltre a questo 'Fiabe Fatte a Macchina' utilizza un altro modello di intelligenza artificiale, anche questo basato sull'elaborazione del linguaggio naturale, ma in grado di produrre una piccola illustrazione partendo dagli stessi dati di input.
Come funziona GPT
Il tema naturalmente è molto complesso dal punto di vista tecnico, ma il modello GPT riceve in ingresso un testo formato da una sequenza di parole, fornendo in uscita un testo coerente con i dati di ingresso. Il modello GPT trasforma il testo in ingresso in una sequenza di numeri interi attraverso un meccanismo detto di 'tokenizzazion' mappando ciascun elemento con un numero intero attraverso una sorta di dizionario. Per produrre il risultato il modello utilizza un metodo probabilistico che cerca di stabilire quale è il token successivo da inserire nella sequenza, che significa, in uscita dal modello, la parola più logica in quel contesto. La generazione del testo è basata su un approccio autoregressivo e sul campionamento. È possibile cioè generare testi chiedendo in modo iterativo al modello di prevedere il token seguente probabilisticamente più plausibile; ad ogni iterazione il token viene nuovamente inserito nel modello, in un processo di autoregressione. Meccanismi di campionamento introducono nel modello una certa dose di casualità, consentendo di generare testi diversi basati sugli stessi dati di ingresso e aumentando la qualità del testo prodotto e, in un certo senso, la sua credibilità. Altri elementi accessori (quali esempio quelli chiamati top-k, top-p, temperature) tarano il modello aiutando a introdurre variazioni nel comportamento generativo.
Il modello GPT attualmente più sofisticato è il modello GPT-3 di OpenAI, che è uno dei due modelli utilizzati da 'Fiabe Fatte a Macchina' per la generazione delle fiabe. Le capacità mimetiche dei modelli GPT più evoluti sono tali che a volte può essere difficile determinare se un testo è stato scritto dalla macchina o da un essere umano, cosa naturalmente affascinante e sconcertante allo stesso tempo.
È una cosa buona?
Cosa comporta per le nostre vite l'avvento di modelli evoluti di deep-learning? Credo che in qualche misura la questione diventerà sempre più rilevante nei prossimi anni. In un certo senso questi modelli, nell'illusione della loro immediatezza e semplicità sono davvero poco democratici. Se un modello GPT si può costruire in poche linee di codice Python (basta guardare l'incredibile implementazione di un modello generativo fatta da Andrej Karpathy, uno dei maggiori ricercatori in questo campo, che, se siete abbastanza curiosi, trovate a questo link), il suo addestramento richiede una mole di dati e capacità computazionali molto al di là delle disponibilità di tutti, traducendosi in una sorta di monopolio delle tecnologie, controllate, come spesso succede, dai soggetti che possono investire ingenti risorse economiche.
Ci sono poi importanti considerazioni da fare in merito all'impatto che potrà avere questo tipo di tecnologia in un ambito che fino ad ora, pur a fronte di tutte le evoluzioni della tecnica, avevamo sempre pensato come immune al processo di sostituzione uomo-macchina: quello della creazione artistica e letteraria. Se al momento il punto di rottura sembra rimanere ancora lontano, questo piccolo esperimento lo dimostra, l'evoluzione delle tecniche di produzione attraverso l'intelligenza artificiale fa già intravvedere molte zone d'ombra.
Uno degli aspetti critici è senza dubbio quello rappresentato dall'appropriazione da parte dei grossi gruppi di capitale detentori delle tecnologie di enormi moli di dati utilizzati per l'addestramento dei modelli, dati che non sono altro che il prodotto di creatori umani di testi e immagini, ai quali non viene spesso riconosciuto nulla.
C'è poi un aspetto, se vogliamo, più profondo, che riguarda il processo della creazione artistica in generale: se fino ad ora la cultura si è evoluta sulla rielaborazione del sapere acquisito fino a quel momento con l'introduzione di elementi di novità e creazione originali propriamente umani, un futuro dove la produzione letteraria e artistica dovesse entrare compiutamente e totalmente in un processo industriale capitalista dove le macchine subentrano all'uomo anche nella fase di creazione, saranno in grado di elevarsi oltre il limite di un mero rimescolamento dell'esistente?
'Fiabe Fatte a Macchina' è un piccolo gioco divertente, ma dove andremo con lo sviluppo di modelli più specificamente addestrati per raccontare storie? E quale sarà il futuro delle professioni creative e di noi tutti nell'era dell'intelligenza artificiale?