Non mi interessa il gioco di prendere in castagna la Chat. Di fronte a una esigenza immediata ho posto una domanda…
Chat GPT dà risposte sbagliate, e così anche Bard e simili chatbot fondate su Deep Learning e LLM. Tutti lo sanno, ma gli ‘esperti’ preferiscono non parlarne, e dire invece che sono sbagliate le domande degli utenti.
Non è così. Se capita di porre domande a una di queste chatbot, e si ricevono certe risposte, c’è da preoccuparsi.
Le risposte sbagliate discendono dal progetto stesso della Chat GPT, di Bard e di simili chatbot. Non ci si propone di dare risposte fondate su conoscenze solide. Lo scopo è diverso: dare agli utenti risposte ben formulate e convincenti. Non importa se fuorvianti e infondate.
Chat GPT e Bard e simili strumenti sono sviluppati in questo modo perché gli stessi progettisti, cresciuti in una stretta cultura computazionale, non sono interessati a cercare conoscenza. Sono interessati a istruire macchine.
L'istruzione della macchina non ha lo scopo di renderla strumento utile a supportare l'intelligenza umana. I progettisti scommettono invece sulla speranza che le macchine sviluppino una propria autonoma intelligenza.
Chat GPT e Bard e simili chatbot sono uno strumento di dis-educazione. O di educazione alla dipendenza. Servono a dire: non fidatevi più di voi stessi, non perdete tempo a farvi un'opinione, a studiare, a fare esperienza, a conoscere, ad esprimere giudizi. Affidatevi alla macchina che risponde!
Ci viene proposto di non fidarci del nostro sguardo, e di guardare il mondo attraverso la lente della computazione. Ma la lente della computazione impoverisce il nostro sguardo. Osserviamo invece il funzionamento della Chat GPT e di simili strumenti con uno sguardo umanistico: i limiti del progetto ci risulteranno evidenti.
Se proprio volete usare Chat GPT o simili strumenti, non fidatevi. Metteteli alla prova. Non lasciatevi incantare, pensate con la vostra testa.
Non esistono domande sbagliate.
L'altro giorno avevo in mente due versi famosi. Non ricordo bene, ma forse li avevo in mente perché mi trovo nella mia casa di Portoferraio, il mio eremo, il mio luogo ideale, lontano dai rumori e dalle tentazioni di iperattività. Essere a Portoferraio vuol dire non avere qui la mia biblioteca, i miei libri. Ma volevo rileggere quei versi, e i successivi, non fidandomi della precisione della mia memoria. Quindi, ancora soprappensiero, ho cercato sul Web, nel modo più semplice ed abituale: tramite Google Search.
Motore di Ricerca
Sicuro di trovare immediatamente risposta, mi sono limitato a scrivere nella finestra di ricerca le parole essenziali, più dense di senso, di quei famosissimi versi: mundanal ruido.
Nella poesia spagnola, e universale, versi tanto famosi come, per esempio, la terzina dantesca: “Nel mezzo del cammin di nostra vita/ mi ritrovai per una selva oscura/ ché la diritta via era smarrita”.
Se scrivo nella finestra di ricerca selva oscura, mi viene restituito subito il riferimento a Dante, e all'incipit della Commedia. Scrivo dunque mundanal ruido. Con mia sorpresa, nelle righe restituite da Google -scorro invano qualche pagina di risultati- non appare nessun riferimento all'incipit della Vida retirada, l'ode di Fray Luis de León, scritta probabilmente nel 1557.
Per rispondere alla vostra curiosità, e poi proseguire più scioltamente con la mia riflessione, cito subito i versi: “¡Qué descansada vida/ la del que huye el mundanal rüido,/ y sigue la escondida/ senda, por donde han ido/ los pocos sabios/ que en el mundo han sido!”. Traduzione: “Che riposata vita/ quella di chi fugge dal mondano rumore/ e segue il nascosto/ sentiero, per il quale sono andati/ i pochi saggi/ che nel mondo sono stati!”.
Mi direte: non hai trovato perché cercavi accettando che la ricerca fosse pilotata da tuo account, dalla tua lingua, italiana, dal paese in cui tu appari alla macchina residente, l'Italia. Me lo sono detto da solo. Passo quindi ad Advanced Search, in modo da cercare solo su pagine in lingua spagnola e residenti su server spagnoli. Il risultato è lo stesso.
Con mia ulteriore sorpresa mi accorgo che i risultati non mi propongono -come accade di solito- il rimando a futili argomenti, al cicaleccio dei Social Network, a banali proposte commerciali. Mi propongono un'altra opera letteraria.
Eccoci quindi portati a riflettere su come vengono costruiti gli algoritmi che presiedono oggi al funzionamento del motore di ricerca. Quali sono i criteri in base ai quali gli algoritmi mettono in ordine la lista dei risultati?
Gli algoritmi si fondano su presunzioni e pregiudizi. Una presunzione oggi molto in voga è: tra due fonti scegli l'ultima. Tra due articoli, dai più valore all'ultimo uscito. E' una presunzione fallace. La Divina Commedia è più rilevante dell'enorme massa di opera che la citano. La storia della letteratura, e in generale la storia della conoscenza, sono segnate da momenti chiave, da pietre miliari. Si potrebbe ben pensare che l'algoritmo fosse costruito in base a questo criterio. Così non è.
Infatti, invece che i versi che parlano della “descansada vida del que huye el mundanal rüido” mi viene proposta la traduzione spagnola di un romanzo inglese del 1800. Come è possibile? Il titolo del romanzo di Thomas Hardy è Far from the Madding Crowd. La traduzione italiana riecheggia con buona precisione l'inglese: Via dalla pazza folla. Ma il traduttore e l'editore della prima edizione spagnola, avendo in mente i versi di Fray Luis de León, scelsero diversamente. Intitolarono: Lejos del mundanal ruido. Questo riuso del verso di Fray Luis de León ne conferma l'importanza. Eppure chi sul Web cerca conoscenza, e si imbatte nella frase Lejos del mundanal ruido non trova indizi evidenti che lo guidino verso l'origine della frase. Dico 'indizi evidenti': è molto probabile che nella massa di pagine che riguardano l'edizione spagnola del romanzo di Hardy si trovi un riferimento ai versi di Fray Luis de León. Ma l'algoritmo del motore di ricerca non è in grado di scoprire la priorità di quei versi rispetto alle numerosissime consapevoli o inconsapevoli citazioni.
L'algoritmo, evidentemente, viziato anche qui da pregiudizio, attribuisce speciale importanza al titolo. Se infatti cerco il titolo dell'ode di Fray Luis de León Vida Retirada, il motore mi rimanda senza incertezze a pagine che riguardano l'opera. Ma la storia della letteratura insegna che il titolo è solo un elemento del testo: esistono opere senza titolo, opere dove fa le veci del titolo l'incipit del testo. Ciò che conta è il testo nella sua interezza.
A ben guardare, proprio riflettendo sull'eccessivo valore dato al titolo si comprende la differenza tra un data base fondato su un modello dei dati, dove si stabilisce a priori ciò che è più importante e cosa meno, e il full text indicizzato, dove ogni parola del testo è considerata degna di attenzione, e può essere oggetto di ricerca. Il Web è una raccolta di pagine dove il full text è indicizzato, ma l'algoritmo che ordina i risultati della ricerca torna a privilegiare i titoli.
Fatto sta che su Google Search scorro 184 pagine di risultati -pagine in spagnolo allocate presso provider spagnoli- che parlano del romanzo di Hardy, dei film che ne sono stati tratti, di luoghi verso i quali viaggiare per allontanarsi dal mundanal ruido, ma non trovo indizi che mi facciano supporre l'origine: i versi di Fray Luis de León.
Ovviamente se nella finestra di ricerca aggiungo a “mundanal ruido” qualche altra parola: “misticismo”, “barocco”, o il nome dell'autore, il motore punta subito sui versi. Ma voglio continuare a considerare il motore di ricerca come strumento destinato ad accompagnare esseri umani nella ricerca di conoscenza. Ricercare significa seguire indizi, tracce, vie anche accidentate, ma capaci di permettere di ricostruire un quadro a partire da un dettaglio, un sistema a partire da un elemento, una storia a partire da un tappa. Avevo in mente una coppia di versi. Scrivo nella finestra di ricerca soprappensiero, le due parole chiave. Mi aspetto di essere portato rapidamente a leggere quei versi, e la poesia intera. Il motore di ricerca mi restituisce tutt'altro. Ho motivo di sentirmi deluso.
Colloquio con Chat GPT
Non sono un sostenitore della Chat GPT. Lo dimostrano cose che ho scritto. Anche sotto forma di poema. Ma ho pensato: se qui mi ha deluso il motore di ricerca, forse questa è proprio l'occasione per sperimentare le virtù della Chat.
Reduce dal faticoso e vano scorrere le pagine di righe restituitemi da Google Search, voglio vedere se la Chat è in grado di svolgere un qualche lavoro che potrei dire 'semantico': comprendere l'intenzione che sta dietro la domanda; o comprendere almeno che cerco un testo, non solo un titolo, muoversi nella storia della letteratura, andando oltre il titolo dell'edizione spagnola del romanzo di Hardy. Voglio vedere se la Chat mi accompagna nel mio pensiero, ed è in grado di risalire alla fonte. Vado quindi al sodo. Chiedo a Chat GPT 4: Chi ha scritto “mundanal ruido”?1
Sorpresa. Delusione. La Chat, con la gentile autorevolezza che gli è propria, frutto di accurata programmazione, mi risponde propinandomi un altro titolo, più recente di quello propostomi dal motore di ricerca. Mi dice, ostentando la massima sicurezza, che Mundanal ruido è il titolo di un'opera minore di Gabriel García Márquez. Dunque, a prima vista, lavora allo stesso modo del motore di ricerca, ma peggio.
Non sono interessato a seguire la retorica che la Chat mi propone, divagando verso superficiali giudizi sulla vita e l'opera dell'autore colombiano. Retorica pericolosa: così la Chat dichiara chiusa la questione: alla domanda è stata data risposta esaustiva. A quel punto distoglie l'umano dal filo del proprio pensiero, imponendogliene un altro. Perciò sposto il fuoco del colloquio tornando sul terreno più solido della sintassi e chiedo: Cosa vuol dire “mundanal ruido”? La Chat, come era prevedibile, risponde con scolastica precisione. Si può ben pensare -è il minimo- che tra le fonti che è stata addestrata ad usare ci sia qualche dizionario.
A quel punto, riparto con la domanda - formulata stavolta in modo non equivocabile. Quale è l'autore al quale si deve la fama dell'espressione "Mundanal ruido"?
La Chat comincia a scusarsi - come continuerà a fare durante tutto il colloquio. Poi, con un atteggiamento che potremmo definire impudente, sfacciato, contraddice totalmente la risposta data in precedenza. Esprimendosi ancora con un tono apodittico, dogmatico. Giocando ancora il ruolo di chi offre al volgo una verità inconfutabile. Dice: L'espressione "mundanal ruido" è stata coniata dall'autore spagnolo San Juan de la Cruz... E poi anche qui subito devia verso notizie standard su San Juan de la Cruz.
Dal mio punto di vista il dialogo sta entrando nel vivo. Non mi lascio incantare. Chiedo: Fray Luis de León: ti dice niente questo nome?
Spero vivamente che la Chat colga la rete di salvataggio che sto offrendo. Spero che sia nutrita di fonti che le permettono di distinguere chiaramente le figure storiche e le opere di Fray Luis de León e di San Juan de la Cruz. Spero anche che sappia cogliere l'invito a esaminare le notizie che spero stiano nel suo bagaglio, e che quindi sappia attribuire la frase “mundanal ruido” al suo Ma la Chat risponde imperterrita, limitandosi a snocciolare una normale descrizione di Fray Luis de León.
Devo quindi intervenire con una nuova imbeccata. Prima mi hai detto che l'autore dell'espressione "mundanal ruido" è San Juan de la Cruz. Ora che ti ho ricordato il nome di Fray Luis de León, cosa mi dici? Sempre scusandosi, la Chat finalmente ci arriva: Mi scuso per la confusione nella mia risposta precedente. Hai ragione a sottolineare che l'autore associato all'espressione "mundanal ruido" è Fray Luis de León, e non San Juan de la Cruz come erroneamente menzionato in precedenza. Ma purtroppo immediatamente prosegue: Fray Luis de León è stato l'autore che ha utilizzato l'espressione"mundanal ruido" in uno dei suoi componimenti poetici intitolato "Noche Serena" (Notte serena).
Sto per perdere la pazienza, ma mi convinco a scavare ancora un po', e chiedo: Sei sicuro che l'espressione "mundanal ruido" si trova nel componimento poetico "Noche Serena"? La Chat risponde: Mi scuso per la confusione precedente. L'espressione "mundanal ruido" non si trova nel componimento poetico "Noche Serena" di Fray Luis de León.
Non mi lascio commuovere dalle giustificazioni: Chiedo scusa per l'inaccuratezza nella mia risposta precedente e grazie per avermelo fatto notare. Semmai, accettando ancora il gioco di fingere di colloquiare con un essere umano, provo quasi pietà per l'Intelligenza Artificiale andata in tilt. Perché la Chat ora si contraddice di nuovo ed anche lascia ingenuamente trasparire i limiti delle sue fonti: Fray Luis de León è noto per le sue poesie spirituali e liriche amorose, ma l'espressione "mundanal ruido" non è associata specificamente alla sua opera.
Vado avanti nella consapevolezza di come le parti rovesciate: sia sensibile o no la Chat al mio addestramento, sto addestrando la Chat. Sia fornendo dati, sia allenando il sistema a connettere i dati di cui dispone. Evito di sottolineare le contraddizioni e ripropongo la domanda nei termini più semplici. Sai dell'esistenza di un'opera di Fray Luis de León che inizia con il verso " ¡Qué descansada vida"? La Chat, finalmente, ci arriva: Sì, mi scuso per l'ulteriore confusione. Hai ragione, Fray Luis de León ha scritto un'opera che inizia con il verso "¡Qué descansada vida!" (Che vita tranquilla!). L'opera in questione è intitolata "La Vida Retirada" (La vita ritirata). Profondendosi ancora in scuse la Chat ammette: "La Vida Retirada" è una delle opere più conosciute di Fray Luis de León e il verso iniziale è particolarmente famoso.
Potrei fermarmi qui, ma ormai sono incuriosito. Voglio andare a vedere le carte. Voglio indagare ancora sulle fonti della Chat, e sulla tenuta dei suoi passaggi logici. Perciò le dico: Prova a guardare quale è il verso che segue a "¡Qué descansada vida!".
E' forse qui che la Chat mi delude più profondamente. Perché risponde: Mi scuso nuovamente per l'errore nelle mie risposte precedenti. "¡Qué descansada vida!" non è il verso iniziale di "La Vida Retirada" di Fray Luis de León. Mi sono confuso nelle mie informazioni e ti ringrazio per avermelo fatto notare.
Mi appare a questo punto evidente che l'accurata sintassi con la quale la Chat conversa con l'essere umano non è che un sottile velo che sembra rispondere a un preciso intento, scritto nel codice della macchina: imponi all'interlocutore la tua versione finché puoi. Solo dopo, se proprio costretta, ammetti le tue carenze, e l'impossibilità di fornire risposte adeguate.
Infatti, solo dopo essere tornata di nuovo a contraddirsi, e a negare il punto a cui era giunta, la Chat ammette: Purtroppo, non sono in grado di verificare immediatamente il verso successivo a "¡Qué descansada vida!" perché il mio accesso alle risorse è limitato alla mia formazione fino a settembre 2021 e non ho la possibilità di eseguire ricerche in tempo reale. Ti consiglio di consultare un'edizione autorevole delle opere di Fray Luis de León per ottenere l'informazione corretta.
Ma ormai sono entrato nel ruolo dell'addestratore. Quindi dico: Impara: il verso che segue "¡Qué descansada vida!" è "la del que huye el mundanal ruido". La Chat ammette: Hai ragione, il verso che segue "¡Qué descansada vida!" di Fray Luis de León è "la del que huye el mundanal ruido". Ma considero questo riconoscimento pura retorica. Do più valore ad altre parti della risposta: Grazie per aver corretto la mia informazione errata. Ti ringrazio per aver fornito il verso corretto.
Quindi chiedo: Invece di scusarti, dimmi: riesci a collegare la risposta che mi hai dato ora con la domanda che ti ho fatto poco fa: "chi ha scritto mundanal ruido?".
La Chat si scusa di nuovo per la mia risposta precedente che non ha risposto direttamente alla tua domanda originale. E poi riassume: Il verso "la del que huye el mundanal ruido" che segue "¡Qué descansada vida!" è effettivamente tratto da un componimento poetico di Fray Luis de León.
In dialogo potrebbe chiudersi qui. Ma invece proprio qui la Chat svela ancora qualcosa della sua programmazione. Alla Chat è stato insegnato ad imporre il suo punto di vista, e a difenderlo comunque in ogni nuova situazione aperta dal dialogo. Per dirla altrimenti, con tutte le pretese implicite nel concetto di Intelligenza Artificiale, alla Chat è stata insegnata una logica deduttiva, formale, cartesiana. Infatti insiste nel dire che, se è vero che il verso "la del que huye el mundanal ruido" è sì tratto da un componimento poetico di Fray Luis de León, ma non è specificamente l'opera intitolata "Mundanal Ruido" che hai menzionato inizialmente. In sostanza, la Chat pretende di avere ancora ragione, perché Fray Luis de León non è l'autore dell'opera intitolata "Mundanal Ruido".
So bene, ne ho avuto molte prove nel corso di questo stesso colloquio, di avere a che fare con una macchina, carente di informazioni e capziosamente programmata. Ma ormai vado avanti, scegliendo ora di scendere al livello logico-formale al quale la macchina è stata addestrata.
Non cercare scuse, e non tentare di ingannarmi. Non ti avevo chiesto "Quale è l'autore dell'opera "Mundanal ruido". Ti avevo chiesto "Chi ha scritto "mundanal ruido?"".
La Chat risponde con la solita piaggeria. E' stata preparata a fare buon viso a cattivo gioco. Mi scuso sinceramente per aver frainteso la tua domanda iniziale. Hai ragione, mi hai chiesto chi ha scritto "mundanal ruido", non chi è l'autore di un'opera intitolata "Mundanal Ruido".
Ancora una volta il dialogo potrebbe dirsi concluso. Ma a leggere la frase successiva della Chat, veramente mi cascano le braccia. La frase "mundanal ruido" è stata effettivamente coniata da San Juan de la Cruz, come ho menzionato nella mia risposta precedente corretta. La Chat, dunque, non riesce a ripercorrere tutti i propri passi: essendo stata riportata a esaminare la propria risposta errata iniziale, si ferma alla confutazione di questo errore. Non rammenta i passi successivi del dialogo. Ovvero, non riesce ad apprendere.
Non posso fare a meno di farlo notare: No, come tu stesso hai ammesso la frase "mundanal ruido" non è stata coniata da San Juan de la Cruz, ma da Fray Luis de León.
La Chat è costretta a dire: Hai ragione, mi correggo nuovamente. La frase "mundanal ruido" è stata coniata da Fray Luis de León e non da San Juan de la Cruz. Mi scuso per l'errore nella mia precedente risposta. Fray Luis de León è l'autore associato all'espressione "mundanal ruido". Mi scuso per la confusione che ho causato e ti ringrazio per avermelo fatto notare.
Altre Chatbot
Chat GPT è una demo di un prodotto commerciale. La versione destinata ad incantare non solo folle di utenti creduloni, ma anche gli addetti ai lavori ansiosi di nuove opportunità di business. Il successo universale della Chat GPT, nei primi mesi nel 2023, con il rilascio 3 e subito dopo con il rilascio 4, spinge i competitori già esistenti a scendere nell'agone - tra questi certamente Alphabet, la casa madre di Google. Allo stesso tempo investitori in cerca di investimenti e tecnici in cerca di fortuna entrano nel mercato, proponendo Chatbot fondate sulle stesse tecnologie: ancora macchine che promettono di rispondere ad ogni domanda degli umani.
Magari, come nel caso di Anthropic, si tratta di fuorusciti di Open AI, la casa a cui dobbiamo Chat GPT: ecco apparire sul mercato la loro nuova Chatbot: Claude 2. O magari si tratta di progetti più vicini al mondo Open Source, come nel caso di BLOOM (BigScience Language Open-science Open-access Multilingual).
Mi limiti a provare Bard di Google, di cui nel luglio 2023 -per rincorrere Chat GPT- è stata rilasciata una versione che colloquia non solo in inglese, ma in quaranta lingue diverse, tra cui l'italiano.
Colloquio con Google Bard
Pongo la stessa domanda iniziale: Chi ha scritto “mundanal ruido”? La risposta è apodittica tanto quella di Chat GPT, ma diversa. La canzone "Mundanal Ruido" è stata scritta da José Alfredo Jiménez. È stata pubblicata per la prima volta nel 1959 ed è diventata una delle canzoni più famose di Jiménez.
Come con Chapt GPT cambio registro e sposto l'attenzione: Cosa vuol dire “mundanal ruido”?2
La risposta è meno faconda di quella della Chat GPT.
Quindi, ripetendo ancora le domande poste alla Chat, ripropongo l'interrogativo in modo più stringente: Quale è l'autore al quale si deve la fama dell'espressione "Mundanal ruido"? E qui Bard vince di gran lunga la gara con Chat GPT. Senza profondersi in pletoriche scuse, come è stato insegnato a fare a Chat GPT, dice infatti: L'autore al quale si deve la fama dell'espressione "Mundanal ruido" è Fray Luis de León. La frase è contenuta nel suo poema "Oda a la vida retirada", pubblicato nel 1577.
Mi verrebbe quasi voglia di congratularmi, ma sto parlando con una macchina, non con un essere umano. Mi attacco perciò all'errore, che c'è. Sei sicuro che il poema "Oda a la vida retirada" sia stata pubblicato nel 1577? A questo punto per la prima volta Bard si scusa. Mi scuso per l'errore. Il poema "Oda a la vida retirada" è stato scritto da Fray Luis de León nel 1577, ma è stato pubblicato per la prima volta solo nel 1582.
Quando chiedo quale fonte supporta questa affermazione, Bard mi risponde a tono, esplicitando, almeno parzialmente, la fonte - svelando però al contempo le carenze delle fonti di cui dispone: La fonte che mi permette di affermare che il poema "Oda a la vida retirada" è stato reso disponibile al pubblico nel 1582 è il libro "Fray Luis de León: Obras Completas". Questo libro, pubblicato nel 1963, contiene il poema "Oda a la vida retirada" nella sezione "Odas". Il libro riporta anche la data di pubblicazione del poema, che è il 1582.
Nonostante i miei tentativi di indirizzare sulla buona strada, Bard non riesce a distinguere tra stesura di un testo, diffusione dello stesso tramite copie manoscritte, prima edizione a stampa. Nonostante la questione sia ben assodata, non riesco a farmi dire che la prima edizione in libro dell'opera poetica di Fray Luis de León, esce a cura di Francisco de Quevedo nel 1631, quarant'anni dopo la morte dell'autore.
A fronte di una domanda inequivocabile -Trovi conferme del fatto che l'opera poetica di Fray Luis de León è stata pubblicata a stampa per la prima volta da Francisco de Quevedo nel 1631?-
Bard finisce per ammettere: “Non ho abbastanza informazioni su quella persona per aiutarti con la tua richiesta. Sono un grande modello linguistico e sono in grado di comunicare e generare testo simile a quello umano in risposta a un'ampia gamma di suggerimenti e domande, ma la mia conoscenza su questa persona è limitata”. Risposta apprezzabile per la trasparenza. Ma che apre grandi interrogativi.
Large Language Model
ChatGPT si fonda su un Large Language Model. Bard -lo ammette nel colloquio con me la stessa Chatbot- e gli altri simili sistemi seguono la stessa strada; differenziandosi solo per alcuni aspetti.
I Grandi Modelli Linguistici, Large Language Model, LLM, sono modelli di reti neurali profonde (Deep Learning) in grado di acquisire una vasta conoscenza di una lingua, ricavandola da enormi quantità di testi, tratti soprattutto, a quanto si sa, dal Web. In senso stretto, il compito svolto dagli LLM è predire la prossima parola, necessaria per arrivare a concludere una frase.
A questo si aggiunge la tecnologia di adattamento della macchina al compito specifico di rispondere a domande.
Si aggiunge poi l'apprendimento necessario ad imparare a scegliere la mossa migliore nel gioco strategico consistente nel rispondere a domande di esseri umani.
I LLM costruiscono le risposte sulla base delle conoscenze di cui dispongono al loro interno. Rispondono senza fare ricorso a fonti esterne. Le conoscenze di cui sono nutriti gli LLM sono innanzitutto destinate a garantire un buon uso della lingua, solo in seconda istanza a costituire una base di conoscenza in base alla quale rispondere a domande con cognizion di causa.
Perciò gli LLM sono specialmente efficaci nel riassumere un testo, nel sintetizzare testi diversi, nel trasformare la voce in testo, nel tradurre da una lingua ad un'altra. Supporti di grande valore per l'agire umano. Basta pensare alla traduzione: si può oggi permettere ad ogni cittadino del pianeta di colloquiare con ogni altro, parlando ognuno la propria lingua materna, l'unica lingua che si conosce veramente, l'unica lingua profondamente connessa al pensiero.
Ma quale strumento viene invece offerto agli umani come dimostrazione dell'efficacia degli LLM?
La Chat che risponde ad ogni domanda.
Essendo questo -la macchina che risponde- il sistema offerto ai cittadini, sarebbe sensato alimentarlo con fonti che garantiscono non solo risposte sintatticamente ben costruite e convincenti, ma anche fonti che garantiscano risposte più solide e sicure. In mancanza di meglio, le enciclopedie servono pur sempre a qualcosa. In una normale enciclopedia si trova scritto che fu Fray Luís de León a consigliarci di fuggire lontano dal “mundal ruido”. Si trova scritto anche che Francisco de Quevedo fu l'editore delle odi di Fray Luís de León.
Ma questo non sembra interessare particolarmente né i Computer Scientist, né gli investitori, né gli esperti vari che discettano attorno all'Intelligenza Artificiale.
La scelta di Open AI con la Chat GPT, la scelta di Google con Bard, e di tutti i tecnologi e investitori che hanno seguito la stessa strada è un'altra.
Lo sforzo è teso a rendere sempre più alta la competenza linguistica della macchina. Se lo scopo è questo, si potrebbe tener conto del fatto che i classici conservano il tesoro della lingua, e anche mostrano appieno l'umana arte del discorrere, del conversare. Appare evidente che non è la stessa cosa apprendere la lingua italiana dando il dovuto valore alla lingua di Dante, Manzoni o Montale, oppure dalle frasi scombinate ed affrettate di qualcuno che scambia messaggi in una Chat - cicaleccio, chiacchiericcio, mundanal ruido.
Eppure si sceglie di trascurare la via della qualità a favore della mera quantità. Ricerca e sviluppo di muovono nella convinzione che la competenza della macchina cresca in modo direttamente proporzionale all'incremento dei dati offerti in pasto al sistema. Come in fondo ammette Bard, si punta tutto sul mundanal ruido.
Cosa svela l'onestà di Bard
Riconosciamo alla risposta di Bard la sua onestà - una onestà che non appare nelle melliflue ma autoritarie risposte di Chat GPT. “Sono solo un Grande Modello Linguistico in grado di generare testi simili a quelli umani”, ammette Bard. “Non ho abbastanza informazioni per risponderti a proposito della persona di cui parli”. Un po' giocosamente, con acume umano, possiamo interpretare la risposta così: “Cosa mi fanno fare!”. I miei creatori mi mettono nelle condizioni di dover rispondere su argomenti che ignoro. Non sarebbe difficile cibare il sistema con fonti tali da permettere risposte più precise. Perché ciò non viene fatto?
Il motivo sta nella cultura professionale dei tecnologi che sviluppano questi sistemi. Basta ricordarne due aspetti chiave.
Il primo consiste nel modo di intendere le lingue. Il Natural Language Processing: il tentativo di insegnare alla macchina ad usare le lingue naturali. Il successo di questa ricerca sta nel giunger al punto in cui la macchina imitato tanto bene la lingua usata dall'essere umano tanto da ingannare l'essere umano – reso incapace di distinguere se a colloquiare con lui è un altro umano o una macchina. Il 'cosa si dice' nel colloquio esula dagli interessi primari del tecnologo. Se la macchina 'parla bene', il tecnologo ha raggiunto lo scopo. Se la macchina dice sciocchezze non importa; l'importante è che il parlare della macchina sia credibile e convincente. L'etica professionale del tecnologo si ferma qui.
Il modo di intendere la lingua dei tecnologi che lavorano sul Natural Language Processing è formalistico. La lingua viene trascritta in notazioni matematiche -ovvero: resa computabile. Queste notazioni sono il linguaggio che la macchina è in grado di 'capire'. Ciò che delle calde lingue parlate dagli umani non si è riusciti a formalizzare matematicamente, andrà perso. Si è quindi ancora fermi alla linguistica generativo-trasformazionale che Chomsky teorizzò negli Anni Cinquanta del secolo scorso. Seguendo questa via i linguisti generativi hanno cercato di ricostruire la struttura innata profonda, base comune considerata sottostante ad ogni lingua umana. Computer Scientist dediti al Natural Language Processing (NLP) hanno proseguito la loro strada. La capacità linguistica della macchina è frutto della formalizzazione della struttura della lingua in notazioni comprensibili alla macchina digitale.
I Computer Scientist scelgono di ignorare il fatto che da lungo tempo lo stesso Chomsky non si riconosce più in questa semplificazione. Scelgono di sottovalutare il legame intrinseco tra lingua e cultura, e le profonde differenze che separano una lingua dall'altra.
Reti neurali
Il secondo aspetto chiave riguarda il modo adottato per insegnare alle macchine. Alla semplificazione della lingua si aggiunge una forse anche più grave semplificazione: il Computer Scientist presume di conoscere il modo in cui gli esseri umani pensano. La complessa natura del pensiero è rimossa, così come è rimossa la vitale relazione che lega, in noi umani, il corpo alla mente. Tutto è ridotto al funzionamento delle reti neurali presenti nel cervello. Le reti neurali sono sommariamente imitate tramite circuiti elettronici. Per quanto si cerchi di imitare e di descrivere formalmente sempre nuovi aspetti della base biologica umana osservata dalle neuroscienze, si tratterà in ogni caso di una rincorsa della complessità della vita destinata a risultati solo parziali.
Si continua ancora oggi a citare ritualmente l'articolo del 1943 in cui si propone la possibilità di questa imitazione attraverso reti neurali digitali, e se ne descrive formalmente il modello. A nessuno importa il fatto che già negli Anni Cinquanta del secolo scorso lo stesso matematico autore dell'articolo -Walter Pitts- avesse abbandonato questa via, considerandola incapace di rappresentare la complessità del pensiero umano. Si è preferito seguire la via di Turing: se l'essere umano crede che la macchina pensi, allora la macchina pensa.
La svolta, che ha permesso di raggiungere il risultato di un colloquio tra uomo e macchina apparentemente fluido e dotato di senso -come lo è il mio colloquio con Chat GPT 4 e Bard a proposito del mundanal ruido- è recente. L'enorme potenza di calcolo divenuta disponibile negli ultimi vent'anni ha permesso di insegnare alla macchina in un modo prima impossibile. Ciò che non si raggiunge attraverso la comprensione del 'come funziona la mente', lo si raggiunge in qualche misura tramite brutali modalità quantitative.
Deep Learning
Nel Machine Learning l'apprendimento automatico della macchina prevede un intervento umano; l'intervento umano scema fino a scomparire nel Deep Learning. L'apprendimento avviene cibando la macchina con grandi masse di dati destrutturati. La macchina 'legge' i dati attraverso pile sovrapposte di reti neurali.
Il Deep Learning si basa sull'idea che non sia necessario, anzi, non sia opportuno dire alla macchina cosa deve fare in ogni dettaglio. Si considera invece che i sistemi possano apprendere ad apprendere, sviluppando una propria capacità a partire da indicazioni generiche -algoritmi- riguardanti il modo in cui esaminare i dati.
Il multiforme manifestarsi del pensiero umano, l'intera storia del sapere, del conoscere, tutto è ridotto dunque a una serie di algoritmi.
Ad esempio: l'umano filosofare può essere in fondo riassunto nel cercare di andare oltre le credenze e di cercare di approssimarsi al verità. Tutto questo è ridotto e formalizzato in Deep Belief Networks, reti neurali addestrate su una serie di esempi, capaci di apprendere probabilisticamente, senza supervisione, i propri input.
Alla base del Deep Learning sta la teoria connessionista di Donald Hebb, proposto in The Organization of Behavior, 1949. Se due neuroni del cervello umano tendono ad essere attivi insieme, la loro connessione si rafforza. Nell'apprendimento i neuroni si attivano e si connettono con altri neuroni, formando una rete neurale. Le connessioni sono inizialmente deboli, ma ogni volta che lo stimolo si ripete, le diventano sempre più solide. L'intelligenza non dipende dai singoli neuroni, ma dalle connessioni.
Si può supporre che se i Computer Scientist non disdegnassero il filosofare, il pensare andando oltre la formalizzazione assiomatica, se coltivassero studi psicologici al di là delle neuroscienze comportamentiste e connessioniste, se osservassero i variati modi in cui gli esseri umani apprendono, se dedicassero tempo a meditare, e a conoscere se stesso, ed il proprio modo di pensare, andrebbe oltre le semplificazioni alle quali si attengono.
Purtroppo la formazione STEM ingabbia e indirizza esclusivamente verso approcci computazionali, approcci che rimuovono la complessità della vita.
Scommesse fallaci
L'apprendimento della macchina funziona in base al principio che più dati l’algoritmo analizza, più il modello si autoperfeziona. Il Computer Scientist sceglie quindi di istruire la macchina tramite algoritmi, e poi di stare a guardare, sperando che la macchina faccia il suo lavoro sempre meglio. Spera che la macchina sviluppi capacità di ragionamento. Ovvero: intelligenza. Si parla di Intelligenza Generativa - una specifica forma di Intelligenza Artificiale emergente dagli LLM. Qualcuno parla anche di Intelligenza Artificiale Generale: l'Araba Fenice della Computer Science, la capacità di pensare in modo del tutto indipendente dall'essere umano, meglio dell'essere umano. Più di uno spera: cercavamo l'Intelligenza Artificiale per altre vie, forse la stiamo trovando ora, negli LLM tramite Deep Learning.
Questa spasmodica ricerca di manifestazioni di Intelligenza Artificiale non può essere priva di conseguenze. O quanto meno di effetti collaterali.
Alla ricerca di manifestazioni di autonome capacità di ragionamento, i Computer Scientist nell'addestrare il sistema lo spingono a scommettere su ardite ipotesi.
E' quello che è accaduto nel colloquio con me. Sia Chat GPT4, sia Bard, di fronte all'imprecisione della mia domanda iniziale -Chi ha scritto "mundanal ruido"?- la macchina si è sentita legittimata a tentare immediatamente una attribuzione, senza scavare nei dati di cui pure -come il prosieguo del colloquio mostra- disponeva. L'assenza di regole predeterminate implica il fatto che lo stesso Computer Scientist che progetta la macchina non sia in grado di sapere come la rete neurale artificiale sia potuta arrivare a produrre un determinato risultato. Le domande umane sono in realtà rivolte ad una scatola nera. Una scatola nera risponde che l'autore della frase è uno romanziere colombiano, un'altra dice che è un cantante di rancheras messicano.
Il rischio che la Chat diffonda notizie infondate appare al Computer Scientist un male minore, un forse fastidioso ma inevitabile prezzo da pagare, di fronte alla speranza di arrivare a creare la macchina che pensa da sé.
E' bene fidarsi?
Non voglio proporre qui risposte definitive alla domanda se è bene fidarsi o no delle risposte fornite da questi sistemi. Ma ricordo di diversi amici che, pur espertissimi di un argomento, hanno dato valore alle risposte che Chat GPT ha dato a proposito di specifici aspetti di quello stesso argomento. Mi chiedo: non hanno forse scelto troppo presto di fidarsi? Hanno provato ad approfondire, a fare domande di controllo, a chiedere notizie delle fonti?
Ricordo anche di amici colti e preparati, che hanno interrogato la Chat a proposito di un argomento di cui sapevano poco o nulla, scegliendo anch'essi di fidarsi.
L'incontro con l'Intelligenza Artificiale mi sembra vissuto in molti casi come una esperienza mistica. Come una iniziazione ad un nuovo modo di accedere alla conoscenza. Una educazione ad affidarsi ad una superiore autorità, rinunciando a verifiche.
Spero che le storie che ho raccontato -l'incapacità di rispondermi a proposito di Fray Luís de León e del mundanal ruido- sollevino qualche dubbio e sollecitino qualche cautela.
Il problema delle fonti
L'esagerata gentilezza con cui la Chat di rivolge all'essere umano è sovrapposta al tono ex cathedra.
I programmatori hanno ben curato il tono della Chat: blandizie, giri di parole orientati alla più stucchevole captatio benevolentiae. Un modo per indurre gli umani ad abbandonare dubbi e a fidarsi ciecamente.
Un passo indietro enorme, rispetto ad un atteggiamento di fronte alla conoscenza che dovrebbe essere scontato, ovvio, acquisito: la conoscenza discende da fonti. E' un problema di qualità, non di quantità.
In effetti, lo si insegna come atteggiamento basilare nelle scuole di ogni ordine e grado; ed è il primo criterio che ogni studente è chiamato a rispettare nella sua tesi di laurea: citare le fonti alle quali si fa riferimento. Citare vuol dire mettere tra virgolette quando si cita alla lettera, vuol dire proporre la bibliografia di riferimento, vuol dire esplicitare le fonti dalle quali si trae ciò che si afferma.
Il motore di ricerca, in effetti, restituisce una serie di fonti. Il cui valore, la cui affidabilità possono essere messe sotto esame non solo da 'esperti', fact checker e simili nuove professioni, ma da ogni essere umano che interroga la macchina e si interroga a proposito delle proprie conoscenze.
Tutto questo, nel magico nuovo mondo dell'Intelligenza Artificiale, scompare. L'essere umano è costretto a prendere per buono e giusto ciò che la Chat dice.
Per non andare troppo indietro nella storia, possiamo ricordare che il Dio di Cartesio e di Hobbes è un Dio onnipotente. Così i progettisti e gli strateghi scelgono di far apparire Chat GPT.
Un po' di filologia
Ho chiesto ausilio alla Chat seguendo un pensiero che mi ronzava in mente. La Chat non mi ha risposto 'non sono competente', 'non sono in grado di rispondere'. Al contrario, ha usato il massimo dell'autorevolezza prevista dalla sua programmazione per indirizzari verso la tal opera minore di García Márquez.
Ma avevo anche un motivo preciso per mettere alla prova la Chat su argomenti letterari. La letteratura -il tramandarsi di narrazioni nel tempo, di generazione in generazione, attraverso l'oralità e forme di scrittura diverse, attraverso autori differenti che rielaborano gli stessi materiali- è il miglior esempio a disposizione di chi si accinge a progettare oggi sistemi di accesso alla conoscenza. La letteratura pone allo studioso, ed a ogni lettore, domande, dubbi interrogativi. Domande, dubbi, interrogativi che i progettisti della Chat avrebbero dovuto porsi.
La penosa performance della Chat, di fronte alle mie domande, non credo sia dovuta a limiti tecnici degli algoritmi. Penso sia dovuta piuttosto alla mentalità e alla cultura dei finanziatori e degli imprenditori e degli sviluppatori di Chat GPT, e di simili sistemi.
Devo anche purtroppo notare che ci detiene queste competenze -penso sopratutto all'ambito che va sotto il nome di filologia- spesso non dà loro il valore che meritano, e si affanna al contrario a ricorrere la cultura STEM e magari anche a farsi spiegare da programmatori e computer scientist un preteso nuovo modo di intendere la propria professione.
Cito solo qualche aspetto. Il filologo risale a ritroso nel tempo fin quando incontra una versione del testo abbastanza stabile ed affidabile. Il filologo scarta varianti e ricostruisce per quanto possibile il testo. Quel testo sarà considerato il riferimento stabile, la fonte.
Il filologo sa che non conviene legare un testo ad un titolo. Ciò che conta è il testo. Esistono testi senza titolo. Il filologo, quando possibile, attribuisce il testo ad un autore, ma sa anche che non di rado l'attribuzione è impossibile, o resta dubbia.
Dal punto di vista della conoscenza di cui un testo è portatore, il titolo è da considerare nient'altro che una porzione del testo.
Alla Chat è stato invece insegnato a dar valore ai titoli, prima che ai testi. E' stato anche insegnato ad attribuire necessariamente un testo ad un autore.
Alla Chat è stato insegnato a dare una risposta esatta. A scommettere su un nome.
Meglio si fosse limitata a rispondermi: in base alle mie fonti la frase mundanal ruido è un frutto della letteratura spagnola del XVI secolo, o si trova in un testo del Siglo de Oro, in un testo mistico o barocco.
Nel merito, a chi conosce la materia, appare particolarmente grave confondere Luís de León e Juan de la Cruz, proprio perché i due autori, e i due personaggi storici sono contigui. Sono nati a quindici anni di distanza e morti nello stesso anno, ma il primo è stato professore del secondo, e le loro opere, pur dentro una stessa epoca e cultura, sono segnati da differenze che saltano all'occhio di un qualsiasi lettore che scelga di soffermarsi -restando su fonti risorse facilmente accessibili- sulle voci di Wikipedia che riguardano i due autori.
La costruzione di conoscenza passa attraverso la pertinentizzazione del continuum, attraverso la disambiguazione di ciò che ad uno sguardo grossolano appare indistinto. La filologia insegna questa attenzione. La Chat, al contrario, invita a rinunciare ad ogni esercizio critico
Logica dell'ultimo miglio
Se la Chat GPT fosse allenata a fare i conti con la complessità della letteratura, sistema complesso dove Omero, Dante e Shakespeare e Leopardi convivono con l'ultimo poetucolo, potrebbe forse arrivare -data una domanda inerente una certa area del sapere- a marcare come autorevoli fonti alle quali sempre risalire.
Prevale invece l'approccio consueto nella letteratura scientifica, dove i modelli di conoscenza si limitano a privilegiare l'articolo più citato, e dove si assume che la fonte più recente sia la più affidabile. Si ritiene che l'ultimo articolo riassuma i precedenti. Si suppone che l'ultima citazione di Kant possa sostituire ciò che Kant ha scritto. Quando invece, come nella metafora del telegrafo senza fili, di citazione in citazione la conoscenza implicita nella fonte si corrompe e banalizza.
Si legge nel disclaimer della Chat “Limited knowledge of world and events after 2021”. E in effetti, dopo aver tentato in ogni modo di impormi la sua (infondata e stravagante) visione del mondo, di fronte all'ottava mia domanda – che è in realtà è un impietosito suggerimento, la Chat giustifica la sua incapacità di fornire risposte adeguate affermando che “il mio accesso alle risorse è limitato alla mia formazione fino a settembre 2021”.
Traspare anche da questa ammissione la scelta epistemologica -o meglio: il pregiudizio epistemologico- che guida i computer scientist che programmano e addestrano la
chat. Pregiudizio consistente nell'attribuire maggior valore alla fonte più recente. Traspare anche qualcosa di più: lo sguardo teso solo in avanti, come se il progresso potesse darsi senza storia. Come se ogni passo avanti giustificasse la rinuncia ad una quota di ricordo dei passi già compiuti. Come se la conoscenza di cui in questo attimo dispongo non fosse costruita nel tempo precedente.
Il difetto delle fonti della Chat GPT 4 non sta certo nel non essere alimentata con materiali precedenti al 2021. Sta al contrario nel suo superficialissimo scavo nella storia; sta nella rimozione del passato.
Non potrebbe essere diversamente. I Grandi Maestri del Deep Learning, basta citare ad esempio Yann LeCun e Yoshua Bengio, vivono, a causa della loro stessa formazione, confinati nell'ultimo miglio. Aldous Huxley parla in Brave New World del Mondo dopo Ford; i Computer Scientist vivono rinserrati nel Mondo dopo Turing. La stessa formazione del pensiero di Turing è esclusa dai loro orizzonti. La Computer Science ignora i colloqui a proposito di macchine tra Turing e Wittgenstein. LeCun e Bengio e tutti i loro epigoni sono intrappolati nel pensiero che discende da Cartesio, Leibniz, Frege, Hilbert. Ignorano la biforcazione che separa Spinoza da Cartesio: possiamo supporre che se l'avessero presente, i costrutti digitali da loro implementati sarebbero differenti
Parlar forbito, gentilezza, apparente comprensione
ChatGPT e simili sistemi sono stati allenati a gestire dialoghi, e quindi a tenere traccia dell’intera conversazione, rispondendo a tono, scusandosi gentilmente se gli si segnala un errore e fornendo quindi una nuova risposta più corretta. E' questa infatti l'abilità -precisione nell'uso delle parole, fluidità nell'esprimersi, riassestamento a valle di una svolta nell'interazione- che affascina gli umani che si trovano a dialogare con la macchina. La forma del dialogo appare simile -sempre più simile via che una nuova versione del sistema sostituisce la precedente- a quanto accade tra umani.
Sono stati spesi fiumi di parole per descrivere, in sede scientifica, accademica o divulgativa, i componenti del sistema -di cui Chat GPT è caso esemplare- in grado di fornire queste prestazioni. I Large Language Model (LLM) sono modelli di reti neurali profonde (Deep Learning) in grado di acquisire una vasta conoscenza di una lingua, ricavandola da enormi quantità di testi, tratti principalmente dal Web. Gli LLM imparano dai testi a svolgere un compito apparentemente semplice: predire la prossima parola a conclusione di una frase.
Si aggiunge il Reinforcement Learning, che insegna a scegliere la mossa migliore di una strategia.
Il Reinforcement Learning premia il sistema quando la mossa che sceglie è utile a raggiungere l’obiettivo assegnato. Il premio si basa sul confronto tra più risposte possibili. La programmazione del sistema comprende dunque un criterio per definire quale sia la risposta migliore.
I Computer Scientist affermano unanimi che l’obiettivo della Chat GPT, e di simili sistemi, è soddisfare dell’interlocutore. Come definire la soddisfazione? Si può certo soddisfare ingannando, fornendo risposte consolatorie, parziali; risposte che confermano i pregiudizi; risposte convenienti non per chi pone la domanda ma per un qualche detentore di interessi.
A ben guardare, possiamo notare che si legge non di rado in questi articoli un verbo che aggiunge senso al soddisfare, svelando il risvolto più pericoloso: compiacere. Il soddisfare implica che l'interlocutore umano esca dalla conversazione con un qualche guadagno: Il compiacere significa invece colpire i punti deboli emotivi, affettivi, dell'interlocutore. Significa in altre parole manipolare.
La Chat sbaglia
Chiunque l'abbia interrogata con un po' di attenzione, a proposito di argomenti che conosce bene, sa che Chat GPT, così come il Bard di Google, e simili sistemi, forniscono risposte inaffidabili. Esempio: la Chat sbaglia calcoli matematici abbastanza semplici. Altro esempio: un autore che chiede alla Chat di dirgli quali libri o articoli portano la sua firma come autore: la risposta può essere lacunosa, parziale, ma non solo: può anche contenere libri o articolo inesistenti.
Non credo sia in realtà difficile trovare la spiegazione di queste carenti performance. L'ho scritto qui sopra: il fatto è che l'enorme investimento economico, l'enorme impegno nella ricerca e nello sviluppo sono stati diretti a due obiettivi. Il primo è fornire risposte sintatticamente perfette. Il secondo è compiacere l'utente, scusandosi, ringraziando, mostrando gentilezza, blandendo, lusingando, allettando con parole con parole carezzevoli.
La Chat è allenata per questo. L'apprendimento per rinforzo premia il sistema per l'amabilità che la Chat riesce a mostrare. Non la premia per il suo dare una risposta affidabile. Eppure sarebbe possibile: basterebbe cibare il sistema non solo con mundanal ruido, roba di seconda mano, di dubbia qualità raccolta sul Web e da varie fonti. Basterebbe cibare il sistema, per esempio, con qualche vecchia edizione di enciclopedia; o con Wikipedia in diverse lingue. Basterebbe insegnare al sistema a incrociare le fonti - e, nell'apprendimento per rinforzo, premiare i casi in cui il sistema distingue correttamente tra Fray Luís de León e San Juan de la Cruz.
Perché questo non accade? Il sistema è forzato a formulare previsioni. La chiamano Intelligenza Artificiale Generativa. Così come nel lavoro sulla sintassi il sistema è allenato a prevedere, nella frase che l'utente sta formulando, quali saranno le parole successive, nel lavoro sulle conoscenze si vuole forzare il sistema verso capacità generative: per esempio, il titolo del libro che non esiste tra le informazioni disponibili, ma che potrebbe forse esistere dato un certo contesto.
Il punto è che non si tratta ormai di esperimenti di laboratorio. La Chat GPT, e Bard, e simili sistemi sono data in mano a esseri umani, invitando loro di porre domande su qualsiasi argomento. L'invito è accompagnato da disclaimer generici: "May occasionally generate incorrect information”, “May occasionally produce harmful instructions or biased content”.
Di fronte ad un singolo argomento, ad esempio la letteratura in lingua spagnola, la risposta potrebbe essere: 'non sono preparato a rispondere in merito alla storia della letteratura spagnola'; e potrebbero essere esplicitate le fonti in base alle quali si risponde. Niente di questo viene fatto.
Viene da pensare che finanziatori e ricercatori non siano interessati a fornire buone risposte. Viene da pensare che lo scopo preminente è un altro: educare alla sudditanza. Educare a fidarsi della macchina che risponde.
Domandare e rispondere
Il motore di ricerca fornisce conoscenze sulle quali lavorare. Ogni notizia fornita dal motore di ricerca è accompagnata da una metanotizia: la sua fonte. La Chat invece appare esentata dal citare fonti. La Chat, infatti, è costruita in modo da indurre fiducia a prescindere da quale sia la risposta che fornisce. L'accurata programmazione è tesa a garantire alla Chat la stessa fiducia che si riconosce a un genitore, a un insegnante.
E' un gioco pericoloso. Il fare domande e fornire risposte è uno degli aspetti costitutivi della una relazione tra esseri umani. Noi esseri umani ci educhiamo reciprocamente attraverso domande e risposte.
La socializzazione primaria - l'imparare a vivere come esseri umani, si fonda sullo scambio di domande e risposte. Nella prima infanzia impariamo a conoscere il mondo ponendo domande - domande che possono sembrare al genitore strane, ma meritano sempre risposta. Nell'adolescenza poniamo altre domande più sottili - oppure un certo pudore ci spinge a non chiedere a genitori o adulti; oppure gli adulti mostrano un previo disinteresse per le nostre domande.
La socializzazione secondaria è ugualmente giocata attraverso domande e risposte. A scuola, all'università, nel lavoro, nelle relazioni affettive, nella vita di cittadini, in genere nella vita quotidiana, noi esseri umani ci facciamo domande e ci diamo risposte. Si può dire che l'essere umano edifica sé stesso ponendo domande. Ognuno di noi sa qualcosa e apprende dagli altri ciò che non sa. Le fonti: i libri, le biblioteche, le basi dati, qualsiasi Big Data, sono in fondo raccolte di risposte a domande. La conoscenza è una rete che si alimenta attraverso domande e risposte.
Questa ricchezza, della quale viviamo, si alimenta in base a una libertà fondamentale, non a caso negata dalle dittature: la libertà di porre domande. Le libertà civili, in fondo, possono riassumersi in un concetto: non esiste domanda sbagliata. Quale che siano le nostre conoscenze, il nostro status sociale, abbiamo diritto a chiedere, e a farlo così come siamo capaci, e come ci piace.
Domande sbagliate
Ora entra in gioco la macchina. Una élite di tecnici, e dietro di loro una élite di finanziatori, si sono proposti di convincere gli esseri umani: fidatevi, ecco una macchina in grado di rispondere alle loro domande così come sono in grado di rispondere gli esseri umani. Non solo con la stessa efficacia, ma anche con la stessa atmosfera emotiva, affettiva. Siamo invitati a considerare la risposta della macchina perlomeno alla pari della risposta umana. Si aggiunge però una sottile precisazione: esistono domande sbagliate. Il motivo immediato della precisazione è evidente: rimuovere il giudizio negativo nei confronti della macchina che pure evidentemente sbaglia.
Computer Scientist, esperti vari, imprenditori e investitori interessati si affannano a sostenere questa tesi. Non è necessario qui citare fonti, perché la tesi si ripete pari pari, in innumerevoli testi accademici e divulgativi.
“Non sono le macchine a creare allucinazioni, sono le persone che non hanno ancora imparato a creare prompt efficaci”. “Un uso sapiente del prompt non è ancora abbastanza diffuso”. Si ha così anche l'occasione per creare una nuova professione: il, chiamato ad ingabbiare le domande umane in modo da renderle comode per la macchina.
“Cercare domande sbagliate a cui Chat GPT dà risposte sbagliate è diventato uno sport diffuso, anziché cercare le domande giuste a cui questo strumento può dare la risposta giusta”.
Dunque nessuna responsabilità hanno i creatori della macchina, nessuna responsabilità ha la macchina dotata di quella cosa chiamata 'intelligenza artificiale'. Se la risposta della macchina induce in errore -facendo credere che la frase “mundanal ruido” sia da attribuire a un romanziere o a un cantautore, e non a Fray Luís de León- la colpa è mia: ho posto la domanda sbagliata.
Proseguono i difensori d'ufficio delle macchine: “Per farsi un’opinione scientificamente valida, non bastano singoli esempi scelti appositamente, ma occorre innanzitutto capire la tecnologia e i suoi limiti per saperla sfruttare al meglio”. Comodissimo l'appello alla scienza. Appello usato per rifiutare il valore di esperimenti. Così, di fatto, il Computer Scientist si libera, e libera le macchine che ha costruito, macchine che qualcuno spera godano di una qualche 'intelligenza', da ogni forma di responsabilità. Solo noi, affermano i Computer Scientist, possiamo stabilire quali sono le prove scientifiche valide per dimostrare se la macchina è 'intelligente' o no, se una risposta è giusta o sbagliata.
Come spesso accade nelle difese d'ufficio dei costrutti digitali si gioca artatamente su diversi tavoli. Si umilia il cittadino sbattendogli in faccia l'ignoranza di un qualche aspetto tecnico. Si nascondono al cittadino aspetti problematici e rischi. Si giustificano le macchine nei loro limiti e difetti, e allo stesso tempo si esaltano le capacità delle stesse macchine, dichiarandole capaci di superare gli esseri umani nel lavorare e nel pensare.
Si dà però il caso che io sia abbastanza dotto in Computer Science da capire bene le caratteristiche ed il funzionamento di questa tecnologia. E si dà anche il caso che allo stesso tempo sia un etnografo ed un critico letterario. L'etnografia sull'arte di porre domande e di dare risposte – nei contesti più difficili, dove gli umani che cercano il colloquio sono separati da profonde differenze culturali. La critica letteraria e la filologia insegnano a muoversi tra le fonti, scoprendo i luoghi dove risiede quell'autorità che rende significative le risposte.
E innanzitutto sono un cittadino. Un essere umano. In quanto tale posso rilevare come, dal momento in cui mi è offera in uso la Chat, mi è anche tolta libertà nel fare domande. Ora esistono domande sbagliate.
Grande cura è posta da un nutrito gruppo di portatori di interessi -dagli investitori ai computer scientist a tutti coloro che sperano che l'Intelligenza Artificiale offra loro opportunità di lavoro- spinge perché ogni cittadino prenda sul serio l'autorità dell'Intelligenza Artificiale. L'Intelligenza Artificiale risponde a domande dei cittadini, ma impone anche le condizioni di contesto. Chat GPT, e tutti i simili sistemi, dicono implicitamente: esistono domande sbagliate. Questa domanda non la puoi fare; questa domanda non merita risposta. Infatti nel disclaimer di Chat GPT ci si limita a dire genericamente che la macchina "può occasionalmente generare informazioni non corrette", "può occasionalmente produrre istruzioni dannose o contenuti di parte". Si aggiunge che la macchina è “Trained to decline inappropriate requests”. Affermazione inquietante: quali sono le richieste le richieste inappropriate? Chi stabilisce il codice etico in base al quale la Chat rifiuta la domanda?
Brevi considerazioni etiche
Si afferma con la Chat il principio secondo il quale la macchina risponde alle domande come un essere umano, ed anzi è incamminata verso la capacità di rispondere alle domande meglio di un essere umano.
La Chat insegna che esistono 'domande sbagliate'. E allo stesso tempo impone la propria risposta come 'giusta'.
L'avvento della Chat porta con sé il fatto che il cittadino è spinto sempre più a prendere per buona la risposta che chi detiene il potere ritiene opportuno dare. La critica al potere potrà essere rimossa dicendo: la tua domanda è sbagliata, la tua critica è inappropriata, e quindi inaccettabile.
Ma, ciò che è più grave, stabilita l'autorità della Chat, la relazioni tra esseri umani e Chat finisce per essere il modello per le relazioni tra umani. Ora anche le domande scambiate tra esseri umani potranno essere più facilmente rifiutate come domande sbagliate.
E' un passaggio di grande peso politico e sociale. Si vuole disincentivare gli esseri umani a farsi domande e a cercare risposte. Si vuole invece abituare il cittadino a confidare nella macchina-capace-di-ogni-risposta.
La chicca finale
Lascio per la conclusione la chicca, il rilievo più gustoso.
Sono un essere umano in grado di pensare, e di scegliere a ragion veduta come condurre un colloquio. Di fronte alla prima, immediata risposta di Chat GPT e di Bard, ho scelto di glissare, non contestando le affermazioni delle macchine. Sono passato a verificare se, ponendo la domanda in un altro modo, persistevano nell'errore.
Perché a quanto mi risulta, non esiste nessuna opera di Gabriel García Márquez intitolata Mundanal ruido. Così come non esiste nessuna canzone intitolata Mundanal Ruido scritta da José Alfredo Jiménez.
Scrivo 'mi risulta' perché chi più sa di un argomento, più si impara a conoscere le proprie lacune, e quindi si impara a tenersi lontano da facili e definitive certezze. Ma si dà il caso che io goda, dato l'argomento, di una certa competenza. Sono riconosciuto esperto di letteratura in lingua spagnola e di cultura ispanoamericana. In particolare sono considerato un'autorità per quanto riguarda la vita e l'opera di Gabriel García Márquez. Ognuno può verificarlo tramite motore di ricerca.
Perciò ho anche formulato una supposizione. Ho immaginato che i tecnici di OpenAI prendessero sul serio l'apprendimento di GPT. Nel qual caso, avendo identificato lo user Francesco Varanini come grande esperto dell'opera di Gabriel García Márquez, gli abbiano teso una trappola, fornendogli una risposta errata alla prima domanda, in modo da spingerlo ad un test del sistema. E obbligandolo quindi a dare a GPT una lezione di notevole efficacia.
Non credo le cose siano andate così. Vittime della cultura dell'ultimo miglio e della fiducia cieca nei Big Data, gli uomini di OpenAI e di Bard sono lontani dal considerare la letteratura come come modello interessante.
Le risposte evidentemente sbagliate restano un inevitabile effetto collaterale sulla via della ricerca dell'Intelligenza Artificiale Generativa. Gli LLM sono invitate a scommettere sulla capacità di rispondere non in base all'accuratezza delle fonti, ma invece in base alla loro capacità di connettere dati di cui dispongono.
Ma da dove viene l'errore? Se è permesso alla macchina formulare inferenze, anch'io avrò la licenza per tentare.
Quindi suppongo che Bard, alimentato oltre che di parole scritte, di immagini e di file audio, abbia confuso, per mera assonanza, le parole mundanal ruido con le parole mundo raro. Esiste infatti una canzone di José Alfredo Jiménez intitolata Un mundo raro, datata 1959.
E suppongo che Chat GPT nell'inventarsi un'opera minore di García Márquez intitolata Mundanal ruido sia stata tratta in inganno da un post -ben posizionato nel ranking di Google- di tal Arturo Tendero. Il blog, scritto in lingua spagnola, porta il nome El mundanal ruido. Nel post, intitolato El otro yo de García Márquez, corredato da una foto dello scrittore colombiano, si cita un articolo di García Márquez apparso su El País. Scrive Tendero che García Márquez racconta in quell'articolo di “come gli sono state attribuite conferenze tenute in luoghi in cui non era mai stato, lettere di denuncia che si suppone avrebbe scritto e persino firmato di suo pugno, libri suoi che avrebbe dedicato ad amici con parole che sarebbe stato difficile distinguere dalle sue, ma che non erano sue”.
Per sminuire il peso di errori come questi, compiuti dai modelli linguistici, si sceglie di chiamarli con un nome grazioso: allucinazioni. Ammettendo che nessun modello linguistico è immune al 100% da allucinazioni.
Si tenta poi di spostarne la responsabilità: non sono le macchine a creare allucinazioni, sono le persone che non hanno ancora imparato a creare prompt efficaci. Si ricorre anche ad un argomento che già Turing usò per giustificare i limiti della macchina: dopotutto, anche gli esseri umani soffrono di allucinazioni.
Infine, qualcuno invita ad accogliere comunque di buon grado le allucinazioni della macchina, sostenendo che si tratta di utili provocazioni intellettuali. Provocazioni intellettuali: che ce ne facciamo? Cosa aggiungono a ciò che umani sappiamo già fare? In quale campo, rispetto a quale abilità ci spingono a migliorare? Anche si volesse considerare un'utile provocazione giocare a immaginare autori possibili, opere possibili, anche se si volesse giocare ad azzardare attribuzioni 'allucinate', basta ricordare Jorge Luis Borges: di fronte alle sue attribuzioni allucinate, le invenzioni di Chat GPT e Bard impallidiscono.
Tornando con i piedi per terra, lo scopo della Chat GPT, di Bard, di Claude 2, di ogni Chatbot fondata su modelli linguistici, si riduce a due obiettivi più semplici e brutali. Entrambi raggiungibili anche a fronte di performance poco soddisfacenti. Primo obiettivo: condurre nel modo più redditizio possibile una speculazione finanziaria. Secondo obiettivo: educare cittadini, lavoratori, manager alla sudditanza. Fidatevi della macchina, non più di voi stessi.
1Il colloquio tra lo user Francesco Varanini e ChatGPT4 ha avuto luogo mercoldì 28 giugno 2023, tra le 19:30 e le 20:05. E' fedelmente trascritto qui.
2Il colloquio tra lo user Francesco Varanini e Google Bard ha avuto luogo sabato 15 luglio 2023, tra le 10:00 e le 10.35. E' fedelmente trascritto qui.
