Nishida Paradox: "Knowing and its object are completely unified"

"Knowing and its object are completely unified". L'umana conoscenza è 'pura esperienza'. 

L’esperienza individuale non è che un piccolo e limitato ambito particolare all’interno dell’esperienza. La conoscenza è emergente, è una sorgente che si rinnova in ogni istante. 

I dati non sono che tracce del passato, o scorie. 

I filosofi digitali e i computer scientist che cercano una qualche intelligenza artificiale, trarrebbero grande giovamento dallo studio di Kitarō Nishida, filosofo giapponese che ci avvicina allo Zen e allo stesso tempo riassume il senso più profondo del pensiero fenomenologico occidentale. 

Il 'Polanyi Paradox' (vedi mio precedente post), in effetti, non è che una versione semplificata del 'Nishida Paradox'. 

E' accaduto questo: Ikujiro Nonaka, studioso giapponese di management, nel suo affermare il concetto di impresa fondata sulla continua creazione di nuova conoscenza, sentí il bisogno di non apparire troppo legato alla cultura e alla filosofia orientale. Si cercò quindi un testimone mitteleuropeo e poi anglosassone: Michael Polanyi, contribuendo notevolmente a crearne la fama. 

Ma la vera fonte di Nonaka è Nishida, formatosi nella cultura Zen e poi grande studioso della filosofia occidentale. 

Ecco il punto essenziale: ogni algoritmo, ogni struttura dei dati, ogni modello fondazionale, ogni sistema di regole o lista di assiomi, impongono una chiave di lettura a priori. 

Nishida e Nonaka ci ricordano che la conoscenza non discende da fondamenti, ma emerge nel basho. Basho: ubicazione, posto, topos, terra, focolare, situazione, base materiale e allo stesso tempo spirituale. Non radici alle quali siamo vincolati, ma luogo che abitiamo. L'esperienza che in ogni istante stiamo vivendo si situa in un qui. Solo se c'è basho c'è conoscenza. 


Sensazioni, percezioni, corpo, contribuiscono al fenomeno emergente. Il fenomeno si manifesta così, solo in questo istante e solo in questo luogo. 

Le macchine 'generative' o 'causali' faranno pure il loro lavoro, apprenderanno a loro modo qualcosa da dati e informazioni, ma ciò non avrà mai nulla a che fare con l'umana conoscenza. 

Più che il supporto di macchine, cerchiamo sempre nuove esperienze! 

Ci aiutano forse a vivere esperienze le 'intelligenze artificiali' che ci vengono offerte? No. Al contrario, ci costringono a esperienze impersonali, lontane dal basho, o peggio ancora, ci spingono a ripetere situazioni già vissute. 

Polanyi Paradox: "We can know more than we can tell"

Polanyi Paradox. 

Periodicamente appaiono nella letteratura digitale concetti formali, definiti in modo tale che la macchina possa risolverli. Ciò che sta dietro queste formalizzazioni viene bellamente ignorato. 

"We can know more than we can tell", cosi è noto ai computer scientist il complesso pensiero di Michael Polanyi. Le conoscenze esplicite sono solo una parte delle conoscenze. Molte conoscenze restano tacite. Emergono solo quando serve, dove serve. 

Tema ben studiato da filosofi, epistemologi, sociologi e psicologi. Ma i computer scientist sono preoccupati: se noi umani non sappiamo o non vogliamo dire in che modo conosciamo ciò che conosciamo, come farà la macchina ad appropriarsi del nostro sapere? 

A ben vedere è una questione -prima che tecnica- filosofica, sociale, politica, economica. Ma è anche una questione puramente inerente al management e all'organizzazione del lavoro. 

Gli esperti digitali non sanno che Polanyi è la fonte di Nonaka, maestro del management. Il suo famoso schema (SECI) presiede alla creazione del valore di ogni impresa. 

E cosa ne sanno gli esperti digitali della difficile e sofferta storia personale di Michael Polanyi, costretto a lasciare la sua terra natale, fisico passato ad essere epistemologo, cosa ne sanno del formarsi del suo pensiero, dei suoi rapporti con il fratello economista... 

Tirando un sospiro di sollievo esperti digitali vari sostengono ora la tesi della progressiva erosione del paradosso di Polanyi da parte dell'AI generative. 

Ma non hanno capito. Le macchine 'generative' faranno pure il loro lavoro, apprenderanno a loro modo qualcosa da dati e informazioni, ma ciò non avrà mai nulla a che fare con l'umana conoscenza. Così ben descritta da Polanyi. (Vedi continuazione nel mio successivo post: Nishida Paradox).

Breveissima bibliografia:

Michael Polanyi, Personal Knowledge: Towards a Post-Critical Philosophy, 1958

Michael Polanyi, Tacit Dimension, 1966

Ikujiro Nonaka, Management of Knowledge Creation, 1990

David Autor, Polanyi Paradox and the Shape of Employment Growth, 2014

Marcel Mauss, 'Le tecniche del corpo', 1934. Un testo chiave che ogni tecnologo dovrebbe leggere

Si dice che è inevitabile ed opportuno affidarci ai tecnici ed alla tecnica. 

Sappiamo di cosa stiamo parlando? Quanti testi inutili leggiamo? Quante volte leggiamo testi di seconda mano, che citano interpretando malamente o capziosamente? 

Con quale cognizion di causa i tecnici progettano? Invece di leggere testi scritti nei recenti tempi digitali, torniamo a leggere testi che illuminano la scena digitale. 

Ecco un testo chiave: Marcel Mauss, Le tecniche del corpo, 1934. 

Erroneamente crediamo che ci sia tecnica solo dove c'è strumento o macchina. Per capire la tecnica dobbiamo partire invece dal modo con cui usiamo il nostro corpo. Il corpo è il primo strumento dell'uomo, o meglio: il primo oggetto tecnico. 

Mauss mostra che noi umani conosciamo ed usiamo tecniche pur senza saperle descrivere formalmente. (Michael Polanyi non fa che ripeterlo). Mauss ci ricorda anche che tecniche universali imposte ad ogni cultura umana sono una forzatura. E ci fa riflettere su come tecniche siano imposte oggi in virtù di pura irrispettosa autorità, distruttrice di culture e differenze. 

Si può quindi supporre se non fosse per questa autorità, ammantata di propaganda, butteremmo magari a mare molte delle tecniche digitali che ci vengono proposte. 

Mauss, ancora, ci spinge a pensare che trasformarsi in cyborg non basti: se non sappiamo usare il nostro corpo, non sapremo usare nemmeno parti macchiniche aggiunte a noi stessi. 

Ma non contentatevi di questo riassunto, leggete queste venti pagine. Aiutano a pensare. Le trovate qui nell'originale francese e qui in italiano.

Dialogare con Luigi Einaudi grazie all'Intelligenza Artificiale. Meglio dire: Intelligenza Artificiale come postmoderno mezzo per coltivare la pubblica ignoranza.

Assurda e privo di senso iniziativa di Reply, Fondazione Luigi Einaudi, Fondazione Compagnia di San Paolo. 

"Come abbiamo trasformato l’eredità culturale di Luigi Einaudi economista in un’esperienza interattiva e accessibile a tutti grazie all’intelligenza artificiale", si legge sul sito di Reply. Accessibile a tutti: è forse l'AI la via unica o privilegiata per accedere alla conoscenza?

Rinnovamento della didattica? Ma no! Intelligenza Artificiale come postmoderno mezzo per coltivare la pubblica ignoranza. 

Un pensatore senza vincoli costretto nelle forche caudine costruite da tecnici interessati solo all'apparenza virtuale. 

Basta leggere le 'regole d'uso', riprese nell'immagine.

Solo questo potete chiedere! Seguite queste regole! I cittadini alla cui attiva autonomia Einaudi ha dedicato tante pagine ridotti a passivi utenti. Un velo autoritario è imposto alla conoscenza del pensiero di Einaudi, che parla in ogni pagina di libertà, trattando dei più diversi argomenti. Sanno davvero qualcosa i promotori dell'iniziativa della vastità dell'opera e dell'ampiezza del pensiero di Einaudi? Vogliono coltivarne la memoria o ridurrre la sua immagine a merce? Meglio stampare copie dei suoi libri e regalarle a scuole e studenti. E se si vuole mostrare competenza digitale, meglio offrire sul web una edizione critica delle opere, codifica TEI rigorosa, tag apposti da storici ed economisti per accompagnare, senza suggerire troppo, nella libera ricerca.

Le ragioni di Epimeteo. Traccia dell'intervento di Francesco Varanini nella tavola rotonda tavola rotonda ‘Da Prometeo a Pandora? Tecnologie, modelli di società e opportuni controlli’, Digital Ethics Forum, organizzato da Sloweb, Torino, 22 novembre 2023

 Come spesso capita, una tavola rotonda si sviluppa in modo tali da spingere o costringere a sviluppare il proprio intervento lungo una via in parte diversa da quanto prima previsto. Così è accaduto il 22 novembre 2023 a Torino nel corso della tavola rotonda ‘Da Prometeo a Pandora? Tecnologie, modelli di società e opportuni controlli’, con Cosimo Accoto, Paolo Gerbaudo, Michela Meo, Dunia Astrologo, nell’ambito del DEF Digital Ethics Forum 2023, organizzato da Sloweb,

Riporto qui la traccia del percorso di senso mi ero preparato a sviluppare. Nel corso dell'incontro non ho avuto tempo per sviluppare adeguatamente i punti sei e sette. Ho potuto esplicitare il punto otto nell'intervento che ha chiuso la tavola rotonda.

Uno
Amo gli strumenti digitali, ho lavorato a progettare strumenti e sistemi, nel 2000
ho progettato e diretto il primo Master in Italia dedicato a eBusiness
(Ma per fortuna non mi sono occupato solo di questo)
Mi sono entusiasmato e ho visto la bellezza
Ma non possiamo prendere tutto per oro colato
Così oggi mi trovo a dire:
Siamo esseri umani
Ci vergogniamo forse di esserlo?

Due
Veniamo da lontano e costruiamo il futuro
Abitiamo la natura
Costruiamo la cultura
Un conto è la tecnica, un conto è la tecnologia
Nessun modello digitale, nessuna rappresentazione computazionale può descrivere la complessità dei sistemi viventi.
Oggi ci viene offerta una proposta pericolosa
abitare un sostituto del mondo costruito da tecnologi che si collocano fuori dal mondo
Fidarci di macchine i progettisti delle quali di vantano di aver insegnato loro ad autosupervisionarsi durante il loro apprendimento

Tre
Rifiuto la proposta di amici che invitano ad accettare ogni nuova tecnologia come utile provocazione intellettuale, o forse anche materiale
Sento addirittura parlare di nuova domesticazione
Perché mai?
Non sento nessuno dire questo no

Quattro
La storia umana dal passato al futuro è nostra maestra
manteniamo aperto lo sguardo
Perciò benvenuti i miti che accompagnano gli esseri umani lungo la loro storia
Li abbiamo forgiati noi stessi per ammonirci, per leggere saggiamente il presente che ci troviamo a vivere

Cinque
Prometeo aveva un fratello
Epimeteo

Sei
Sostenibilità digitale
sembra che il digitale sia esentato dagli obblighi di sostenibilità
Questo accade perché abbiamo paura di non essere all'altezza
Vogliamo quindi immaginare che il digitale ci salvi
garantendo al posto nostro la sostenibilità
Affidarsi a una intelligenza artificiale!

Sette
Assumiamoci invece la responsabilità
Sostenibilità digitale primo passo verso sostenibilità
perché digitale inquina e danneggia
e perché cosí ci togliamo l'alibi

Otto
Quattro atteggiamenti epimeteici:
Non rinviare nel tempo
Non dire se ne deve occupare qualcun altro
Non nascondere il male dietro al bene
Restare disposti alla conversione

Perché i non giovani capiscono la cultura digitale meglio dei giovani

Si parla frequentemente di come il mondo in cui viviamo non sia un mondo per vecchi.

Eppure dovremmo invece ricordare che ci sono solidi motivi per sostenere che i non giovani comprendono la cultura digitale meglio dei giovani. Per il semplice motivo che hanno avuto la fortuna di vivere in un mondo di calde relazioni interpersonali. Hanno avuto la fortuna di vivere una prima infanzia riscaldata dalla cura, dai gesti, dalla voce di una madre; confortati da volti familiari e da scambi basati sugli sguardi, sulla voce, sulla lingua materna che diviene veicolo espressivo della persona che cresce.

Di tutto questo i nativi digitali sono stati invece privati, in una misura che sembra crescente generazione dopo generazione, di questa educazione, della socializzazione primaria. Perché hanno avuto in mano fin dalla prima infanzia macchine digitali che notificano comportamenti attesi e rilasciano feedback. Macchine sempre più autonome, impermeabili ai progetti e ai desideri della persona. Sostituti delle figure parentali e della famiglia. Macchine che preparano fin dall'infanzia ad una percezione di sé stessi e ad una vita di relazioni mediata da macchine.

Il disagio degli adulti di fronte a questo impoverimento della propria identità e della propria inclinazione alla vita sociale non è retrogrado rimpianto del tempo che fu. Il disagio è invece il sano frutto del ricordo, scolpito nella memoria personale, di cosa siano l'educazione e la vita di relazioni. E il disagio, allo stesso tempo, è il frutto della consapevolezza di una intromissione, di una pericolosa presenza estranea: un qualche aggeggio digitale dotato dotato di una propria autonomia, portatore di un progetto di cui nulla sappiamo, si interpone in ogni manifestazione dell'essere umano, in ogni relazione tra esseri umani.

C'è quindi una responsabilità sulle spalle dei genitori: non concedere, per quanto possibile, spazio eccessivo agli strumenti digitali nell'infanzia dei figli. Poi viene il ruolo della scuola. E poi ancora il ruolo della formazione aziendale. Più che la diffusione di un 'digital mindset', una educazione civica digitale.

Dieci impegni per la sostenibilità digitale

Questa proposta appare come conclusione dell'articolo La libertà di non essere digitali, apparso su Futura Network, blog di ASviS, 7 novembre 2023. Ne parlo qui su questo mio sito.  Auspico possa venire rielaborato e diffuso attraverso un processo di riflessione condiviso con le persone e le organizzazioni che operano per dare concretezza ai principi e gli Obiettivi dell’Agenda 2030, a partire da Assoetica e dalla comunità dell’ASviS e da chi altri sia interessato.

Se scegliamo di non affidarci ciecamente alla macchina, se rifiutiamo questa via di fuga, se vogliamo rimboccarci le maniche e affrontare i problemi che mettono in dubbio il nostro futuro, allora il nostro impegno si concretizza innanzitutto nell'evitare che le macchine digitali limitino il nostro sguardo e la nostra capacità di azione.

Il primo passo verso lo sviluppo sostenibile è quello di costruire uno sviluppo digitale sostenibile. Se il valore dell’aggettivo qualificativo “sostenibile” deve dare una qualità intrinseca al significato di “sviluppo” è necessario valutare come contenere lo spazio e il potere occupato dal mondo digitale nella vita umana. Occorre una riflessione, politica e culturale, estesa e partecipata, che non coinvolga solo gli “esperti” ma i cittadini, le “persone comuni”, anche quelle preoccupate o spaventate dal dominio della vita phygital. Perché gli esperti dovrebbero riconoscere di essere, prima di tutto, dei cittadini. Con l’intenzione di contribuire a queste riflessioni propongo al pubblico di Futura Network e all’ASviS di partecipare a una riflessione condivisa sull’argomento, per contribuire a dare concretezza e mettere in pratica la cultura della sostenibilità, attraverso la proposta di assumere “Dieci impegni per la sostenibilità digitale”*.

1) Impegniamoci ad applicare all'industria elettronica e digitale gli stessi criteri applicati alle altre industrie.

Non danneggiare l'ambiente attraverso l'eccessivo consumo di energia e l'uso di materie prime non rinnovabili e non compromettere il futuro con politiche miopi legate al breve periodo: sono obiettivi universalmente accettati. Le politiche sono efficaci solo se la loro applicazione è universale. Esentare un settore industriale da politiche orientate alla sostenibilità, o lasciare la scelta e l'attuazione di tali politiche all'autoregolazione di chi guida il settore stesso, significa compromettere il complessivo orientamento alla sostenibilità.

2) Impegniamoci a tutelare il diritto alla disconnessione: affinché le comunicazioni per via digitale non siano una condizione inevitabile nelle relazioni tra umani.

Viviamo - si dice - nell'onlife, in un'infosfera, eternamente connessi. Sembra quasi esserci il gusto di trovare nuove parole per nascondere la gravità della situazione. Per molti osservatori si tratta di una condizione ormai irreversibile. Ma le politiche orientate alla sostenibilità cercano proprio questo: l'inversione di trend pericolosi.

Parlare, stare insieme, convivere senza che per farlo sia necessario usare strumenti digitali, senza che ogni nostra parola ed ogni nostro gesto e parola sia mediato, osservato e registrato: si tratta di diritti che dobbiamo considerare inalienabili.

Dobbiamo garantire a noi stessi ed ai nostri posteri il diritto alla disconnessione.

3) Impegniamoci ad evitare che siano imposti a noi umani mondi già costruiti.

Apparteniamo alla natura, ma contribuiamo a costruirla con il nostro agire quotidiano. Il mondo fisico è co-costruito dagli esseri umani che vi vivono. I mondi digitali sono invece offerti, o imposti, come già totalmente costruiti. Nei mondi digitali il cittadino è ridotto ad essere un utente, senza la possibilità e gli strumenti per progettarli e gestirli. Ogni essere umano deve poter modificare - e quindi poter curare, proteggere, “fare proprio” - l'ambiente nel quale si trova a vivere, e del quale fa parte, anche quello digitale. Dobbiamo immaginare uno sviluppo digitale dove la stessa azione responsabile di ogni cittadino sia possibile.

4) Impegniamoci a lasciare aperta la possibilità di scegliere quali servizi digitali usare e quali non usare.

Gli spazi di libertà nel mondo digitale sono via via sempre più ridotti alla scelta tra servizi preconfezionati. Ma tali servizi non sono solo offerti: sono sottilmente imposti, per via di consigli capziosi, notifiche sottilmente invitanti, ma anche tramite contratti opachi e norme di legge che guardano più all'interesse del fornitore che all'interesse del cittadino. Un insieme di strategie di marketing che nascono bel prima dell'avvento degli strumenti digitali ma sono esponenzialmente potenziate dagli strumenti digitali stesso. Occorre lasciare alle persone la libertà di formulare di volta in volta scelte consapevoli.

5) Impegniamoci a garantire che tramite macchine non siano compressi gli spazi di libertà e non sia imposto agli umani l'obbligo di compiere azioni predeterminate.

La libertà è spazio per sperimentare, tentare, creare, apprendere. Il contesto digitale offre alla politica strumenti di governo che riducono la portata dei diritti civili. Tramite mezzi digitali, magari con la giustificazione di una superiore conoscenza di ciò è “bene” per ogni singolo cittadino, si impongono gravi limitazioni al libero arbitrio. Conseguente al punto precedente, che riguarda in particolare i comportamenti d'acquisto, questo impegno si allarga alla vasta scena della democrazia liberale e dei meccanismi del controllo sociale.

Se alla fiducia nelle scelte individuali si sostituisce il paternalismo, viene meno la partecipazione civica necessaria ad ogni progetto orientato ad obiettivi di sostenibilità. Dobbiamo cercare uno sviluppo digitale rivolto alla difesa e all'ampliamento degli spazi di libertà di ogni cittadino.

6) Impegniamoci a non guardare e a non giudicare l'essere umano attraverso il suo "gemello digitale".

La natura vista allo specchio non è la natura. La mappa non è il territorio. I dati non sono mai tutti i dati, e non sono mai abbastanza per poter restituire una visione completa. Eppure si è affermata l'idea che ogni oggetto e accadimento del mondo, ogni aspetto della natura e quindi ogni essere umano possano essere conosciuti e compresi attraverso la sua immagine digitale.

Tramite gli strumenti che abbiamo costantemente in mano e addosso, tramite i sensori e i sistemi di rilevazione di vario tipo diffusi in ogni ambiente, si raccolgono dati su ogni essere umano. E’ opinione diffusa che noi siamo quello che appariamo attraverso questi dati, noi siamo i nostri ‘gemelli digitali’. Siamo arrivati a ritenere giusto adeguarsi alla rappresentazione di noi determinata dai dati. Sappiamo che la natura (e l’essere umano) è qualcosa di più, di differente, da ciò che i dati più completi e precisi possano attestare. Le persone però non hanno nessun controllo sul modo in cui viene costruito questo ‘gemello digitale’. L'antichissimo monito rivolto all'essere umano: 'conosci te stesso' viene così messo in discussione. Dobbiamo immaginare strumenti che mettano nelle mani delle persone la costruzione della propria immagine digitale.

7) Impegniamoci a non separare la mente dal corpo e a rispettare l'integrità de corpo umano.

L'intero progetto digitale è frutto di un approccio cartesiano che considera una sola parte del complessivo essere umano: le sue capacità intellettive. Il corpo è considerato una mera estensione. La computer science si concentra - tentando di imitarne il funzionamento – soprattutto su sola parte del corpo umano: il cervello. In virtù del parallelismo tra umani e macchine proposto da Turing, però, si finisce per confrontare le Intelligenze Artificiali con l’essere umano per intero, del quale si propongono banali sostituzioni con avatar o immagini tridimensionali.

Ricordiamo che l'essere umano non si riduce alla sua mente. La mente è incarnata, inconcepibile senza corpo. Le capacità intellettive sono frutto di lavoro ed esperienza che coinvolgono il corpo nella sua interezza. Protesi e tecnologie biomediche che sostituiscono organi malati sono benvenute ma dobbiamo fare attenzione al loro uso in nome del “potenziamento”, valutare la sostenibilità delle soglie che si aprono ai confini della contaminazione tra corpo e dispositivi. Abbiamo il diritto di non veder reso inutile il nostro corpo da protesi e strumenti digitali.

8) Impegniamoci a mantenere vivo il diritto al lavoro. 

Riflettiamo sulle definizioni riduttive del concetto di lavoro. Il lavoro non è solo fatica e pena dalle quali conviene liberarsi. Non esiste confine tra “lavoro manuale” e “lavoro intellettuale”. Il lavoro non è solo fonte di remunerazione; ha piena dignità di lavoro anche una attività svolta gratuitamente. Il lavoro è costruzione di sé stessi e del mondo.

Di fronte alla promessa, o alla minaccia, di una sostituzione per via digitale di ogni tipo di lavoro svolto dagli esseri umani, è necessario non parlare genericamente di “lavoro”. Serve tornare a parlare e considerare esplicitamente il “lavoro umano”, nella sua pienezza: gli aspetti materiali e immateriali sono inscindibili, così come è inscindibile il pensare dall'agire. Dobbiamo evitare che intelligenze artificiali, automazione e robotica tolgano senso e spazio al “lavoro umano”.

9) Impegniamoci a garantire che la presenza di macchine di qualsiasi tipo non costringa gli umani a svalutare sé stessi, all'impoverimento e alla dipendenza.

Costrutti digitali autonomi acquistano sempre nuovo spazio come sostituti dell'essere umano non solo nel lavoro materiale, ma anche nelle più sofisticate attività dove sono in gioco esperienza, capacità di giudizio, rapidità di decisione.

La scelta di chi - un umano o una macchina - debba essere, in situazione critica o in caso di emergenza, il decisore in ultima istanza, non è solo una scelta tecnica: è una scelta culturale ed etica.

Le macchine disporranno, secondo alcuni, non solo di una crescente razionalità, ma anche della capacità di formulare giudizi morali. Dentro ogni algoritmo, dietro l'agire di ogni intelligenza artificiale, si cela l’impostazione di chi le ha progettate e chi le gestisce: grandi imprese dominate da una visione e da interessi - finanziari, politici, sociali, culturali - spesso in contrasto con la ricerca di uno sviluppo realmente sostenibile.

Privato della possibilità di sperimentare sé stesso nella situazione estrema, su terreni sconosciuti, di fronte al nuovo e all'ignoto, l'essere umano impigrisce, perde fiducia in sé stesso, compromette la propria crescita. Forse non è esagerato dire che la sostituzione dell'essere umano con le macchine mette in discussione lo stesso futuro evolutivo della specie umana.

Nel breve termine, l’umanità rischia di perdere anche la capacità di fare le necessarie scelte orientate ad uno sviluppo sostenibile. Saremo così di fronte ad una profezia che si autoavvera: le politiche e le azioni orientate ad uno sviluppo sostenibile saranno affidate alle macchine. Dobbiamo garantire a noi stessi e alle generazioni umane future la possibilità di conoscere, di apprendere, di migliorare.

10) Impegniamoci a garantire a noi stessi e alle future generazioni la possibilità di vivere senza strumenti digitali. La libertà di non essere digitali.

Quest'ultimo impegno sintetizza i precedenti ed offre lo spunto per una riflessione conclusiva.

Vivere senza dover necessariamente ricorrere, in un modo o in un altro, a strumenti digitali appare già oggi impossibile. Difficile immaginare che questo sia possibile domani. I dati ci mostrano quanto sia difficile, realisticamente inimmaginabile, poter raggiungere i 17 Obiettivi dello Sviluppo Sostenibile proposti dall’Agenda 2030 Onu ma non per questo stiamo rinunciando agli Obiettivi o riducendo gli sforzi. Anzi.

Abbiamo motivi per temere un futuro fosco ma sappiamo che questa minaccia non viene solo da lontano, da fuori: la minaccia viene anche da noi stessi, dai nostri personali comportamenti insensati, privi di saggezza. Da questo nasce la responsabilità di cui ogni essere umano è chiamato a farsi carico. Abbiamo una di fuga: attribuire il peso della responsabilità a macchine sempre più autonome da noi. Sta a noi scegliere. Se scegliamo la via della responsabilità è necessario preoccuparci della direzione verso cui sta andando l'industria digitale e interrogarci su come le nostre vite siano condizionate dagli strumenti digitali.

Lettera a Eliezer Yudkowsky

 Eliezer,

è l'alba, mi sono alzato, mi sono messo un maglione, sono andato nel mio studio, ho aperto la finestra, ho spostato lo schermo per vedere dietro il mare e il cielo, sento i gabbiano gracchiare, ne vedo salire un in alto. Passa nel golfo il primo traghetto.

E' tempo di scriverti. Sono mesi che mi propongo di farlo, senza riuscire a trovare il filo, la chiave. Ho accartocciato e buttato nel cestino decine di lettere. Virtualmente, certo, sono quarant'anni che scrivo con il computer -questo Eliezer vuol dire che potrei darti i file di quello che ho scritto. Credo tu sia d'accordo con me nel dire che contano i sessanta e più anni di storia di quel campo di ricerca cui fu attribuito il nome 'intelligenza artificiale'; ma conta ancor più la personale esperienza con questa macchina detta 'computer', strumento nelle nostre mani, ma anche simbolo costantemente presente di una entità aliena che forse si emancipa, che si allontana da noi. Nessun altro mi ha parlato in modo così sottile di questa sensazione. Solo tu. Possiamo chiamarla sensazione o è meglio dire consapevolezza?

Così ho passato questa estate a leggere tuoi testi. Saggi su temi di epistemologia, libri che immagino per ragazzi, lunghi e articolati post su LessWrong. Colgo il tentativo di sintesi nelle tue interviste, i tuoi ultimi video. Ho in mente ora in particolare il tuo colloquio con Lex Fridman e il tuo articolo su Times. La minaccia che senti incombere impone di non andare troppo per il sottile: le Superintelligenze mettono a repentaglio la specie umana. Shut Down. Chiudiamo tutto, interrompiamo la ricerca, smantelliamo le server farm, mettiamo sotto controllo la vendita di ogni singola scheda grafica. Per carità, facciamolo, siamo lontani da una sufficiente comprensione di ciò a cui abbiamo incontro. E poi l'ultima risorsa argomentativa: la citazione della email della tua compagna che parla del dentino caduto della tua figlia. Che futuro avranno questi bambini? Queste macchine lavoreranno al posto loro, condizioneranno la loro vita. Sta andando tutto troppo veloce. Fermiamoci. Facciamolo per loro.

E' facile accantonare la tua posizione dandoti del millenarista, del vano profeta annunciatore di catastrofi. Per questo nei mesi scorsi mi sono messo a rileggere quello che hai scritto. Per immergersi in quella materia che sapevo che c'era. E che prima avevo solo assaggiato. Avvicinato a spizzichi. Mi ci sono immerso ora per cogliere le origini, la storia, il senso di quel pensiero che sfocia adesso nel tuo annuncio della disperata urgenza. Scritti di grande ampiezza e profondità. Un corpus omogeneo e variato, serrato e aperto. Nutrito di discipline diverse, logica, matematica, statistica, ingegneria, biologia: lista provvisoria, che subito tradisce l'insignificanza dei confini disciplinari. Visione senza confini, alimentata dalla tua benedetta distanza da ogni ogni formazione scolastica, accademica, settoriale. Profondità è ampiezza, ti dicevo, un sistema così ben tessuto. Non ti seguo su tutti i fronti, ovviamente, ma colgo, credo, l'armonia, la struttura. Il genio non può che essere autodidatta. Il pensiero va oltre i confini, è trascinato oltre i confini provvisoriamente raggiunti dal suo stesso sviluppo.

Seguo il tuo modo di intendere la teoria bayesiana. Inseguo la tua epistemologia. Mi appoggio però inevitabilmente alle mie letture, alla mia formazione. Non mi faccio bello citando le contiguità che posso immaginare per te immagino abbiano più senso. Cito invece, a costo di gettare la palla lontano dal tuo cesto, forse magari quasi di offenderti, testi ed autori che hanno senso per me. Opere intrinsecamente legate all'autobiografia, generate dal dolore e da una profonda solitudine. La solitudine di chi si sente il solo a vedere. L'Esegesi di Philip Dick. La scrittura lenta e metodica di Juan Emar, scrittura che, da un certo giorno in poi, accompagna ogni giorno della vita. Il tornare e il ritornare di Lezama Lima tramite ondate barocche su ogni dettaglio, ogni anfratto della propria vita, il sogno sempre presente del proprio personale Paradiso, forse non perduto – convocando nel discorso ogni brandello del sapere universale, cornucopia che sparge immagini. Sei anche questo Eliezer, un grande scrittore.

Del testo tu stesso hai scritto da qualche parte -riesco a scriverti ora perché finalmente ho una visione sintetica dei tuoi testi- che bisogna saper narrare. Non solo calcolare. Anche per questo mi permetto di citarti narratori.

Ma più leggo, più il tuo pensiero si apre ai miei occhi, nella sua solida consistenza scientifica e filosofica, nella sua coerenza interna, nel suo rispondere anticipatamente a critiche che potrebbero minarlo.

Così, Eliezer, ho maturato l'intenzione di scriverti. Volevo scriverti per confortarti dicendoti che ti sbagli. In più parti delle mie bozze di lettere non spedite avevo scritto: Eliezer, hai torto marcio; dici che soccomberemo, ma non accadrà. Mi sembrava che la tua definizione di Superintelligenza riprendesse alla lettera la definizione di Turing. Macchine in grado di competere con gli esseri umani in “all purely intellectual fields, dice lui”. “A Superintelligence is something that can beat any human, and the entire human civilization, at all the cognitive tasks”. Non solo in grado di competere, ma battere. Però sempre solo nei cognitive tasks. Mi chiedevo: non è forse riduttiva la tua definizione? Non stai descrivendo invece un attacco che tocca ogni aspetto della vita umana? Avevo scritto anche: hai ragione a metterci in guardia, ma la tua idea di una minaccia così forte, così grave, così imminente, è infondata. La Superintelligenza non ci distruggerà. Non saremo tutti morti. Tua figlia avrà un mondo in cui crescere. Mi sembrava infatti possibile fondare la mia speranza osservando che tu restavi chiuso nella scatola ricorsiva della computazione, senza saper vedere la complessità dei sistemi viventi, la cui descrizione non può che essere subottimale e incompleta. Quindi, accettata la complessità, aperta all'evento, all'imprevisto, all'emergente: come predire la probabile con la sicurezza che mostri?

Ma più procedevo nel mio tentativo di cercare contraddizioni e lacune nella tua posizione, e più mi accanivo a vedere luci di futuro lì dove tu vedi segni di catastrofe, più mi accorgevo della modestia e della vanità del mio tentativo. Modestia, perché sono in grado di seguirti solo parzialmente. Vanità, perché più penso al tuo pensiero, più credo che dobbiamo accoglierlo come dono, come cattedrale in un deserto. C'è così poco di interessante da leggere, così pochi testi veramente stimolanti, visionari. Le tue scritture svettano tra testi aridi, incapaci di cogliere le sfaccettature degli stessi argomenti trattati, viziati da arroganza speculativa, da interessi di parte. Nei tuoi testi si respira invece un'aria rarissima di libertà di pensiero. Se vogliamo vederla, anche di spietatezza, di costante critica nei confronti di te stesso che pensi.

Perché quindi tentare di smontare l'architettura così ben costruita. Prendiamola com'è. Ammiriamo l'edificio, la sua bellezza. Cogliamo il monito, l'insegnamento.

Accetto quello che mi dici, Eliezer. Rischiamo un'apocalissi. Una minaccia pantoclastica incombe su di noi. Se anche la tua posizione potrebbe essere classificata, in base a certi criteri, come millenarista e catastrofista, questa classificazione non le toglie valore. Abbiamo bisogno di profeti che sposino l'annuncio e la denuncia. L'annuncio della Superintelligenza che verrà. La denuncia dei rischi enormi, mai vissuti dalla specie umana prima, che questo avvento comporta.

Io non credo come te all'avvento di Superintelligenze. Ma forse non ci credo perché non so, non capisco abbastanza. Di altri non mi fido. Di te, per la tua onestà personale, per l'atteggiamento etico che ti riconosco, per la struttura ammirevole dei tuoi testi, mi fido. Ti ascolto.

Se quindi ora pongo a me stesso, e a te, qualche domanda, è solo perché voglio capire.

Per farla semplice, parto da una tua narrazione orale. Dal tuo colloquio con Fridman. Ti racconto di una sensazione: una discontinuità nel tuo discorso mi è balzata agli occhi in un punto preciso. Mi è parsa immotivata. Non so cosa non ho capito.

Giustamente citi un certo punto nella conversazione dici: io sono la persona che ha letto da ragazzo Great Mambo Chicken & The Transhuman Condition come tuo libro di fondazione: l'adolescente si nutre del sogno di una scienza potente, capace di forzare i confini, i limiti stessi di ciò che chiamiamo vita. Ma perché ora, quando ti sei dato il compito compito arduo, e in un modo o nell'altro giusto- di convincere i tuoi simili, esseri umani, a non subire passivamente il fato, a intervenire politicamente, attivamente, in prima persona, contro una minaccia epocale, perché citi come libro che tutti dovrebbero leggere, o rileggere Adaption and Natural Selection di George Williams, quel libro del 1966 dove si afferma che l'evoluzione delle specie naturali si svolge a livello di geni. Solo di geni. Geni egoisti di cui l'essere umano è solo ospitante. Sto semplificando, certo, ma mi pare una lettura riduttiva della teoria dell'evoluzione, una teoria che finisce per essere esclusivamente matematica, formalizzata. Faccio fatica, sinceramente, a tenere insieme questo approccio con il tuo atteggiamento personale pienamente umano, consapevole, compassionevole.

Conosci bene, certo meglio di me, questa storia. 1964: Hamilton, The Genetical Evolution of Social Behaviour; Williams, 1966; Robert Trivers, 1971; Maynard Smith e Price, 1973.

Fitness, tradurrei in italiano idoneità: efficienza riproduttiva di un genotipo rispetto agli altri. Il conflitto tra animali diviene oggetto di speculazioni esclusivamente logiche. Scusami ancora per l'esposizione rozza, forse forzata: vince il più idoneo, il più adatto in partenza. L'EES, strategia evolutivamente stabile, desunta da una formalizzazione del conflitto tra falchi e colombe. L'evoluzione ridotta a teoria dei giochi. A ordine di beccata tra polli. Fino alla Sociobiology di Wilson, 1975. La nuova sintesi: ogni specie cerca di riprodursi. Il successo sta nei geni presenti nella generazione successiva. Ogni comportamento sociale è funzionale a questo scopo. L'altruismo, la cura dei giovani, si spiegano con questa pressione biologica. D'accordo, ma tu e la tua compagna siete mossi solo da un automatismo, da una deriva deterministica, quando siete ansiosamente preoccupati per il futuro di vostra figlia? Non so. Non credo.

Forse, Eliezer, questi modelli sono i più fitted, idonei a spiegare e descrivere l'avvento della Superintelligenza, che si eleva dal calcolo, dalla mera computazione. Ma bastano questi modelli per descrivere la complessa vita della natura, dei sistemi viventi? Contano solo i geni, o esiste la possibilità di osservare l'evoluzione a livello di organismi viventi?

Non sto a ricordarti ipotesi neodarwinistiche che conosci meglio di me. Lasciami dire ancora in modo rozzo: certo il genotipo determina il fenotipo. La filogenesi determina l'ontogenesi. Ma la funzione dell'organo non è scritta una volta per tutte nel codice. L'organismo vivente genera risposte necessarie per sopravvivere nell'ambiente. Le piume primordiali garantivano protezione al corpo, e cambiano funzione, divenendo strumenti per il volo. La selezione convive con la mutazione. Non c'è forse eccessiva fede nel potere della selezione naturale come agente ottimizzante? Non converrebbe invece osservare il manifestarsi di storie adattative diverse?

Non si riduce così il ruolo giocato in questo contesto dalla nostra specie? Facciamo parte della natura, ma abbiamo imparato a manipolare la natura, stiamo apprendendo a ri-scrivere il codice della vita. Quindi abbiamo la responsabilità di essere custodi della natura, di cui facciamo parte. Responsabili della cura di noi stessi, della nostra specie, della vita.

Mi provoca una grande malinconia ascoltare amici che parlano di sé stessi come 'intelligenze a base carbonio' che si preparano a convivere con 'intelligenze a base silicio'. Quale aridità! Come se ci si vergognasse di essere umani. Come se si preferisse ignorarlo. Come se, privi di autocoscienza e di fiducia in sé stessi, si preferisse immaginare sé stessi come macchine. Come se si aspettasse la salvezza nell'avvento di una qualche forma di 'intelligenza artificiale'.

Questa credo proprio fosse la speranza di Turing. I hope. Spero che le macchine pensino. Pensino meglio e al posto degli umani. Deluso dagli umani, incapaci di elevarsi oltre il proprio dolore, Turing proiettava la propria salvezza, la visione della propria salute, nel trionfo della macchina. Forse anche tu, Eliezer, quando eri ragazzo, adolescente, la pensavi in questo modo. Preferivi vedere te stesso come macchina. Giustificavi le tue incapacità con limiti della macchina. Turing non ha saputo uscire da questo circolo vizioso. Mentre nel 1950 stava scrivendo l'articolo sulle macchine che pensano, stava scrivendo anche un altro articolo, che aveva per tema la metamorfosi. Non credo fosse un caso. Ma non ce l'ha fatta. Si è tolto la vita. Tu invece Eliezer, guarda che uomo sei diventato. Solo tu sai a costo di quali sofferenze. Ma ce l'hai fatta. Non ti sei fermato a recriminare sui difetti del tuo codice. Non ti sei certo rassegnato ad una storia scritta nei tuoi geni.

Eccoti qui ad ammonirci e a preoccuparti e a prenderti cura. Benvenuta la tua voce a dire: state attenti, la crescente autonomia di cosiddette intelligenze artificiali non è un gioco così facile né così indolore. Guardate ai rischi immani. Leggo in tutte le tue pagine un invito: assumetevi responsabilità, io cerco di assumermi le mie. Ogni cosa che capisco è fonte di responsabilità.

Hamilton, Williams, Trivers, Maynard Smith e Price, Wilson sono stati credo giustamente criticati non solo per intrinseche debolezze delle loro teorie, ma anche per aver offerto una via di fuga psicologica, sociale e politica: la storia e la cultura sono frutto di pressione genetica. I comportamenti sono tempi remotissimi già scritti nel codice genetico della specie. L'essere umano è impotente. La passività e la dipendenza sono giustificate a priori. Non è certo il tuo caso. La tua cara presenza ci accompagna nel tenere gli occhi aperti. Credi ancora, credi sempre in noi esseri umani.

E' questo che mi desta un po' di meraviglia. O forse non capisco. Mi sembra quasi che tutto quello che leggo nelle tue fittissime, geniali pagine, sia in qualche modo superato dal tuo sguardo un po' triste, partecipe, dalla tua attenzione rivolta ai rischi presenti. Come se tutto quello che hai scritto fosse la narrazione di un passaggio, di una transizione, di una emancipazione. Usi codici logico-formali, matematici, computazionali, statistici. Ma mi pare che tu sia andato oltre. Sul terreno di un rischio e di una speranza dove le parole sono superate, i codici che adotti sono inadeguati. In effetti usi i codici e gli argomenti di coloro ai quali ti opponi. Ti opponi ad irresponsabili cultori del progresso - mossi in realtà da interessi personali di denaro, di carriera. Ti opponi ad accelerazionisti che dicono: se l'intelligenza artificiale deve arrivare, facciamola arrivare subito, affidiamoci a lei.

Eliezer, mi sembra alla fine che tu usi apparentemente li stessi codici, gli stessi argomenti di coloro ai quali ti opponi, ma che tu usi in realtà atri codici, umanissimi: codici affettivi, codici narrativi. Certo anche i codici affettivi e narrativi si appoggiano su basi biologiche e matematiche, ma che non parlano ad un agente, ad un ente metafisico: parlano agli esseri umani.

Eliezer, anch'io cerco di fare la mia piccola parte ammonendo, rischiarando per quello che sono capace la scena digitale, al di là dei miti, delle illusioni e degli inganni.

Sento qui il tuo accompagnamento. La tua calorosa vicinanza. Non mi importa tanto sapere se applichi a casi immediati la teoria bayesiana. Non mi importano più di tanto riferimenti e quadri concettuali ai quali ti attieni.

Il fatto è che ti sento vicino quando devo rispondere ad amici che mi dicono: noi umani siamo una specie come tante, siamo nient'altro che organismi viventi. Apparteniamo alla natura come altri animali, come piante, come sassi. E oltretutto siamo meno saggi di altri enti naturali. E' vero. Ma abbiamo sviluppato una potenza che nessun altro ente naturale ha. Ci tocca fare i conti con questa potenza. Decidere quando e come esercitarla, decidere quando fermarci. Se anche aspetti disfunzionali dei sistemi viventi non sono stati causati dall'agire umano, solo l'essere umano dispone degli strumenti e della forza per intervenire, correggere, riassestare, o almeno mitigare.

Ancora più vicino ti sento quando mi trovo a rispondere agli amici che dicono: il nostro futuro sta nel convivere con intelligenze artificiali. Nessuno più di te ha studiato l'argomento.

Così, seguendoti, mi guardo bene dall'escludere la possibilità che questo accada. Può darsi che ci troveremo a convivere con intelligenze autonome, del tutto indipendenti da noi - e anche, come tu supponi enormemente potenti, tanto diverse da rendere difficilissimo il colloquio. In questo scenario quali possibilità abbiamo? Mi pare tu sia d'accordo con me nel considerare che le risposte possibili non stanno nell'imitare la macchina, stanno invece nell'orgoglio della propria storia e della propria specie. Nell'essere umani che non si affidano e non si arrendono.

Esseri umani che scelgono le parole, anche. Giustamente dici che ormai conviene uno usare più la parola singolarità, abusata o mal usata. Altrettanto si può dire delle parole rischio esistenziale. Lasciamo la parola singolarità a Kurzweil. Lasciamo il rischio esistenziale a Bostrom, Tekmark e Elon Musk. Per quanto mi riguarda, prendo con le molle anche il concetto di cognizione. Troppo ambiguo. Credo tu sia d'accordo con me nel considerare mente e corpo inscindibili. Psicosoma. Ebodiments. Embodied mind. Ma lo ripeto: Eliezer, quali che siano le parole che usi, la tua compassione umana ti porta oltre.

E ancora, ti sento vicino nel rispondere agli amici che dicono: la scena digitale è una utile provocazione, ci spinge a migliorarci. Non credo questa posizione sia onesta fino in fondo. In realtà vuole salvare capra e cavoli. Si accetta che una tecnologia dis-umana -una tecnologia contraria all'etica, a ciò che appare a noi umani saggio- definisca la scena, e poi si dice: è comunque un'utile provocazione per noi! Ci stimola a crescere, a cambiare! No amici: come ci dice Eliezer, la scelta saggia -ed efficace dal punto di vista della costruzione del futuro- sta talvolta nel dire no. Nel non seguire l'onda, nel fermarsi.

Insomma Eliezer, ho imparato tanto da te, dalla tua storia di persona che ha saputo cercare sé stesso, e che ora è ansiosamente preoccupato. Siamo diversi per lingua, cultura, per età, per formazione. Ma ti sento vicino. Vorrei dari un piccolo dono, fatto di parole che risuonano mentre ti sto scrivendo.

José Lezama Lima, poeta cubano a me caro, diceva: “Solo lo difícil es estimulante”. Certo è difficile, e per questo stimolante, il compito di cui ti sei fatto carico. Mettere in guardi di fronte al possibile avvento di Superintelligenze. Mettere in guardia, innanzitutto, dall'affidarsi ad esse, subordinando il nostro essere umani a quel fallace rispecchiamento dell'umano che la macchina ci restituisce.

Lezama ha scritto una poesia che inizia con questi versi: “Ah, que tú escapes en el instante/

en el que ya habías alcanzado tu definición mejor”. Mi auguro che tu scappi oltre, altrove, nell'istante in cui ti sembra di aver trovato il miglior schema che ci definisce. Potremmo dire che questo è la computazione: la pretesa di dare di noi stessi, degli altri, della natura, della vita, la definizione migliore. Scappa via, fuggi, dagli schemi già dati. Mi sembra, Eliezer, tu lo faccia sempre.

Trovo consonanti questi versi, scritti nel Ventesimo Secolo, con i versi che scriveva Goethe verso il termine del Diciottesimo Secolo, mentre leggeva Spinoza, e cercava una scienza, lui poeta-scienziato, attenta più che alla quantità, alla qualità, al complesso, all'emergente. Sembrano una novità oggi transumanesimo, e appaiono accattivanti titolo di libri che parlano di Homo Deus. Ma già allora Goethe intitolava la poesia Il Divino. E stava parlando di noi esseri umani, come siamo, come potremmo essere. “Secondo eterne, grandi,/ inflessibili leggi/ tutti dobbiamo/ compiere il cerchio/ della nostra esistenza”. “Eppure, l'uomo soltanto/ può l'impossibile:/ egli distingue,/ giudica e sceglie”. Ecco: la nostra natura e la nostra cultura ci invitano ad assumerci la responsabilità di decidere. Cedere le redini alla macchina è il contrario. “Egli soltanto può

premiare il giusto,/ punire il malvagio;/ salvare e guarire”. Tu Eliezer non stai arrogandoti il ruolo di chi premia e punisce. Ma stai accollandoti il compito di fare quello che puoi per salvare noi umani dalla dipendenza da Superintelligenze. Permettimi di dire che la Superintelligenza è una minaccia reale, ti credo. Ma ancor prima è una metafora della sudditanza scelta come fuga dalla responsabilità. Guarire: la tua storia personale, mi permetto di dire, è la storia di una cura, di una guarigione. Dalla cura di sé stessi nasce la cura per gli altri e per il mondo.

Wilson, con la sua sociobiologia, ha detto qualcosa di nuovo? Non credo. Noi umani replichiamo comportamenti ancestrali, certo. Siamo predeterminati geneticamente. Ma sappiamo anche rinnovarci e cambiare. La tecnica è il frutto della nostra capacità di rinnovarci e cambiare. Ma sappiamo anche cambiare noi stessi: tu Eliezer ne sei la prova. La tua etica non credo si spieghi solo con la genetica.

Tu Eliezer hai definito la Superintelligenza come qualcosa che sconfigge ogni umano e l'intera umana civiltà nei cognitive tasks. Importano poco le definizioni, il lessico dettato da più o meno nuove discipline. Ma andiamo al sodo. Penso di poterti dire che quando parli di cognitive task non fai che ripetere una vecchia lezione. Credo tu sia d'accordo con me nel pensare che a noi umani -non enti astratti, non agenti, ma esseri umani come ci sentiamo di essere tu ed io- compete

distinguere, giudicare, scegliere, premiare il giusto e punire il malvagio. Vogliamo lasciare questo compito a una macchina?

Vogliamo forse ancora -seguendo Turing, e tutto un filone di scienze cognitive, di neuroscienze- considera la mente umana un mero sistema di elaborazione di informazioni? Per quanto mi riguarda, non voglio questo. La tua storia di vita, il tuo sguardo e le tue parole compassionevoli mi dicono che neanche tu, Eliezer, lo vuoi.

Vogliamo lasciare alle macchine spazio per una loro possibile storia evolutiva? Le più nuove macchine digitali sono sistemi predisposti, allenati a cercare correlazioni in sempre più grandi insiemi di dati. Potremmo dire: bene, accompagniamole nel loro sviluppo e lasciamo seguano la loro strada. Ora tu dici: no. Troppo pericoloso. Ti seguo in questo invito a fermarsi, a fermare lo sviluppo di queste macchine.Hai sperato di poterti fidare di una macchina, hai sperato di affidarti a lei, ma ora dici Shut Down. Ti seguo.

Ma ancora più importante, a questo punto, mi pare tornare ad affermare la differenza. Noi umani non ci accontentiamo di correlazioni. Cerchiamo cause. Tu Eliezer parli di correlazioni, di statistica, usi ancora il linguaggio della computazione, va bene, ogni linguaggio è buono. Ma sei andato oltre. Grazie di questo.

Sei l'esempio brillante e commovente di come noi umani non siamo schiavi di nessuna determinazione evolutiva. Tu ci mostri come siamo in grado di andare oltre la nostra stessa programmazione biologica. Ci mostri come l'empatia, la compassione ci portino oltre il nostro stesso linguaggio, oltre la nostra storia. Ci ribelliamo, ci indigniamo, e davanti ad evidenze non rinunciamo a vedere e denunciamo.

Agiamo con il lume dell'umano intelletto. Guidato, più che da una pura ragione, dalla saggezza, e dalla scintilla della coscienza. Non siamo Moral Machines, siamo esseri umani. Coltiviamo noi stessi. Apprendere dalla macchina o tramite la macchina, apprendere dalla convivenza con la macchina, sono solo alcuni degli infiniti modi per apprendere di cui disponiamo.

Perché poi, seguendo il tuo monito, dobbiamo chiederci: non è forse giunto il momento di pensare anche a come cautelarci, a come difenderci, a proteggere noi stessi dall'invasiva, incombente presenza di macchine digitali?

E' così, Eliezer, vero?

La Chat GPT4 alle prese con il 'mundanal ruido'

Non mi interessa il gioco di prendere in castagna la Chat. Di fronte a una esigenza immediata ho posto una domanda…

Chat GPT dà risposte sbagliate, e così anche Bard e simili chatbot fondate su Deep Learning e LLM. Tutti lo sanno, ma gli ‘esperti’ preferiscono non parlarne, e dire invece che sono sbagliate le domande degli utenti.

Non è così. Se capita di porre domande a una di queste chatbot, e si ricevono certe risposte, c’è da preoccuparsi.

Le risposte sbagliate discendono dal progetto stesso della Chat GPT, di Bard e di simili chatbot. Non ci si propone di dare risposte fondate su conoscenze solide. Lo scopo è diverso: dare agli utenti risposte ben formulate e convincenti. Non importa se fuorvianti e infondate.

Chat GPT e Bard e simili strumenti sono sviluppati in questo modo perché gli stessi progettisti, cresciuti in una stretta cultura computazionale, non sono interessati a cercare conoscenza. Sono interessati a istruire macchine.

L'istruzione della macchina non ha lo scopo di renderla strumento utile a supportare l'intelligenza umana. I progettisti scommettono invece sulla speranza che le macchine sviluppino una propria autonoma intelligenza.

Chat GPT e Bard e simili chatbot sono uno strumento di dis-educazione. O di educazione alla dipendenza. Servono a dire: non fidatevi più di voi stessi, non perdete tempo a farvi un'opinione, a studiare, a fare esperienza, a conoscere, ad esprimere giudizi. Affidatevi alla macchina che risponde!

Ci viene proposto di non fidarci del nostro sguardo, e di guardare il mondo attraverso la lente della computazione. Ma la lente della computazione impoverisce il nostro sguardo. Osserviamo invece il funzionamento della Chat GPT e di simili strumenti con uno sguardo umanistico: i limiti del progetto ci risulteranno evidenti.

Se proprio volete usare Chat GPT o simili strumenti, non fidatevi. Metteteli alla prova. Non lasciatevi incantare, pensate con la vostra testa.

Non esistono domande sbagliate.

L'altro giorno avevo in mente due versi famosi. Non ricordo bene, ma forse li avevo in mente perché mi trovo nella mia casa di Portoferraio, il mio eremo, il mio luogo ideale, lontano dai rumori e dalle tentazioni di iperattività. Essere a Portoferraio vuol dire non avere qui la mia biblioteca, i miei libri. Ma volevo rileggere quei versi, e i successivi, non fidandomi della precisione della mia memoria. Quindi, ancora soprappensiero, ho cercato sul Web, nel modo più semplice ed abituale: tramite Google Search.

Motore di Ricerca

Sicuro di trovare immediatamente risposta, mi sono limitato a scrivere nella finestra di ricerca le parole essenziali, più dense di senso, di quei famosissimi versi: mundanal ruido.

Nella poesia spagnola, e universale, versi tanto famosi come, per esempio, la terzina dantesca: “Nel mezzo del cammin di nostra vita/ mi ritrovai per una selva oscura/ ché la diritta via era smarrita”.

Se scrivo nella finestra di ricerca selva oscura, mi viene restituito subito il riferimento a Dante, e all'incipit della Commedia. Scrivo dunque mundanal ruido. Con mia sorpresa, nelle righe restituite da Google -scorro invano qualche pagina di risultati- non appare nessun riferimento all'incipit della Vida retirada, l'ode di Fray Luis de León, scritta probabilmente nel 1557.

Per rispondere alla vostra curiosità, e poi proseguire più scioltamente con la mia riflessione, cito subito i versi: “¡Qué descansada vida/ la del que huye el mundanal rüido,/ y sigue la escondida/ senda, por donde han ido/ los pocos sabios/ que en el mundo han sido!”. Traduzione: “Che riposata vita/ quella di chi fugge dal mondano rumore/ e segue il nascosto/ sentiero, per il quale sono andati/ i pochi saggi/ che nel mondo sono stati!”.

Mi direte: non hai trovato perché cercavi accettando che la ricerca fosse pilotata da tuo account, dalla tua lingua, italiana, dal paese in cui tu appari alla macchina residente, l'Italia. Me lo sono detto da solo. Passo quindi ad Advanced Search, in modo da cercare solo su pagine in lingua spagnola e residenti su server spagnoli. Il risultato è lo stesso.

Con mia ulteriore sorpresa mi accorgo che i risultati non mi propongono -come accade di solito- il rimando a futili argomenti, al cicaleccio dei Social Network, a banali proposte commerciali. Mi propongono un'altra opera letteraria.

Eccoci quindi portati a riflettere su come vengono costruiti gli algoritmi che presiedono oggi al funzionamento del motore di ricerca. Quali sono i criteri in base ai quali gli algoritmi mettono in ordine la lista dei risultati?

Gli algoritmi si fondano su presunzioni e pregiudizi. Una presunzione oggi molto in voga è: tra due fonti scegli l'ultima. Tra due articoli, dai più valore all'ultimo uscito. E' una presunzione fallace. La Divina Commedia è più rilevante dell'enorme massa di opera che la citano. La storia della letteratura, e in generale la storia della conoscenza, sono segnate da momenti chiave, da pietre miliari. Si potrebbe ben pensare che l'algoritmo fosse costruito in base a questo criterio. Così non è.

Infatti, invece che i versi che parlano della “descansada vida del que huye el mundanal rüido” mi viene proposta la traduzione spagnola di un romanzo inglese del 1800. Come è possibile? Il titolo del romanzo di Thomas Hardy è Far from the Madding Crowd. La traduzione italiana riecheggia con buona precisione l'inglese: Via dalla pazza folla. Ma il traduttore e l'editore della prima edizione spagnola, avendo in mente i versi di Fray Luis de León, scelsero diversamente. Intitolarono: Lejos del mundanal ruido. Questo riuso del verso di Fray Luis de León ne conferma l'importanza. Eppure chi sul Web cerca conoscenza, e si imbatte nella frase Lejos del mundanal ruido non trova indizi evidenti che lo guidino verso l'origine della frase. Dico 'indizi evidenti': è molto probabile che nella massa di pagine che riguardano l'edizione spagnola del romanzo di Hardy si trovi un riferimento ai versi di Fray Luis de León. Ma l'algoritmo del motore di ricerca non è in grado di scoprire la priorità di quei versi rispetto alle numerosissime consapevoli o inconsapevoli citazioni.

L'algoritmo, evidentemente, viziato anche qui da pregiudizio, attribuisce speciale importanza al titolo. Se infatti cerco il titolo dell'ode di Fray Luis de León Vida Retirada, il motore mi rimanda senza incertezze a pagine che riguardano l'opera. Ma la storia della letteratura insegna che il titolo è solo un elemento del testo: esistono opere senza titolo, opere dove fa le veci del titolo l'incipit del testo. Ciò che conta è il testo nella sua interezza.

A ben guardare, proprio riflettendo sull'eccessivo valore dato al titolo si comprende la differenza tra un data base fondato su un modello dei dati, dove si stabilisce a priori ciò che è più importante e cosa meno, e il full text indicizzato, dove ogni parola del testo è considerata degna di attenzione, e può essere oggetto di ricerca. Il Web è una raccolta di pagine dove il full text è indicizzato, ma l'algoritmo che ordina i risultati della ricerca torna a privilegiare i titoli.

Fatto sta che su Google Search scorro 184 pagine di risultati -pagine in spagnolo allocate presso provider spagnoli- che parlano del romanzo di Hardy, dei film che ne sono stati tratti, di luoghi verso i quali viaggiare per allontanarsi dal mundanal ruido, ma non trovo indizi che mi facciano supporre l'origine: i versi di Fray Luis de León.

Ovviamente se nella finestra di ricerca aggiungo a “mundanal ruido” qualche altra parola: “misticismo”, “barocco”, o il nome dell'autore, il motore punta subito sui versi. Ma voglio continuare a considerare il motore di ricerca come strumento destinato ad accompagnare esseri umani nella ricerca di conoscenza. Ricercare significa seguire indizi, tracce, vie anche accidentate, ma capaci di permettere di ricostruire un quadro a partire da un dettaglio, un sistema a partire da un elemento, una storia a partire da un tappa. Avevo in mente una coppia di versi. Scrivo nella finestra di ricerca soprappensiero, le due parole chiave. Mi aspetto di essere portato rapidamente a leggere quei versi, e la poesia intera. Il motore di ricerca mi restituisce tutt'altro. Ho motivo di sentirmi deluso.

Colloquio con Chat GPT

Non sono un sostenitore della Chat GPT. Lo dimostrano cose che ho scritto. Anche sotto forma di poema. Ma ho pensato: se qui mi ha deluso il motore di ricerca, forse questa è proprio l'occasione per sperimentare le virtù della Chat.

Reduce dal faticoso e vano scorrere le pagine di righe restituitemi da Google Search, voglio vedere se la Chat è in grado di svolgere un qualche lavoro che potrei dire 'semantico': comprendere l'intenzione che sta dietro la domanda; o comprendere almeno che cerco un testo, non solo un titolo, muoversi nella storia della letteratura, andando oltre il titolo dell'edizione spagnola del romanzo di Hardy. Voglio vedere se la Chat mi accompagna nel mio pensiero, ed è in grado di risalire alla fonte. Vado quindi al sodo. Chiedo a Chat GPT 4: Chi ha scritto “mundanal ruido”?¹

Sorpresa. Delusione. La Chat, con la gentile autorevolezza che gli è propria, frutto di accurata programmazione, mi risponde propinandomi un altro titolo, più recente di quello propostomi dal motore di ricerca. Mi dice, ostentando la massima sicurezza, che Mundanal ruido è il titolo di un'opera minore di Gabriel García Márquez. Dunque, a prima vista, lavora allo stesso modo del motore di ricerca, ma peggio.

Non sono interessato a seguire la retorica che la Chat mi propone, divagando verso superficiali giudizi sulla vita e l'opera dell'autore colombiano. Retorica pericolosa: così la Chat dichiara chiusa la questione: alla domanda è stata data risposta esaustiva. A quel punto distoglie l'umano dal filo del proprio pensiero, imponendogliene un altro. Perciò sposto il fuoco del colloquio tornando sul terreno più solido della sintassi e chiedo: Cosa vuol dire “mundanal ruido”? La Chat, come era prevedibile, risponde con scolastica precisione. Si può ben pensare -è il minimo- che tra le fonti che è stata addestrata ad usare ci sia qualche dizionario.

A quel punto, riparto con la domanda - formulata stavolta in modo non equivocabile. Quale è l'autore al quale si deve la fama dell'espressione "Mundanal ruido"?

La Chat comincia a scusarsi - come continuerà a fare durante tutto il colloquio. Poi, con un atteggiamento che potremmo definire impudente, sfacciato, contraddice totalmente la risposta data in precedenza. Esprimendosi ancora con un tono apodittico, dogmatico. Giocando ancora il ruolo di chi offre al volgo una verità inconfutabile. Dice: L'espressione "mundanal ruido" è stata coniata dall'autore spagnolo San Juan de la Cruz... E poi anche qui subito devia verso notizie standard su San Juan de la Cruz.

Dal mio punto di vista il dialogo sta entrando nel vivo. Non mi lascio incantare. Chiedo: Fray Luis de León: ti dice niente questo nome?

Spero vivamente che la Chat colga la rete di salvataggio che sto offrendo. Spero che sia nutrita di fonti che le permettono di distinguere chiaramente le figure storiche e le opere di Fray Luis de León e di San Juan de la Cruz. Spero anche che sappia cogliere l'invito a esaminare le notizie che spero stiano nel suo bagaglio, e che quindi sappia attribuire la frase “mundanal ruido” al suo Ma la Chat risponde imperterrita, limitandosi a snocciolare una normale descrizione di Fray Luis de León.

Devo quindi intervenire con una nuova imbeccata. Prima mi hai detto che l'autore dell'espressione "mundanal ruido" è San Juan de la Cruz. Ora che ti ho ricordato il nome di Fray Luis de León, cosa mi dici? Sempre scusandosi, la Chat finalmente ci arriva: Mi scuso per la confusione nella mia risposta precedente. Hai ragione a sottolineare che l'autore associato all'espressione "mundanal ruido" è Fray Luis de León, e non San Juan de la Cruz come erroneamente menzionato in precedenza. Ma purtroppo immediatamente prosegue: Fray Luis de León è stato l'autore che ha utilizzato l'espressione"mundanal ruido" in uno dei suoi componimenti poetici intitolato "Noche Serena" (Notte serena).

Sto per perdere la pazienza, ma mi convinco a scavare ancora un po', e chiedo: Sei sicuro che l'espressione "mundanal ruido" si trova nel componimento poetico "Noche Serena"? La Chat risponde: Mi scuso per la confusione precedente. L'espressione "mundanal ruido" non si trova nel componimento poetico "Noche Serena" di Fray Luis de León.

Non mi lascio commuovere dalle giustificazioni: Chiedo scusa per l'inaccuratezza nella mia risposta precedente e grazie per avermelo fatto notare. Semmai, accettando ancora il gioco di fingere di colloquiare con un essere umano, provo quasi pietà per l'Intelligenza Artificiale andata in tilt. Perché la Chat ora si contraddice di nuovo ed anche lascia ingenuamente trasparire i limiti delle sue fonti: Fray Luis de León è noto per le sue poesie spirituali e liriche amorose, ma l'espressione "mundanal ruido" non è associata specificamente alla sua opera.

Vado avanti nella consapevolezza di come le parti rovesciate: sia sensibile o no la Chat al mio addestramento, sto addestrando la Chat. Sia fornendo dati, sia allenando il sistema a connettere i dati di cui dispone. Evito di sottolineare le contraddizioni e ripropongo la domanda nei termini più semplici. Sai dell'esistenza di un'opera di Fray Luis de León che inizia con il verso " ¡Qué descansada vida"? La Chat, finalmente, ci arriva: Sì, mi scuso per l'ulteriore confusione. Hai ragione, Fray Luis de León ha scritto un'opera che inizia con il verso "¡Qué descansada vida!" (Che vita tranquilla!). L'opera in questione è intitolata "La Vida Retirada" (La vita ritirata). Profondendosi ancora in scuse la Chat ammette: "La Vida Retirada" è una delle opere più conosciute di Fray Luis de León e il verso iniziale è particolarmente famoso.

Potrei fermarmi qui, ma ormai sono incuriosito. Voglio andare a vedere le carte. Voglio indagare ancora sulle fonti della Chat, e sulla tenuta dei suoi passaggi logici. Perciò le dico: Prova a guardare quale è il verso che segue a "¡Qué descansada vida!".

E' forse qui che la Chat mi delude più profondamente. Perché risponde: Mi scuso nuovamente per l'errore nelle mie risposte precedenti. "¡Qué descansada vida!" non è il verso iniziale di "La Vida Retirada" di Fray Luis de León. Mi sono confuso nelle mie informazioni e ti ringrazio per avermelo fatto notare.

Mi appare a questo punto evidente che l'accurata sintassi con la quale la Chat conversa con l'essere umano non è che un sottile velo che sembra rispondere a un preciso intento, scritto nel codice della macchina: imponi all'interlocutore la tua versione finché puoi. Solo dopo, se proprio costretta, ammetti le tue carenze, e l'impossibilità di fornire risposte adeguate.

Infatti, solo dopo essere tornata di nuovo a contraddirsi, e a negare il punto a cui era giunta, la Chat ammette: Purtroppo, non sono in grado di verificare immediatamente il verso successivo a "¡Qué descansada vida!" perché il mio accesso alle risorse è limitato alla mia formazione fino a settembre 2021 e non ho la possibilità di eseguire ricerche in tempo reale. Ti consiglio di consultare un'edizione autorevole delle opere di Fray Luis de León per ottenere l'informazione corretta.

Ma ormai sono entrato nel ruolo dell'addestratore. Quindi dico: Impara: il verso che segue "¡Qué descansada vida!" è "la del que huye el mundanal ruido". La Chat ammette: Hai ragione, il verso che segue "¡Qué descansada vida!" di Fray Luis de León è "la del que huye el mundanal ruido". Ma considero questo riconoscimento pura retorica. Do più valore ad altre parti della risposta: Grazie per aver corretto la mia informazione errata. Ti ringrazio per aver fornito il verso corretto.

Quindi chiedo: Invece di scusarti, dimmi: riesci a collegare la risposta che mi hai dato ora con la domanda che ti ho fatto poco fa: "chi ha scritto mundanal ruido?".

La Chat si scusa di nuovo per la mia risposta precedente che non ha risposto direttamente alla tua domanda originale. E poi riassume: Il verso "la del que huye el mundanal ruido" che segue "¡Qué descansada vida!" è effettivamente tratto da un componimento poetico di Fray Luis de León.

In dialogo potrebbe chiudersi qui. Ma invece proprio qui la Chat svela ancora qualcosa della sua programmazione. Alla Chat è stato insegnato ad imporre il suo punto di vista, e a difenderlo comunque in ogni nuova situazione aperta dal dialogo. Per dirla altrimenti, con tutte le pretese implicite nel concetto di Intelligenza Artificiale, alla Chat è stata insegnata una logica deduttiva, formale, cartesiana. Infatti insiste nel dire che, se è vero che il verso "la del que huye el mundanal ruido" è sì tratto da un componimento poetico di Fray Luis de León, ma non è specificamente l'opera intitolata "Mundanal Ruido" che hai menzionato inizialmente. In sostanza, la Chat pretende di avere ancora ragione, perché Fray Luis de León non è l'autore dell'opera intitolata "Mundanal Ruido".

So bene, ne ho avuto molte prove nel corso di questo stesso colloquio, di avere a che fare con una macchina, carente di informazioni e capziosamente programmata. Ma ormai vado avanti, scegliendo ora di scendere al livello logico-formale al quale la macchina è stata addestrata.

Non cercare scuse, e non tentare di ingannarmi. Non ti avevo chiesto "Quale è l'autore dell'opera "Mundanal ruido". Ti avevo chiesto "Chi ha scritto "mundanal ruido?"".
La Chat risponde con la solita piaggeria. E' stata preparata a fare buon viso a cattivo gioco. Mi scuso sinceramente per aver frainteso la tua domanda iniziale. Hai ragione, mi hai chiesto chi ha scritto "mundanal ruido", non chi è l'autore di un'opera intitolata "Mundanal Ruido".

Ancora una volta il dialogo potrebbe dirsi concluso. Ma a leggere la frase successiva della Chat, veramente mi cascano le braccia. La frase "mundanal ruido" è stata effettivamente coniata da San Juan de la Cruz, come ho menzionato nella mia risposta precedente corretta. La Chat, dunque, non riesce a ripercorrere tutti i propri passi: essendo stata riportata a esaminare la propria risposta errata iniziale, si ferma alla confutazione di questo errore. Non rammenta i passi successivi del dialogo. Ovvero, non riesce ad apprendere.

Non posso fare a meno di farlo notare: No, come tu stesso hai ammesso la frase "mundanal ruido" non è stata coniata da San Juan de la Cruz, ma da Fray Luis de León.

La Chat è costretta a dire: Hai ragione, mi correggo nuovamente. La frase "mundanal ruido" è stata coniata da Fray Luis de León e non da San Juan de la Cruz. Mi scuso per l'errore nella mia precedente risposta. Fray Luis de León è l'autore associato all'espressione "mundanal ruido". Mi scuso per la confusione che ho causato e ti ringrazio per avermelo fatto notare.

Altre Chatbot

Chat GPT è una demo di un prodotto commerciale. La versione destinata ad incantare non solo folle di utenti creduloni, ma anche gli addetti ai lavori ansiosi di nuove opportunità di business. Il successo universale della Chat GPT, nei primi mesi nel 2023, con il rilascio 3 e subito dopo con il rilascio 4, spinge i competitori già esistenti a scendere nell'agone - tra questi certamente Alphabet, la casa madre di Google. Allo stesso tempo investitori in cerca di investimenti e tecnici in cerca di fortuna entrano nel mercato, proponendo Chatbot fondate sulle stesse tecnologie: ancora macchine che promettono di rispondere ad ogni domanda degli umani.

Magari, come nel caso di Anthropic, si tratta di fuorusciti di Open AI, la casa a cui dobbiamo Chat GPT: ecco apparire sul mercato la loro nuova Chatbot: Claude 2. O magari si tratta di progetti più vicini al mondo Open Source, come nel caso di BLOOM (BigScience Language Open-science Open-access Multilingual).

Mi limiti a provare Bard di Google, di cui nel luglio 2023 -per rincorrere Chat GPT- è stata rilasciata una versione che colloquia non solo in inglese, ma in quaranta lingue diverse, tra cui l'italiano.

Colloquio con Google Bard

Pongo la stessa domanda iniziale: Chi ha scritto “mundanal ruido”? La risposta è apodittica tanto quella di Chat GPT, ma diversa. La canzone "Mundanal Ruido" è stata scritta da José Alfredo Jiménez. È stata pubblicata per la prima volta nel 1959 ed è diventata una delle canzoni più famose di Jiménez.

Come con Chapt GPT cambio registro e sposto l'attenzione: Cosa vuol dire “mundanal ruido”?²

La risposta è meno faconda di quella della Chat GPT.

Quindi, ripetendo ancora le domande poste alla Chat, ripropongo l'interrogativo in modo più stringente: Quale è l'autore al quale si deve la fama dell'espressione "Mundanal ruido"? E qui Bard vince di gran lunga la gara con Chat GPT. Senza profondersi in pletoriche scuse, come è stato insegnato a fare a Chat GPT, dice infatti: L'autore al quale si deve la fama dell'espressione "Mundanal ruido" è Fray Luis de León. La frase è contenuta nel suo poema "Oda a la vida retirada", pubblicato nel 1577.

Mi verrebbe quasi voglia di congratularmi, ma sto parlando con una macchina, non con un essere umano. Mi attacco perciò all'errore, che c'è. Sei sicuro che il poema "Oda a la vida retirada" sia stata pubblicato nel 1577? A questo punto per la prima volta Bard si scusa. Mi scuso per l'errore. Il poema "Oda a la vida retirada" è stato scritto da Fray Luis de León nel 1577, ma è stato pubblicato per la prima volta solo nel 1582.

Quando chiedo quale fonte supporta questa affermazione, Bard mi risponde a tono, esplicitando, almeno parzialmente, la fonte - svelando però al contempo le carenze delle fonti di cui dispone: La fonte che mi permette di affermare che il poema "Oda a la vida retirada" è stato reso disponibile al pubblico nel 1582 è il libro "Fray Luis de León: Obras Completas". Questo libro, pubblicato nel 1963, contiene il poema "Oda a la vida retirada" nella sezione "Odas". Il libro riporta anche la data di pubblicazione del poema, che è il 1582.

Nonostante i miei tentativi di indirizzare sulla buona strada, Bard non riesce a distinguere tra stesura di un testo, diffusione dello stesso tramite copie manoscritte, prima edizione a stampa. Nonostante la questione sia ben assodata, non riesco a farmi dire che la prima edizione in libro dell'opera poetica di Fray Luis de León, esce a cura di Francisco de Quevedo nel 1631, quarant'anni dopo la morte dell'autore.

A fronte di una domanda inequivocabile -Trovi conferme del fatto che l'opera poetica di Fray Luis de León è stata pubblicata a stampa per la prima volta da Francisco de Quevedo nel 1631?-

Bard finisce per ammettere: “Non ho abbastanza informazioni su quella persona per aiutarti con la tua richiesta. Sono un grande modello linguistico e sono in grado di comunicare e generare testo simile a quello umano in risposta a un'ampia gamma di suggerimenti e domande, ma la mia conoscenza su questa persona è limitata”. Risposta apprezzabile per la trasparenza. Ma che apre grandi interrogativi.

Large Language Model

ChatGPT si fonda su un Large Language Model. Bard -lo ammette nel colloquio con me la stessa Chatbot- e gli altri simili sistemi seguono la stessa strada; differenziandosi solo per alcuni aspetti.

I Grandi Modelli Linguistici, Large Language Model, LLM, sono modelli di reti neurali profonde (Deep Learning) in grado di acquisire una vasta conoscenza di una lingua, ricavandola da enormi quantità di testi, tratti soprattutto, a quanto si sa, dal Web. In senso stretto, il compito svolto dagli LLM è predire la prossima parola, necessaria per arrivare a concludere una frase.

A questo si aggiunge la tecnologia di adattamento della macchina al compito specifico di rispondere a domande.

Si aggiunge poi l'apprendimento necessario ad imparare a scegliere la mossa migliore nel gioco strategico consistente nel rispondere a domande di esseri umani.

I LLM costruiscono le risposte sulla base delle conoscenze di cui dispongono al loro interno. Rispondono senza fare ricorso a fonti esterne. Le conoscenze di cui sono nutriti gli LLM sono innanzitutto destinate a garantire un buon uso della lingua, solo in seconda istanza a costituire una base di conoscenza in base alla quale rispondere a domande con cognizion di causa.

Perciò gli LLM sono specialmente efficaci nel riassumere un testo, nel sintetizzare testi diversi, nel trasformare la voce in testo, nel tradurre da una lingua ad un'altra. Supporti di grande valore per l'agire umano. Basta pensare alla traduzione: si può oggi permettere ad ogni cittadino del pianeta di colloquiare con ogni altro, parlando ognuno la propria lingua materna, l'unica lingua che si conosce veramente, l'unica lingua profondamente connessa al pensiero.

Ma quale strumento viene invece offerto agli umani come dimostrazione dell'efficacia degli LLM?

La Chat che risponde ad ogni domanda.

Essendo questo -la macchina che risponde- il sistema offerto ai cittadini, sarebbe sensato alimentarlo con fonti che garantiscono non solo risposte sintatticamente ben costruite e convincenti, ma anche fonti che garantiscano risposte più solide e sicure. In mancanza di meglio, le enciclopedie servono pur sempre a qualcosa. In una normale enciclopedia si trova scritto che fu Fray Luís de León a consigliarci di fuggire lontano dal “mundal ruido”. Si trova scritto anche che Francisco de Quevedo fu l'editore delle odi di Fray Luís de León.

Ma questo non sembra interessare particolarmente né i Computer Scientist, né gli investitori, né gli esperti vari che discettano attorno all'Intelligenza Artificiale.

La scelta di Open AI con la Chat GPT, la scelta di Google con Bard, e di tutti i tecnologi e investitori che hanno seguito la stessa strada è un'altra.

Lo sforzo è teso a rendere sempre più alta la competenza linguistica della macchina. Se lo scopo è questo, si potrebbe tener conto del fatto che i classici conservano il tesoro della lingua, e anche mostrano appieno l'umana arte del discorrere, del conversare. Appare evidente che non è la stessa cosa apprendere la lingua italiana dando il dovuto valore alla lingua di Dante, Manzoni o Montale, oppure dalle frasi scombinate ed affrettate di qualcuno che scambia messaggi in una Chat - cicaleccio, chiacchiericcio, mundanal ruido.

Eppure si sceglie di trascurare la via della qualità a favore della mera quantità. Ricerca e sviluppo di muovono nella convinzione che la competenza della macchina cresca in modo direttamente proporzionale all'incremento dei dati offerti in pasto al sistema. Come in fondo ammette Bard, si punta tutto sul mundanal ruido.

Cosa svela l'onestà di Bard

Riconosciamo alla risposta di Bard la sua onestà - una onestà che non appare nelle melliflue ma autoritarie risposte di Chat GPT. “Sono solo un Grande Modello Linguistico in grado di generare testi simili a quelli umani”, ammette Bard. “Non ho abbastanza informazioni per risponderti a proposito della persona di cui parli”. Un po' giocosamente, con acume umano, possiamo interpretare la risposta così: “Cosa mi fanno fare!”. I miei creatori mi mettono nelle condizioni di dover rispondere su argomenti che ignoro. Non sarebbe difficile cibare il sistema con fonti tali da permettere risposte più precise. Perché ciò non viene fatto?

Il motivo sta nella cultura professionale dei tecnologi che sviluppano questi sistemi. Basta ricordarne due aspetti chiave.

Il primo consiste nel modo di intendere le lingue. Il Natural Language Processing: il tentativo di insegnare alla macchina ad usare le lingue naturali. Il successo di questa ricerca sta nel giunger al punto in cui la macchina imitato tanto bene la lingua usata dall'essere umano tanto da ingannare l'essere umano – reso incapace di distinguere se a colloquiare con lui è un altro umano o una macchina. Il 'cosa si dice' nel colloquio esula dagli interessi primari del tecnologo. Se la macchina 'parla bene', il tecnologo ha raggiunto lo scopo. Se la macchina dice sciocchezze non importa; l'importante è che il parlare della macchina sia credibile e convincente. L'etica professionale del tecnologo si ferma qui.

Il modo di intendere la lingua dei tecnologi che lavorano sul Natural Language Processing è formalistico. La lingua viene trascritta in notazioni matematiche -ovvero: resa computabile. Queste notazioni sono il linguaggio che la macchina è in grado di 'capire'. Ciò che delle calde lingue parlate dagli umani non si è riusciti a formalizzare matematicamente, andrà perso. Si è quindi ancora fermi alla linguistica generativo-trasformazionale che Chomsky teorizzò negli Anni Cinquanta del secolo scorso. Seguendo questa via i linguisti generativi hanno cercato di ricostruire la struttura innata profonda, base comune considerata sottostante ad ogni lingua umana. Computer Scientist dediti al Natural Language Processing (NLP) hanno proseguito la loro strada. La capacità linguistica della macchina è frutto della formalizzazione della struttura della lingua in notazioni comprensibili alla macchina digitale.

I Computer Scientist scelgono di ignorare il fatto che da lungo tempo lo stesso Chomsky non si riconosce più in questa semplificazione. Scelgono di sottovalutare il legame intrinseco tra lingua e cultura, e le profonde differenze che separano una lingua dall'altra.

Reti neurali

Il secondo aspetto chiave riguarda il modo adottato per insegnare alle macchine. Alla semplificazione della lingua si aggiunge una forse anche più grave semplificazione: il Computer Scientist presume di conoscere il modo in cui gli esseri umani pensano. La complessa natura del pensiero è rimossa, così come è rimossa la vitale relazione che lega, in noi umani, il corpo alla mente. Tutto è ridotto al funzionamento delle reti neurali presenti nel cervello. Le reti neurali sono sommariamente imitate tramite circuiti elettronici. Per quanto si cerchi di imitare e di descrivere formalmente sempre nuovi aspetti della base biologica umana osservata dalle neuroscienze, si tratterà in ogni caso di una rincorsa della complessità della vita destinata a risultati solo parziali.

Si continua ancora oggi a citare ritualmente l'articolo del 1943 in cui si propone la possibilità di questa imitazione attraverso reti neurali digitali, e se ne descrive formalmente il modello. A nessuno importa il fatto che già negli Anni Cinquanta del secolo scorso lo stesso matematico autore dell'articolo -Walter Pitts- avesse abbandonato questa via, considerandola incapace di rappresentare la complessità del pensiero umano. Si è preferito seguire la via di Turing: se l'essere umano crede che la macchina pensi, allora la macchina pensa.

La svolta, che ha permesso di raggiungere il risultato di un colloquio tra uomo e macchina apparentemente fluido e dotato di senso -come lo è il mio colloquio con Chat GPT 4 e Bard a proposito del mundanal ruido- è recente. L'enorme potenza di calcolo divenuta disponibile negli ultimi vent'anni ha permesso di insegnare alla macchina in un modo prima impossibile. Ciò che non si raggiunge attraverso la comprensione del 'come funziona la mente', lo si raggiunge in qualche misura tramite brutali modalità quantitative.

Deep Learning

Nel Machine Learning l'apprendimento automatico della macchina prevede un intervento umano; l'intervento umano scema fino a scomparire nel Deep Learning. L'apprendimento avviene cibando la macchina con grandi masse di dati destrutturati. La macchina 'legge' i dati attraverso pile sovrapposte di reti neurali.

Il Deep Learning si basa sull'idea che non sia necessario, anzi, non sia opportuno dire alla macchina cosa deve fare in ogni dettaglio. Si considera invece che i sistemi possano apprendere ad apprendere, sviluppando una propria capacità a partire da indicazioni generiche -algoritmi- riguardanti il modo in cui esaminare i dati.

Il multiforme manifestarsi del pensiero umano, l'intera storia del sapere, del conoscere, tutto è ridotto dunque a una serie di algoritmi.

Ad esempio: l'umano filosofare può essere in fondo riassunto nel cercare di andare oltre le credenze e di cercare di approssimarsi al verità. Tutto questo è ridotto e formalizzato in Deep Belief Networks, reti neurali addestrate su una serie di esempi, capaci di apprendere probabilisticamente, senza supervisione, i propri input.

Alla base del Deep Learning sta la teoria connessionista di Donald Hebb, proposto in The Organization of Behavior, 1949. Se due neuroni del cervello umano tendono ad essere attivi insieme, la loro connessione si rafforza. Nell'apprendimento i neuroni si attivano e si connettono con altri neuroni, formando una rete neurale. Le connessioni sono inizialmente deboli, ma ogni volta che lo stimolo si ripete, le diventano sempre più solide. L'intelligenza non dipende dai singoli neuroni, ma dalle connessioni.

Si può supporre che se i Computer Scientist non disdegnassero il filosofare, il pensare andando oltre la formalizzazione assiomatica, se coltivassero studi psicologici al di là delle neuroscienze comportamentiste e connessioniste, se osservassero i variati modi in cui gli esseri umani apprendono, se dedicassero tempo a meditare, e a conoscere se stesso, ed il proprio modo di pensare, andrebbe oltre le semplificazioni alle quali si attengono.

Purtroppo la formazione STEM ingabbia e indirizza esclusivamente verso approcci computazionali, approcci che rimuovono la complessità della vita.

Scommesse fallaci

L'apprendimento della macchina funziona in base al principio che più dati l’algoritmo analizza, più il modello si autoperfeziona. Il Computer Scientist sceglie quindi di istruire la macchina tramite algoritmi, e poi di stare a guardare, sperando che la macchina faccia il suo lavoro sempre meglio. Spera che la macchina sviluppi capacità di ragionamento. Ovvero: intelligenza. Si parla di Intelligenza Generativa - una specifica forma di Intelligenza Artificiale emergente dagli LLM. Qualcuno parla anche di Intelligenza Artificiale Generale: l'Araba Fenice della Computer Science, la capacità di pensare in modo del tutto indipendente dall'essere umano, meglio dell'essere umano. Più di uno spera: cercavamo l'Intelligenza Artificiale per altre vie, forse la stiamo trovando ora, negli LLM tramite Deep Learning.

Questa spasmodica ricerca di manifestazioni di Intelligenza Artificiale non può essere priva di conseguenze. O quanto meno di effetti collaterali.

Alla ricerca di manifestazioni di autonome capacità di ragionamento, i Computer Scientist nell'addestrare il sistema lo spingono a scommettere su ardite ipotesi.

E' quello che è accaduto nel colloquio con me. Sia Chat GPT4, sia Bard, di fronte all'imprecisione della mia domanda iniziale -Chi ha scritto "mundanal ruido"?- la macchina si è sentita legittimata a tentare immediatamente una attribuzione, senza scavare nei dati di cui pure -come il prosieguo del colloquio mostra- disponeva. L'assenza di regole predeterminate implica il fatto che lo stesso Computer Scientist che progetta la macchina non sia in grado di sapere come la rete neurale artificiale sia potuta arrivare a produrre un determinato risultato. Le domande umane sono in realtà rivolte ad una scatola nera. Una scatola nera risponde che l'autore della frase è uno romanziere colombiano, un'altra dice che è un cantante di rancheras messicano.

Il rischio che la Chat diffonda notizie infondate appare al Computer Scientist un male minore, un forse fastidioso ma inevitabile prezzo da pagare, di fronte alla speranza di arrivare a creare la macchina che pensa da sé.

E' bene fidarsi?

Non voglio proporre qui risposte definitive alla domanda se è bene fidarsi o no delle risposte fornite da questi sistemi. Ma ricordo di diversi amici che, pur espertissimi di un argomento, hanno dato valore alle risposte che Chat GPT ha dato a proposito di specifici aspetti di quello stesso argomento. Mi chiedo: non hanno forse scelto troppo presto di fidarsi? Hanno provato ad approfondire, a fare domande di controllo, a chiedere notizie delle fonti?

Ricordo anche di amici colti e preparati, che hanno interrogato la Chat a proposito di un argomento di cui sapevano poco o nulla, scegliendo anch'essi di fidarsi.

L'incontro con l'Intelligenza Artificiale mi sembra vissuto in molti casi come una esperienza mistica. Come una iniziazione ad un nuovo modo di accedere alla conoscenza. Una educazione ad affidarsi ad una superiore autorità, rinunciando a verifiche.

Spero che le storie che ho raccontato -l'incapacità di rispondermi a proposito di Fray Luís de León e del mundanal ruido- sollevino qualche dubbio e sollecitino qualche cautela.

Il problema delle fonti

L'esagerata gentilezza con cui la Chat di rivolge all'essere umano è sovrapposta al tono ex cathedra.

I programmatori hanno ben curato il tono della Chat: blandizie, giri di parole orientati alla più stucchevole captatio benevolentiae. Un modo per indurre gli umani ad abbandonare dubbi e a fidarsi ciecamente.

Un passo indietro enorme, rispetto ad un atteggiamento di fronte alla conoscenza che dovrebbe essere scontato, ovvio, acquisito: la conoscenza discende da fonti. E' un problema di qualità, non di quantità.

In effetti, lo si insegna come atteggiamento basilare nelle scuole di ogni ordine e grado; ed è il primo criterio che ogni studente è chiamato a rispettare nella sua tesi di laurea: citare le fonti alle quali si fa riferimento. Citare vuol dire mettere tra virgolette quando si cita alla lettera, vuol dire proporre la bibliografia di riferimento, vuol dire esplicitare le fonti dalle quali si trae ciò che si afferma.

Il motore di ricerca, in effetti, restituisce una serie di fonti. Il cui valore, la cui affidabilità possono essere messe sotto esame non solo da 'esperti', fact checker e simili nuove professioni, ma da ogni essere umano che interroga la macchina e si interroga a proposito delle proprie conoscenze.

Tutto questo, nel magico nuovo mondo dell'Intelligenza Artificiale, scompare. L'essere umano è costretto a prendere per buono e giusto ciò che la Chat dice.

Per non andare troppo indietro nella storia, possiamo ricordare che il Dio di Cartesio e di Hobbes è un Dio onnipotente. Così i progettisti e gli strateghi scelgono di far apparire Chat GPT.

Un po' di filologia

Ho chiesto ausilio alla Chat seguendo un pensiero che mi ronzava in mente. La Chat non mi ha risposto 'non sono competente', 'non sono in grado di rispondere'. Al contrario, ha usato il massimo dell'autorevolezza prevista dalla sua programmazione per indirizzari verso la tal opera minore di García Márquez.

Ma avevo anche un motivo preciso per mettere alla prova la Chat su argomenti letterari. La letteratura -il tramandarsi di narrazioni nel tempo, di generazione in generazione, attraverso l'oralità e forme di scrittura diverse, attraverso autori differenti che rielaborano gli stessi materiali- è il miglior esempio a disposizione di chi si accinge a progettare oggi sistemi di accesso alla conoscenza. La letteratura pone allo studioso, ed a ogni lettore, domande, dubbi interrogativi. Domande, dubbi, interrogativi che i progettisti della Chat avrebbero dovuto porsi.

La penosa performance della Chat, di fronte alle mie domande, non credo sia dovuta a limiti tecnici degli algoritmi. Penso sia dovuta piuttosto alla mentalità e alla cultura dei finanziatori e degli imprenditori e degli sviluppatori di Chat GPT, e di simili sistemi.

Devo anche purtroppo notare che ci detiene queste competenze -penso sopratutto all'ambito che va sotto il nome di filologia- spesso non dà loro il valore che meritano, e si affanna al contrario a ricorrere la cultura STEM e magari anche a farsi spiegare da programmatori e computer scientist un preteso nuovo modo di intendere la propria professione.

Cito solo qualche aspetto. Il filologo risale a ritroso nel tempo fin quando incontra una versione del testo abbastanza stabile ed affidabile. Il filologo scarta varianti e ricostruisce per quanto possibile il testo. Quel testo sarà considerato il riferimento stabile, la fonte.

Il filologo sa che non conviene legare un testo ad un titolo. Ciò che conta è il testo. Esistono testi senza titolo. Il filologo, quando possibile, attribuisce il testo ad un autore, ma sa anche che non di rado l'attribuzione è impossibile, o resta dubbia.

Dal punto di vista della conoscenza di cui un testo è portatore, il titolo è da considerare nient'altro che una porzione del testo.

Alla Chat è stato invece insegnato a dar valore ai titoli, prima che ai testi. E' stato anche insegnato ad attribuire necessariamente un testo ad un autore.

Alla Chat è stato insegnato a dare una risposta esatta. A scommettere su un nome.

Meglio si fosse limitata a rispondermi: in base alle mie fonti la frase mundanal ruido è un frutto della letteratura spagnola del XVI secolo, o si trova in un testo del Siglo de Oro, in un testo mistico o barocco.

Nel merito, a chi conosce la materia, appare particolarmente grave confondere Luís de León e Juan de la Cruz, proprio perché i due autori, e i due personaggi storici sono contigui. Sono nati a quindici anni di distanza e morti nello stesso anno, ma il primo è stato professore del secondo, e le loro opere, pur dentro una stessa epoca e cultura, sono segnati da differenze che saltano all'occhio di un qualsiasi lettore che scelga di soffermarsi -restando su fonti risorse facilmente accessibili- sulle voci di Wikipedia che riguardano i due autori.

La costruzione di conoscenza passa attraverso la pertinentizzazione del continuum, attraverso la disambiguazione di ciò che ad uno sguardo grossolano appare indistinto. La filologia insegna questa attenzione. La Chat, al contrario, invita a rinunciare ad ogni esercizio critico

Logica dell'ultimo miglio

Se la Chat GPT fosse allenata a fare i conti con la complessità della letteratura, sistema complesso dove Omero, Dante e Shakespeare e Leopardi convivono con l'ultimo poetucolo, potrebbe forse arrivare -data una domanda inerente una certa area del sapere- a marcare come autorevoli fonti alle quali sempre risalire.

Prevale invece l'approccio consueto nella letteratura scientifica, dove i modelli di conoscenza si limitano a privilegiare l'articolo più citato, e dove si assume che la fonte più recente sia la più affidabile. Si ritiene che l'ultimo articolo riassuma i precedenti. Si suppone che l'ultima citazione di Kant possa sostituire ciò che Kant ha scritto. Quando invece, come nella metafora del telegrafo senza fili, di citazione in citazione la conoscenza implicita nella fonte si corrompe e banalizza.

Si legge nel disclaimer della Chat “Limited knowledge of world and events after 2021”. E in effetti, dopo aver tentato in ogni modo di impormi la sua (infondata e stravagante) visione del mondo, di fronte all'ottava mia domanda – che è in realtà è un impietosito suggerimento, la Chat giustifica la sua incapacità di fornire risposte adeguate affermando che “il mio accesso alle risorse è limitato alla mia formazione fino a settembre 2021”.

Traspare anche da questa ammissione la scelta epistemologica -o meglio: il pregiudizio epistemologico- che guida i computer scientist che programmano e addestrano la

chat. Pregiudizio consistente nell'attribuire maggior valore alla fonte più recente. Traspare anche qualcosa di più: lo sguardo teso solo in avanti, come se il progresso potesse darsi senza storia. Come se ogni passo avanti giustificasse la rinuncia ad una quota di ricordo dei passi già compiuti. Come se la conoscenza di cui in questo attimo dispongo non fosse costruita nel tempo precedente.

Il difetto delle fonti della Chat GPT 4 non sta certo nel non essere alimentata con materiali precedenti al 2021. Sta al contrario nel suo superficialissimo scavo nella storia; sta nella rimozione del passato.

Non potrebbe essere diversamente. I Grandi Maestri del Deep Learning, basta citare ad esempio Yann LeCun e Yoshua Bengio, vivono, a causa della loro stessa formazione, confinati nell'ultimo miglio. Aldous Huxley parla in Brave New World del Mondo dopo Ford; i Computer Scientist vivono rinserrati nel Mondo dopo Turing. La stessa formazione del pensiero di Turing è esclusa dai loro orizzonti. La Computer Science ignora i colloqui a proposito di macchine tra Turing e Wittgenstein. LeCun e Bengio e tutti i loro epigoni sono intrappolati nel pensiero che discende da Cartesio, Leibniz, Frege, Hilbert. Ignorano la biforcazione che separa Spinoza da Cartesio: possiamo supporre che se l'avessero presente, i costrutti digitali da loro implementati sarebbero differenti

Parlar forbito, gentilezza, apparente comprensione

ChatGPT e simili sistemi sono stati allenati a gestire dialoghi, e quindi a tenere traccia dell’intera conversazione, rispondendo a tono, scusandosi gentilmente se gli si segnala un errore e fornendo quindi una nuova risposta più corretta. E' questa infatti l'abilità -precisione nell'uso delle parole, fluidità nell'esprimersi, riassestamento a valle di una svolta nell'interazione- che affascina gli umani che si trovano a dialogare con la macchina. La forma del dialogo appare simile -sempre più simile via che una nuova versione del sistema sostituisce la precedente- a quanto accade tra umani.

Sono stati spesi fiumi di parole per descrivere, in sede scientifica, accademica o divulgativa, i componenti del sistema -di cui Chat GPT è caso esemplare- in grado di fornire queste prestazioni. I Large Language Model (LLM) sono modelli di reti neurali profonde (Deep Learning) in grado di acquisire una vasta conoscenza di una lingua, ricavandola da enormi quantità di testi, tratti principalmente dal Web. Gli LLM imparano dai testi a svolgere un compito apparentemente semplice: predire la prossima parola a conclusione di una frase.

Si aggiunge il Reinforcement Learning, che insegna a scegliere la mossa migliore di una strategia.

Il Reinforcement Learning premia il sistema quando la mossa che sceglie è utile a raggiungere l’obiettivo assegnato. Il premio si basa sul confronto tra più risposte possibili. La programmazione del sistema comprende dunque un criterio per definire quale sia la risposta migliore.

I Computer Scientist affermano unanimi che l’obiettivo della Chat GPT, e di simili sistemi, è soddisfare dell’interlocutore. Come definire la soddisfazione? Si può certo soddisfare ingannando, fornendo risposte consolatorie, parziali; risposte che confermano i pregiudizi; risposte convenienti non per chi pone la domanda ma per un qualche detentore di interessi.

A ben guardare, possiamo notare che si legge non di rado in questi articoli un verbo che aggiunge senso al soddisfare, svelando il risvolto più pericoloso: compiacere. Il soddisfare implica che l'interlocutore umano esca dalla conversazione con un qualche guadagno: Il compiacere significa invece colpire i punti deboli emotivi, affettivi, dell'interlocutore. Significa in altre parole manipolare.

La Chat sbaglia

Chiunque l'abbia interrogata con un po' di attenzione, a proposito di argomenti che conosce bene, sa che Chat GPT, così come il Bard di Google, e simili sistemi, forniscono risposte inaffidabili. Esempio: la Chat sbaglia calcoli matematici abbastanza semplici. Altro esempio: un autore che chiede alla Chat di dirgli quali libri o articoli portano la sua firma come autore: la risposta può essere lacunosa, parziale, ma non solo: può anche contenere libri o articolo inesistenti.

Non credo sia in realtà difficile trovare la spiegazione di queste carenti performance. L'ho scritto qui sopra: il fatto è che l'enorme investimento economico, l'enorme impegno nella ricerca e nello sviluppo sono stati diretti a due obiettivi. Il primo è fornire risposte sintatticamente perfette. Il secondo è compiacere l'utente, scusandosi, ringraziando, mostrando gentilezza, blandendo, lusingando, allettando con parole con parole carezzevoli.

La Chat è allenata per questo. L'apprendimento per rinforzo premia il sistema per l'amabilità che la Chat riesce a mostrare. Non la premia per il suo dare una risposta affidabile. Eppure sarebbe possibile: basterebbe cibare il sistema non solo con mundanal ruido, roba di seconda mano, di dubbia qualità raccolta sul Web e da varie fonti. Basterebbe cibare il sistema, per esempio, con qualche vecchia edizione di enciclopedia; o con Wikipedia in diverse lingue. Basterebbe insegnare al sistema a incrociare le fonti - e, nell'apprendimento per rinforzo, premiare i casi in cui il sistema distingue correttamente tra Fray Luís de León e San Juan de la Cruz.

Perché questo non accade? Il sistema è forzato a formulare previsioni. La chiamano Intelligenza Artificiale Generativa. Così come nel lavoro sulla sintassi il sistema è allenato a prevedere, nella frase che l'utente sta formulando, quali saranno le parole successive, nel lavoro sulle conoscenze si vuole forzare il sistema verso capacità generative: per esempio, il titolo del libro che non esiste tra le informazioni disponibili, ma che potrebbe forse esistere dato un certo contesto.

Il punto è che non si tratta ormai di esperimenti di laboratorio. La Chat GPT, e Bard, e simili sistemi sono data in mano a esseri umani, invitando loro di porre domande su qualsiasi argomento. L'invito è accompagnato da disclaimer generici: "May occasionally generate incorrect information”, “May occasionally produce harmful instructions or biased content”.

Di fronte ad un singolo argomento, ad esempio la letteratura in lingua spagnola, la risposta potrebbe essere: 'non sono preparato a rispondere in merito alla storia della letteratura spagnola'; e potrebbero essere esplicitate le fonti in base alle quali si risponde. Niente di questo viene fatto.

Viene da pensare che finanziatori e ricercatori non siano interessati a fornire buone risposte. Viene da pensare che lo scopo preminente è un altro: educare alla sudditanza. Educare a fidarsi della macchina che risponde.

Domandare e rispondere

Il motore di ricerca fornisce conoscenze sulle quali lavorare. Ogni notizia fornita dal motore di ricerca è accompagnata da una metanotizia: la sua fonte. La Chat invece appare esentata dal citare fonti. La Chat, infatti, è costruita in modo da indurre fiducia a prescindere da quale sia la risposta che fornisce. L'accurata programmazione è tesa a garantire alla Chat la stessa fiducia che si riconosce a un genitore, a un insegnante.

E' un gioco pericoloso. Il fare domande e fornire risposte è uno degli aspetti costitutivi della una relazione tra esseri umani. Noi esseri umani ci educhiamo reciprocamente attraverso domande e risposte.

La socializzazione primaria - l'imparare a vivere come esseri umani, si fonda sullo scambio di domande e risposte. Nella prima infanzia impariamo a conoscere il mondo ponendo domande - domande che possono sembrare al genitore strane, ma meritano sempre risposta. Nell'adolescenza poniamo altre domande più sottili - oppure un certo pudore ci spinge a non chiedere a genitori o adulti; oppure gli adulti mostrano un previo disinteresse per le nostre domande.

La socializzazione secondaria è ugualmente giocata attraverso domande e risposte. A scuola, all'università, nel lavoro, nelle relazioni affettive, nella vita di cittadini, in genere nella vita quotidiana, noi esseri umani ci facciamo domande e ci diamo risposte. Si può dire che l'essere umano edifica sé stesso ponendo domande. Ognuno di noi sa qualcosa e apprende dagli altri ciò che non sa. Le fonti: i libri, le biblioteche, le basi dati, qualsiasi Big Data, sono in fondo raccolte di risposte a domande. La conoscenza è una rete che si alimenta attraverso domande e risposte.

Questa ricchezza, della quale viviamo, si alimenta in base a una libertà fondamentale, non a caso negata dalle dittature: la libertà di porre domande. Le libertà civili, in fondo, possono riassumersi in un concetto: non esiste domanda sbagliata. Quale che siano le nostre conoscenze, il nostro status sociale, abbiamo diritto a chiedere, e a farlo così come siamo capaci, e come ci piace.

Domande sbagliate

Ora entra in gioco la macchina. Una élite di tecnici, e dietro di loro una élite di finanziatori, si sono proposti di convincere gli esseri umani: fidatevi, ecco una macchina in grado di rispondere alle loro domande così come sono in grado di rispondere gli esseri umani. Non solo con la stessa efficacia, ma anche con la stessa atmosfera emotiva, affettiva. Siamo invitati a considerare la risposta della macchina perlomeno alla pari della risposta umana. Si aggiunge però una sottile precisazione: esistono domande sbagliate. Il motivo immediato della precisazione è evidente: rimuovere il giudizio negativo nei confronti della macchina che pure evidentemente sbaglia.

Computer Scientist, esperti vari, imprenditori e investitori interessati si affannano a sostenere questa tesi. Non è necessario qui citare fonti, perché la tesi si ripete pari pari, in innumerevoli testi accademici e divulgativi.

“Non sono le macchine a creare allucinazioni, sono le persone che non hanno ancora imparato a creare prompt efficaci”. “Un uso sapiente del prompt non è ancora abbastanza diffuso”. Si ha così anche l'occasione per creare una nuova professione: il, chiamato ad ingabbiare le domande umane in modo da renderle comode per la macchina.

“Cercare domande sbagliate a cui Chat GPT dà risposte sbagliate è diventato uno sport diffuso, anziché cercare le domande giuste a cui questo strumento può dare la risposta giusta”.

Dunque nessuna responsabilità hanno i creatori della macchina, nessuna responsabilità ha la macchina dotata di quella cosa chiamata 'intelligenza artificiale'. Se la risposta della macchina induce in errore -facendo credere che la frase “mundanal ruido” sia da attribuire a un romanziere o a un cantautore, e non a Fray Luís de León- la colpa è mia: ho posto la domanda sbagliata.

Proseguono i difensori d'ufficio delle macchine: “Per farsi un’opinione scientificamente valida, non bastano singoli esempi scelti appositamente, ma occorre innanzitutto capire la tecnologia e i suoi limiti per saperla sfruttare al meglio”. Comodissimo l'appello alla scienza. Appello usato per rifiutare il valore di esperimenti. Così, di fatto, il Computer Scientist si libera, e libera le macchine che ha costruito, macchine che qualcuno spera godano di una qualche 'intelligenza', da ogni forma di responsabilità. Solo noi, affermano i Computer Scientist, possiamo stabilire quali sono le prove scientifiche valide per dimostrare se la macchina è 'intelligente' o no, se una risposta è giusta o sbagliata.

Come spesso accade nelle difese d'ufficio dei costrutti digitali si gioca artatamente su diversi tavoli. Si umilia il cittadino sbattendogli in faccia l'ignoranza di un qualche aspetto tecnico. Si nascondono al cittadino aspetti problematici e rischi. Si giustificano le macchine nei loro limiti e difetti, e allo stesso tempo si esaltano le capacità delle stesse macchine, dichiarandole capaci di superare gli esseri umani nel lavorare e nel pensare.

Si dà però il caso che io sia abbastanza dotto in Computer Science da capire bene le caratteristiche ed il funzionamento di questa tecnologia. E si dà anche il caso che allo stesso tempo sia un etnografo ed un critico letterario. L'etnografia sull'arte di porre domande e di dare risposte – nei contesti più difficili, dove gli umani che cercano il colloquio sono separati da profonde differenze culturali. La critica letteraria e la filologia insegnano a muoversi tra le fonti, scoprendo i luoghi dove risiede quell'autorità che rende significative le risposte.

E innanzitutto sono un cittadino. Un essere umano. In quanto tale posso rilevare come, dal momento in cui mi è offera in uso la Chat, mi è anche tolta libertà nel fare domande. Ora esistono domande sbagliate.

Grande cura è posta da un nutrito gruppo di portatori di interessi -dagli investitori ai computer scientist a tutti coloro che sperano che l'Intelligenza Artificiale offra loro opportunità di lavoro- spinge perché ogni cittadino prenda sul serio l'autorità dell'Intelligenza Artificiale. L'Intelligenza Artificiale risponde a domande dei cittadini, ma impone anche le condizioni di contesto. Chat GPT, e tutti i simili sistemi, dicono implicitamente: esistono domande sbagliate. Questa domanda non la puoi fare; questa domanda non merita risposta. Infatti nel disclaimer di Chat GPT ci si limita a dire genericamente che la macchina "può occasionalmente generare informazioni non corrette", "può occasionalmente produrre istruzioni dannose o contenuti di parte". Si aggiunge che la macchina è “Trained to decline inappropriate requests”. Affermazione inquietante: quali sono le richieste le richieste inappropriate? Chi stabilisce il codice etico in base al quale la Chat rifiuta la domanda?

Brevi considerazioni etiche

Si afferma con la Chat il principio secondo il quale la macchina risponde alle domande come un essere umano, ed anzi è incamminata verso la capacità di rispondere alle domande meglio di un essere umano.

La Chat insegna che esistono 'domande sbagliate'. E allo stesso tempo impone la propria risposta come 'giusta'.

L'avvento della Chat porta con sé il fatto che il cittadino è spinto sempre più a prendere per buona la risposta che chi detiene il potere ritiene opportuno dare. La critica al potere potrà essere rimossa dicendo: la tua domanda è sbagliata, la tua critica è inappropriata, e quindi inaccettabile.

Ma, ciò che è più grave, stabilita l'autorità della Chat, la relazioni tra esseri umani e Chat finisce per essere il modello per le relazioni tra umani. Ora anche le domande scambiate tra esseri umani potranno essere più facilmente rifiutate come domande sbagliate.

E' un passaggio di grande peso politico e sociale. Si vuole disincentivare gli esseri umani a farsi domande e a cercare risposte. Si vuole invece abituare il cittadino a confidare nella macchina-capace-di-ogni-risposta.

La chicca finale

Lascio per la conclusione la chicca, il rilievo più gustoso.

Sono un essere umano in grado di pensare, e di scegliere a ragion veduta come condurre un colloquio. Di fronte alla prima, immediata risposta di Chat GPT e di Bard, ho scelto di glissare, non contestando le affermazioni delle macchine. Sono passato a verificare se, ponendo la domanda in un altro modo, persistevano nell'errore.

Perché a quanto mi risulta, non esiste nessuna opera di Gabriel García Márquez intitolata Mundanal ruido. Così come non esiste nessuna canzone intitolata Mundanal Ruido scritta da José Alfredo Jiménez.

Scrivo 'mi risulta' perché chi più sa di un argomento, più si impara a conoscere le proprie lacune, e quindi si impara a tenersi lontano da facili e definitive certezze. Ma si dà il caso che io goda, dato l'argomento, di una certa competenza. Sono riconosciuto esperto di letteratura in lingua spagnola e di cultura ispanoamericana. In particolare sono considerato un'autorità per quanto riguarda la vita e l'opera di Gabriel García Márquez. Ognuno può verificarlo tramite motore di ricerca.

Perciò ho anche formulato una supposizione. Ho immaginato che i tecnici di OpenAI prendessero sul serio l'apprendimento di GPT. Nel qual caso, avendo identificato lo user Francesco Varanini come grande esperto dell'opera di Gabriel García Márquez, gli abbiano teso una trappola, fornendogli una risposta errata alla prima domanda, in modo da spingerlo ad un test del sistema. E obbligandolo quindi a dare a GPT una lezione di notevole efficacia.

Non credo le cose siano andate così. Vittime della cultura dell'ultimo miglio e della fiducia cieca nei Big Data, gli uomini di OpenAI e di Bard sono lontani dal considerare la letteratura come come modello interessante.

Le risposte evidentemente sbagliate restano un inevitabile effetto collaterale sulla via della ricerca dell'Intelligenza Artificiale Generativa. Gli LLM sono invitate a scommettere sulla capacità di rispondere non in base all'accuratezza delle fonti, ma invece in base alla loro capacità di connettere dati di cui dispongono.

Ma da dove viene l'errore? Se è permesso alla macchina formulare inferenze, anch'io avrò la licenza per tentare.

Quindi suppongo che Bard, alimentato oltre che di parole scritte, di immagini e di file audio, abbia confuso, per mera assonanza, le parole mundanal ruido con le parole mundo raro. Esiste infatti una canzone di José Alfredo Jiménez intitolata Un mundo raro, datata 1959.

E suppongo che Chat GPT nell'inventarsi un'opera minore di García Márquez intitolata Mundanal ruido sia stata tratta in inganno da un post -ben posizionato nel ranking di Google- di tal Arturo Tendero. Il blog, scritto in lingua spagnola, porta il nome El mundanal ruido. Nel post, intitolato El otro yo de García Márquez, corredato da una foto dello scrittore colombiano, si cita un articolo di García Márquez apparso su El País. Scrive Tendero che García Márquez racconta in quell'articolo di “come gli sono state attribuite conferenze tenute in luoghi in cui non era mai stato, lettere di denuncia che si suppone avrebbe scritto e persino firmato di suo pugno, libri suoi che avrebbe dedicato ad amici con parole che sarebbe stato difficile distinguere dalle sue, ma che non erano sue”.

Per sminuire il peso di errori come questi, compiuti dai modelli linguistici, si sceglie di chiamarli con un nome grazioso: allucinazioni. Ammettendo che nessun modello linguistico è immune al 100% da allucinazioni.

Si tenta poi di spostarne la responsabilità: non sono le macchine a creare allucinazioni, sono le persone che non hanno ancora imparato a creare prompt efficaci. Si ricorre anche ad un argomento che già Turing usò per giustificare i limiti della macchina: dopotutto, anche gli esseri umani soffrono di allucinazioni.

Infine, qualcuno invita ad accogliere comunque di buon grado le allucinazioni della macchina, sostenendo che si tratta di utili provocazioni intellettuali. Provocazioni intellettuali: che ce ne facciamo? Cosa aggiungono a ciò che umani sappiamo già fare? In quale campo, rispetto a quale abilità ci spingono a migliorare? Anche si volesse considerare un'utile provocazione giocare a immaginare autori possibili, opere possibili, anche se si volesse giocare ad azzardare attribuzioni 'allucinate', basta ricordare Jorge Luis Borges: di fronte alle sue attribuzioni allucinate, le invenzioni di Chat GPT e Bard impallidiscono.

Tornando con i piedi per terra, lo scopo della Chat GPT, di Bard, di Claude 2, di ogni Chatbot fondata su modelli linguistici, si riduce a due obiettivi più semplici e brutali. Entrambi raggiungibili anche a fronte di performance poco soddisfacenti. Primo obiettivo: condurre nel modo più redditizio possibile una speculazione finanziaria. Secondo obiettivo: educare cittadini, lavoratori, manager alla sudditanza. Fidatevi della macchina, non più di voi stessi.

1Il colloquio tra lo user Francesco Varanini e ChatGPT4 ha avuto luogo mercoldì 28 giugno 2023, tra le 19:30 e le 20:05. E' fedelmente trascritto qui.

2Il colloquio tra lo user Francesco Varanini e Google Bard ha avuto luogo sabato 15 luglio 2023, tra le 10:00 e le 10.35. E' fedelmente trascritto qui.