Di uomini e di macchine: i limiti dell’automazione applicata ai contesti critici

 

Il 7 di maggio di quest’anno, negli USA e precisamente su un’autostrada dello Stato della Florida, è avvenuto un incidente che ha portato alla morte di un automobilista quarantenne. A parte il dispiacere sempre connesso alla morte di un essere umano, la notizia in se stessa non è eccezionale perché negli Stati Uniti le morti per incidente stradale sono state 35.200 nel 2015. Ma in questo caso c’è qualcosa di speciale perché l’automobilista stava guidando una Tesla modello “S” con la “autopilot feature” (opzione pilota automatico) attivata. Questo primo incidente mortale (dopo una serie di altri piccoli incidenti, senza gravi conseguenze, in circostanze analoghe) ha riattivato il dibattito sull’automazione e sul rapporto uomo-macchina e ha sollevato questioni di grande rilievo sulle modalità con le quali l’automazione viene implementata e commercializzata.



Sono state diffuse informazioni dettagliate sulla dinamica dell’incidente, dati sul business delle “driverless cars” (macchine senza pilota, letteralmente), particolari sullo stato dell’arte sia a livello di industria che di regolamentazione dei test; sul caso sono stati chiamati a esprimersi sia qualificati tecnici che rappresentanti di associazioni di consumatori che pubblici ufficiali operanti in istituzioni direttamente coinvolte. La questione è di rilievo perché, oggi, sarebbe difficile fare a meno dell’automazione o, comunque, proporsi di tornare indietro rispetto ad essa; tuttavia il rapporto uomo-macchina e, in particolare, la gestione degli aspetti inerenti la sicurezza, sono questioni tutt’altro che assodate. Vale la pena di approfondire l’argomento e provare a capire come stanno le cose.



I fatti: l’incidente

Partiamo dai fatti, almeno quelli conosciuti; alcune fonti reperibili online possono fornirci un quadro abbastanza definito1. La dinamica dell’incidente appare chiara: mentre l’auto procedeva con l’opzione “autopilot” inserita (la polizia che ha fatto i rilievi dopo l’incidente ha confermato la cosa), un autoarticolato a 18 gomme ha iniziato un’inversione sull’autostrada mettendosi di traverso; il sistema di guida automatico non ha azionato i freni, né il guidatore ha ripreso i controlli (opzione che è sempre immediatamente disponibile, secondo Tesla); l’auto si è infilata sotto l’autoarticolato posizionato di traverso impattando la base del mezzo all’altezza del parabrezza (tra la superficie della strada e la base c’è un certo spazio). Il pilota non ha avuto scampo. E’ stato osservato che se, invece di trovare quello spazio vuoto nel fianco, l’auto avesse tamponato l’autoarticolato, i sistemi di sicurezza dell’abitacolo avrebbero molto probabilmente salvato l’uomo.



Qual è stata la causa immediata dell’impatto (la “causa ultima”)? Tecnicamente, pare che 2 i sistemi di rilevamento visivo del pilota automatico non abbiano individuato il mezzo di traverso perché la fiancata bianca si confondeva con il cielo chiaro; dal punto di vista del comportamento umano, l’autista dell’autoarticolato ha avanzato l’ipotesi che l’automobilista stesse guardando un film. La polizia ha trovato un lettore DVD nell’abitacolo dell’automobile ma non è in grado di dire se, al momento dell’incidente, fosse in funzione o no. Però queste, appunto, sono solo le possibili cause “ultime”; esse arrivano alla fine di una serie di eventi e di scelte umane che, oltre al puro caso, hanno creato le condizioni perché tali cause potessero produrre i loro effetti. A queste dedicheremo i prossimi paragrafi.



Aziende e Beta-test


L’azienda produttrice ha diramato, in data 30 giugno, un comunicato nel quale esprime il suo dispiacere alla famiglia per l’accaduto ed elogia il defunto come persona che credeva nel progetto Tesla. Allo stesso tempo, chiarisce che le auto della casa non vengono vendute come dispositivi del tutto autonomi e che viene chiaramente specificato che sono versioni sperimentali; tutti i clienti vengono adeguatamente istruiti sul fatto che l’inserimento dell’opzione “autopilot” non sostituisce il guidatore, che rimane sempre completamente responsabile del mezzo. Tale opzione è solo un “assistente alla guida” che va comunque gestito dal pilota umano.

Approfondendo ulteriormente, la cosa si fa (a parte la tragicità dell’evento iniziale) ancora più interessante. La Tesla modello “S” è sul mercato dall’ottobre 2014 come dispositivo sperimentale liberamente commerciabile; di fatto si tratta di una specie di “Beta-test” su strada con la partecipazione consapevole dei clienti. Altre case automobilistiche (per esempio la General Motors, ma non solo) hanno fatto scelte diverse, effettuando i loro test solo su percorsi speciali e con piloti selezionati. Come mai questa differenza di approccio? Qui bisogna far riferimento, innanzitutto, al quadro più generale, che è quello di una forte spinta verso la produzione di veicoli automatici, che vengono visti come il prossimo (in un futuro abbastanza vicino) terreno di competizione per il settore auto. Tutti i grandi produttori del settore hanno progetti di questo tipo e stringono alleanze con i grandi produttori di software (BMW con Intel, per esempio, e Fiat-Chrysler con Google). Le aspettative sulla crescita del mercato per questi prodotti sono, dal punto di vista commerciale, molto elevate: diverse migliaia di auto “driverless” vendute negli USA nel 2020 e 4,5 milioni nel 2035 (21 milioni in tutto il mondo)3.

In uno scenario di questo tipo, la spinta verso l’automobile “senza pilota” sta diventando una corsa; per questo è ovvio che i competitors coinvolti cerchino di avvantaggiarsi in tutti i modi. Tra l’altro negli Stati Uniti, al fine di favorire l’innovazione, è stata di fatto liberalizzata la sperimentazione: i “Beta-test” di Tesla sono legittimi, anche se la "Advocates for Highway and Auto Safety" (associazione di consumatori attiva da lungo tempo) sostiene che l’azienda usa gli automobilisti comuni come cavie. Messe sotto pressione, le autorità stanno reagendo; per esempio la NHTSA (National Highway Traffic Safety Administration) ha promesso di “alzare l’asticella” (v. riferimento nella Nota 3) per raddoppiare la sicurezza connessa alle auto senza pilota. Al contempo, il Segretario ai Trasporti Foxx, nel marzo di questo anno, ha dichiarato: “Siamo testimoni di una rivoluzione nella tecnologia dell’automobile che ha il potenziale di salvare migliaia di vite. Per esplicare quel potenziale dobbiamo stabilire linee-guida per i fabbricanti che delineino chiaramente come ci aspettiamo che le auto automatiche funzionino (non solo sicure ma più sicure) sulle nostre strade”4.





Consumatori e Istituzioni


Partiamo dalla questione delle vite risparmiate: quanto c’è di vero? Sembra che, effettivamente, del vero ci sia: i 35.200 morti per incidente stradale del 2015 sono il 7,7% in più dei 32.675 del 2014; il 94% di questi incidenti viene attribuito a errori umani5. A fronte di questo, la Tesla ha fatto notare quanto segue: l’incidente mortale del 7 maggio 2016 è stato il primo dopo che le macchine sperimentali con autopilota avevano percorso più di 130 milioni di miglia; la media per gli USA (tutti i veicoli) è di un incidente mortale ogni 94 milioni di miglia. C’è motivo di affermare che, almeno in termini statistici, queste macchine a guida automatica sono più sicure di quelle a guida umana.

Però vediamo meglio, cominciando dai pareri più tecnici, i quali vanno considerati da due punti di vista. Il primo è ben espresso da Joan Claybrook, ex-direttore della NHTSA e sostenitrice della causa della sicurezza dei consumatori6. Claybrook fa notare che il metodo del “Beta-test” affidato direttamente ai consumatori è insolito e disallineato rispetto alla tradizione dell’industria automobilistica; questa, per evitare di dover richiamare per modifica automobili a decine di migliaia, lavora per mesi e anche per anni sui sistemi di sicurezza di un veicolo prima di commercializzarlo. L’industria auto “testa, testa e testa” ha detto Claybrook, perché c’è in gioco la vita delle persone.

Il secondo è quello dei tecnici in senso stretto, che hanno indagato gli aspetti tecnologici connessi all’incidente. Ciò che è emerso da questo lavoro è che, innanzitutto, un problema critico è il sistema elettronico di visione; il Professor Ragunathan Rajkumar, della Carnegie Mellon University ed esperto di sistemi di guida automatica, ha dichiarato che la computer-vision dell’auto dovrebbe individuare, interpretare e classificare gli oggetti ripresi dalla telecamera di bordo ma che è anche noto che la tecnologia è ancora largamente imperfetta7. Un punto chiave è che, per consentire un’interpretazione rapida, vengono usate telecamere a bassa risoluzione (al fine di ridurre i tempi di pura elaborazione delle immagini da sottoporre a interpretazione). Una soluzione può essere quella di moltiplicare gli input per aumentare la sicurezza: non solo telecamere ma anche radar e LiDAR8. Tanto per alleggerire un po’: ho l’impressione che l’abitacolo di una “driverless car” potrebbe diventare sempre più simile alla cabina di pilotaggio di un aereo… e che, forse, anche l’addestramento degli utenti umani per usare questi mezzi potrebbe complicarsi notevolmente.

Inoltre ci sono i fattori casuali: un evento come quello dell’incidente descritto, con un mezzo che si mette di traverso, semplicemente non era stato previsto dal costruttore dei sistemi di computer-vision della Tesla “S”, e ci vorrà fino al 2018 per aggiornare quel sistema, che è estremamente complicato soprattutto dal punto di vista del software. Lo stesso produttore, che è anche partner nell’intesa tra BMW e Intel, ha previsto di mettere in circolazione un  veicolo autonomo di nuova concezione (nome provvisorio iNEXT) non prima del 2021. Un giudizio competente può essere considerato quello di Harald Krueger, amministratore delegato della BMW (Monaco, fine giugno 2016): “Prima di tutto, la notizia dell’incidente è molto triste. La tecnologia per una guida altamente autonoma non è ancora pronta per la produzione in serie”9.

Per concludere questa parte si può far riferimento alla pagina web http://www.livescience.com/50841-future-of-driverless-cars.html, nella quale si trovano elencati i 5 problemi tecnici ancora da risolvere per rendere effettivamente utilizzabili le auto senza pilota. Di questi, tre sono problemi tecnici in senso più stretto: software migliori, sensori migliori e migliori capacità di comunicazione (le auto senza pilota devono poter interagire in modo funzionale con gli altri veicoli perché il computer possa governare l’auto in modo flessibile). Gli altri due sono problemi più vasti; il primo è la mappatura del territorio: per esempio le “Google’s self-driving cars” sono in uso continuativamente solo a Mountain View, in California, in una zona che è mappata palmo a palmo e della quale possono essere memorizzati tutti i particolari. Mandare una di queste auto, con le dotazioni attuali, in zone non conosciute così bene non potrebbe dare gli stessi risultati; ma negli USA, per esempio, dei 4 milioni di miglia della rete stradale Google ha mappato solo 2.000 miglia. Non parliamo della mappatura del resto del mondo10.





Il secondo riguarda la possibilità di trasferire decisioni etiche dagli esseri umani alle macchine (“robot etici” è l’espressione usata). Il problema viene delineato nei termini seguenti: un pilota (anche se automatico) potrebbe trovarsi a dover decidere se scartare a destra o a sinistra quando in entrambi i casi farebbe danni irreparabili; per esempio potrebbe trovarsi a dover decidere se è meglio travolgere tre pedoni, rischiando di ucciderli tutti, o deviare contro un solo motociclista11. Lascio per un momento questo spunto di riflessione al lettore, senza approfondire subito, perché sarà uno dei punti centrali delle considerazioni che seguono.



Considerazioni

Di tutte le considerazioni che si potrebbero proporre sul quadro che ho delineato, ne ho scelte alcune raggruppandole in due categorie: la prima riguarda cosa dobbiamo pensare delle tecnologie del presente (in particolare quelle connesse alle “driverless cars”) e che atteggiamento è più funzionale assumere nei loro confronti. La seconda riguarda le prospettive: cosa possiamo realisticamente aspettarci dalle innovazioni future, in particolare dai tentativi di automatizzare attività complesse della vita quotidiana.

Il presente: non siamo pronti

Una sintesi del primo gruppo di considerazioni è: non siamo pronti, né a livello di tecnologie né a livello di regolamentazione né a livello di contestualizzazione (calare il problema di questa specifica automazione nel contesto storico e sociale del momento presente). Questo è stato detto esplicitamente dall’AD della BMW; è stato inoltre ribadito, con ampie argomentazioni, da Steven E. Shladover sul numero di Agosto de “Le Scienze”12. L’autore fa innanzitutto chiarezza sul concetto stesso di automazione applicato alle automobili distinguendo ben 5 livelli, che vanno dalla “guida assistita” (il livello minimo) alla “automazione completa”; quindi, per discutere dell’argomento, bisogna innanzitutto definire di quale automazione si sta parlando. Questo è un primo punto critico perché, se non lo si fa, rischiamo di rimanere invischiati in un dibattito puramente ideologico del tipo “driverless cars SI o NO”. Non c’è dubbio, anche per Shladover, che avere automobili completamente automatizzate porterebbe a un risparmio di vite umane e ad altri vantaggi; il problema è che siamo inesorabilmente lontani da questo obiettivo (secondo lui il livello 5, quello dell’automazione completa, non sarà raggiungibile prima del 2075). Il motivo di questa persistente lontananza è la complessità dei problemi tecnici da risolvere, innanzitutto quello dell’affidabilità del software.


Quello del software sembra sia un problema “da incubo”. Può apparire strano ma i programmi per automatizzare la guida di un’auto sono molto più complessi di quelli per automatizzare la guida di un aereo; un aereo guidato dal pilota automatico si muove (salvo eccezioni) in aree prive di ostacoli e sgombre da altri mezzi, con tempi di reazione richiesti che sono dell’ordine delle decine di secondi. Il sistema di guida automatico di un’automobile deve essere in grado di reagire in frazioni di secondo e non appare possibile codificare a priori tutti gli imprevisti che potrebbe incontrare. Dice Shladover: “Arrivarci sarà profondamente difficile e richiede progressi fondamentali nell’ingegneria del software e nel trattamento dei segnali”. Non c’è dubbio: siamo lontani. E la questione del software non è solo tecnica: “Una volta scritto il codice, ci vorranno nuovi metodi di debug e verifica. Quelli attuali sono troppo complicati e costosi… si pensi che la metà del costo di un nuovo aeroplano commerciale o militare va in verifica e validazione del software”. Quindi, per dirne una: quanto potrà costare un’auto “driverless” attrezzata con software di nuova generazione? Sarà compatibile con i prezzi richiesti da un mercato di massa (l’obiettivo commerciale non può che essere quello)?

Da notare che, mentre i costruttori e i tecnici hanno ben presente il collo di bottiglia tecnologico, sul piano della comunicazione e della commercializzazione si presentano questi prodotti come se fossero già pronti. In altri termini: di automobili che sono al livello 1 (sui 5 indicati da Shladover) o, al massimo, si affacciano al livello 2, si parla come se fossero al livello 4 o 5. E’ un problema tutt’altro che nuovo, tanto è vero che il grande fisico Richard Feynman, nella sua “controrelazione” sul disastro della navetta spaziale “Challenger”, ha scritto13:



Per una tecnologia di successo, la realtà deve avere la precedenza sulle relazioni pubbliche, perché la natura non può essere ingannata.



Tuttavia sembra che questa lezione non sia stata ancora appresa e che la sindrome dell’Apprendista Stregone continui ad accompagnare, da sempre, l’Umanità nel suo cammino. Abbiamo creato tecnologie fantastiche e le usiamo, però non le dominiamo; il dominio richiede tempo, il tempo di accumulare una sufficiente esperienza. Ma le logiche del mercato impongono di uscire sempre più in fretta con modelli sempre più nuovi e sempre meno sperimentati; molte delle cose che accadono dentro un computer non le conoscono bene nemmeno quelli che lo hanno costruito. Per questo si fanno i “Beta-test” facendo sperimentare i prodotti al pubblico… solo che, oggi, dati i ritmi dell’innovazione, rischiamo di trovarci in una fase di Beta-test permanente con prodotti destinati ad essere sempre meno dominati da chi li usa (e un po’ anche da chi li costruisce). Dal punto di vista del consumatore, ciò costituisce una asimmetria ingiustificata nel rapporto cliente-fornitore perché i soldi che il cliente paga vengono incassati subito e svolgono la loro funzione alla perfezione senza bisogno di alcun Beta-test. Dal punto di vista del fruitore (diretto, come l’automobilista, o indiretto, come il cittadino qualunque) va considerato che se, da un lato, i difetti delle release iniziali di un computer o di un sistema operativo possono fare danni limitati14, quando un’applicazione può incidere sulla vita delle persone dovremmo, forse, trovare approcci più funzionali. L’innovazione tecnologica è, da una parte, un aspetto vitale delle società avanzate (anche se non sta producendo nuovi posti di lavoro e, anzi, li sta riducendo); dall’altra è, anch’essa, un “uncharted territory”, un territorio non mappato, e il tempo che dobbiamo dedicare a restare agganciati a una tale innovazione aumenta a spese di quello da dedicare agli aspetti più centrali del lavoro e della vita privata.

Non siamo pronti. Però facciamo finta di esserlo; come dice Shladover (v. Nota 12): “Gli esperti di marketing di case automobilistiche, fornitori e aziende tecnologiche stanno attenti a produrre materiale promozionale che lasci ampio spazio alle interpretazioni su quanta parte della guida possano automatizzare i loro prodotti”. E ancora lui, citato da Larry Greenemeier: “Chiamando qualcosa ‘pilota automatico’ o usando espressioni come ‘si guida da sola’ essi di fatto incoraggiano la gente a pensare che i sistemi siano più capaci di quanto sono realmente, e questo è un serio problema”15. Le tecnologie che non dominiamo sono a forte rischio di ritorcersi contro di noi (lo stanno già facendo, in molti ambiti).




Il futuro: dubbi ontologici

Per il secondo gruppo di considerazioni, pensando in prospettiva, la questione potrebbe non essere risolvibile semplicemente puntando a comunicazioni più realistiche e campagne pubblicitarie più trasparenti e più aderenti alla realtà presente. Effettivamente, moltissimi sono convinti che sia solo una questione di tempo e che, prima o poi, avremo a disposizione automi capaci di riprodurre (o almeno di imitare efficacemente) il pensiero umano. In realtà, dobbiamo anche considerare la possibilità che non sia una questione di tempo ma di differenze strutturali tra il modo di “funzionare” di un essere umano e quello di una macchina, di qualunque tipo essa sia. Ovvero: non solo non siamo pronti oggi, ma le tecnologie attuali potrebbero risultare strutturalmente inadatte a risolvere il problema anche in futuro, per quanto lontano nel tempo proiettiamo il nostro pensiero.

Il nostro Apprendista Stregone interiore è sempre all’opera e i nostri desideri continuano a scavalcare la realtà; sul piano scientifico, stiamo dando per scontato che sia risolto (o comunque presto risolvibile) quello che, invece, sarebbe meglio considerare ancora un problema aperto, ovvero la riproducibilità del pensiero umano su un computer attuale. Tale problema viene affrontato essenzialmente in termini quantitativi: ciò che impedirebbe a questi computer di riprodurre il pensiero umano sarebbero, alla fine, l’insufficiente potenza di calcolo e l’insufficiente capacità di memoria; in realtà, è ancora da dimostrare che le cose stiano effettivamente così. Parliamo di capacità di memoria ma, mentre sappiamo tutto su come funzionano le memorie dei computer, sappiamo ben poco di come funziona la memoria umana; che rapporto c’è fra le sequenze di bit in codice binario dei computer e il funzionamento dei neuroni? In realtà non lo sappiamo e l’assunto che il cervello umano funzioni come un computer appare arbitrario. E parliamo di potenze di calcolo e di elaborazione delle informazioni assumendo, anche in questo caso, che il nostro cervello elabori informazioni allo stesso modo di un computer; ma in realtà non siamo certi che le cose stiano proprio così perché il modo di funzionare del cervello nelle interazioni con l’ambiente esterno non è sufficientemente noto. Il paradosso dell’Umanità immersa nella Civiltà Digitale si può sintetizzare così: i computer sono, almeno sul piano industriale, il nostro prodotto più avanzato ed elevato, tanto che, a livello di immaginario, lo eleviamo e lo paragoniamo alle nostre funzioni superiori (il pensiero astratto, in particolare); solo che conosciamo poco l’essere umano come sistema biologico / spirituale. E’ questo che rende insostenibili certi paragoni: dei due termini del confronto uomo-macchina, uno è largamente sconosciuto, e siamo noi.

Abbiamo un’idea di quale possa essere questa ipotizzata differenza strutturale tra un essere umano e un computer? Perché per gli esseri umani sono relativamente facili operazioni che sono di fatto impossibili per un computer (almeno del tipo attuale)? All’opposto, perché per gli esseri umani sono pressoché impossibili operazioni che vengono effettuate in un istante dai computer? C’è molta letteratura su questo tema ma entrare nei dettagli ci porterebbe lontano dal nostro tema, per cui mi limiterò a una sintesi. I computer funzionano in base alle leggi della logica e sono sistemi deterministici nella loro struttura; ciò significa che, dato un input e sulla base delle istruzioni che la macchina esegue per elaborarlo, l’output è prevedibile e, nelle stesse circostanze, qualunque macchina darebbe lo stesso risultato. Gli esseri umani, per quello che si è capito fino a questo momento, “funzionano” in base a principi diversi. Ricevono input dall’ambiente esterno (naturale come sociale), e su questo non c’è dubbio; però li trattano in un modo che è completamente diverso dal trattamento dati effettuato da un computer. Gli esseri umani interpretano, non “elaborano” tramite algoritmi gli input che ricevono, e il processo di interpretazione ha una natura propria che chiama in causa un componente fino ad oggi ampiamente trascurato dalla ricerca scientifica sulla conoscenza e i suoi processi: il corpo.

Sul processo di interpretazione ho avuto, negli ultimi anni, l’opportunità di condurre un gruppo di giovani ricercatori che, nell’ottobre 2015, ha visto pubblicati i propri risultati (il caso specifico affrontato era l’interpretazione dei messaggi scritti, ma quanto scoperto è estendibile all’interpretazione di qualunque segnale)16. Siamo abituati a pensare che le interazioni persona-ambiente siano regolate dal nostro cervello, il quale elaborerebbe direttamente gli input esterni come farebbe un computer con i dati di input; di fatto (anche il mondo della ricerca scientifica aderisce fortemente a questa concezione) si attribuisce al cervello la funzione di “centrale di controllo” (la “mente”) del resto dell’organismo (il “corpo”) trascurando il fatto che Sistema nervoso e corpo si sviluppano insieme, pienamente integrati e interconnessi in un modo che si sta appena cominciando a capire. Quando arriva un input, questo non viene elaborato dal cervello il quale, poi, decide quali ordini dare ai vari organi; tra l’altro, un funzionamento di questo tipo sarebbe coerente solo con la parte cosciente del nostro Sistema Nervoso Centrale, mentre è conclamata l’esistenza di una vastissima parte inconscia e inconsapevole. Secondo la nostra ipotesi, quando arriva un input, questo innesca innanzitutto una reazione automatica a livello di organismo nel suo complesso (e prima a livello del corpo); solo dopo interviene la coscienza (i suoi processi sono più lenti rispetto alle reazioni automatiche), la quale parte dalla reazione dell’organismo, non dall’elaborazione diretta degli input esterni.

In sintesi: a parte i nostri dati, ci sono molti indizi17 che portano perlomeno a ipotizzare che un organismo umano (propongo di non parlare solo più di “cervello”) reagisca agli stimoli ambientali con modalità di natura diversa rispetto a come un computer tratta i dati di input. Se le cose stanno così, la possibilità di riprodurre il pensiero umano su macchine del tipo di quelle attuali (anche se molto più avanzate tecnologicamente) ci è semplicemente preclusa. Se le cose stanno così, è più facile capire perché un essere umano adulto può imparare a guidare un’automobile (adattando in modo flessibile la guida a condizioni di ogni tipo) nell’arco di pochi mesi: lo fa attraverso un percorso e processi neurofisiologici che sono strutturalmente diversi dal data processing di un calcolatore. All’opposto, un calcolatore sarebbe in grado di condurre un’automobile in sicurezza solo su percorsi e in circostanze predeterminate (non è lui che si adatta alle circostanze ma bisogna creargli un ambiente ad-hoc). Si capisce meglio anche perché per un essere umano rimane sostanzialmente impossibile effettuare calcoli complicati in tempo reale e memorizzare masse di dati come fanno anche i computer più semplici. Gli esseri umani non memorizzano dati, bensì incamerano (in modi che non ci sono ancora chiari, in termini scientifici) significati; e i significati non sono memorizzati come sequenze di bit nelle memorie di un computer, ma sono incamerati con modalità che implicano un ruolo cruciale del corpo e che sono di tipo analogico, non digitale. Stiamo parlando di due mondi aventi nature diverse18.

Per questo il linguaggio antropomorfico applicato alle macchine (molto usato in particolare nella pubblicità) ha poco senso (anzi, è pericoloso) e parlare di “algoritmi etici” pare averne ancora meno. Mettendo momentaneamente da parte l’antropomorfismo19, vale la pena di soffermarsi brevemente sull’ipotizzato “software etico” del quale dovrebbero essere dotate le “driverless cars”. L’etica20  attiene ai valori, quindi per definizione non si può “calcolare” (un processo di scelta etica non può essere trasferito su un algoritmo), e le scelte etiche, relative al bene e al male, sono quelle che tipicamente gli esseri umani fanno “senza pensare”. Tra l’altro le situazioni attraverso le quali si esemplificano i possibili problemi etici che un computer potrebbe doversi trovare a risolvere sono estremamente rudimentali e affrontate in termini puramente binari (alternative SI/NO), ovvero sono lontane dalla complessità con la quale tipicamente si presentano i problemi etici agli esseri umani. Ne abbiamo dato un cenno sopra, citando l’esempio della scelta tra l’investire tre pedoni o un solo motociclista; è una variante del noto “problema del trolley”, classico esperimento mentale di filosofia etica (https://it.wikipedia.org/wiki/Problema_del_carrello_ferroviario). Per avere un’idea più adeguata dei livelli di complessità implicati in una scelta etica nel mondo reale si può fare riferimento (oltre che all’esperienza personale di ciascuno di noi) al mondo del cinema, che ha descritto in quantità situazioni di questo tipo21.


Conclusioni

L’esempio delle automobili “senza pilota” mi sembra emblematico del modo in cui si esprime e viene gestita la spinta all’automazione nelle società avanzate; per questo vorrei proporre alcune riflessioni generali riprendendo le considerazioni dalle quali siamo partiti: da un lato, cosa dobbiamo pensare delle tecnologie del presente e che atteggiamento è più funzionale assumere nei loro confronti; dall’altro, cosa possiamo realisticamente aspettarci in futuro dai tentativi di automatizzare attività complesse della vita quotidiana.



Per quanto riguarda il presente, prendiamo innanzitutto consapevolezza del fatto che il futuro tecnologico sta arrivando a una velocità un po’ più bassa (forse molto più bassa) di quella che molti cercano di farci credere. Da una parte abbiamo le potenzialità e le necessità di commercializzazione dell’industria tecnologica che spingono per una sempre maggiore velocità nell’ideare e diffondere novità; dall’altra, abbiamo l’insufficiente maturità delle tecnologie reali e le difficoltà ad integrarle nella cultura dei consumatori, nei processi delle Istituzioni e nel quadro obsoleto delle infrastrutture. Dubito che possiamo bloccare le dinamiche in corso nell’economia di mercato del tempo presente; e, se anche fosse possibile, forse non sarebbe consigliabile. Però, visto che alla fine il conto lo paghiamo noi, cioè la gente comune (con soldi che funzionano perfettamente di default, senza bisogno di alcun Beta-test, e anche con disagi e spreco di energie), forse potremmo darci una smossa. Per esempio informandoci, restando vigili e ponendo attenzione ai contesti richiesti dalle meraviglie tecnologiche che ci vengono proposte come se fossero “già pronte”.

Arrendiamoci all’evidenza: non sono “pronte” e non lo saranno per un pezzo (forse, in un certo senso, non lo saranno mai, ma di questo parliamo tra pochissimo). L’uso delle tecnologie avanzate (anche di quelle più avanzate) è impegnativo e, in attesa di liberarci dalle necessità della vita quotidiana, intanto ci richiedono più tempo, tempo che non abbiamo veramente scelto di impiegare e che dobbiamo sottrarre ad attività che probabilmente preferiremmo. Anche il restare vigili e attenti ci richiede un tempo che forse preferiremmo dedicare ad altro; solo che su questo non abbiamo molta scelta: alla fine il conto lo paghiamo noi, per cui non è una questione etica ma pratica, ci conviene stare più attenti, chiedere conto nei dettagli, fare scelte oculate senza farci trascinare emotivamente dalle novità (che, tra l’altro, non necessariamente sono anche “innovazione”).

Per quanto riguarda il futuro, è chiaro che, innanzitutto, si dovrà sciogliere il nodo di quella possibile differenza strutturale fra il modo di elaborare di un computer e il modo di interpretare di un essere umano. Quindi andrà fatto un ulteriore sforzo per capire meglio come “funzionano” gli esseri umani i quali, al momento e nonostante le risorse investite nella ricerca, sono molto meno conosciuti delle macchine che inventano. Il Professor Rajkumar, che abbiamo citato sopra, parla di sistemi di visione computerizzata che “interpretano” le immagini; ma se le cose stanno come dicono alcune ricerche recenti (oltre alla nostra), i processi di interpretazione come li conosciamo abitualmente, nella vita quotidiana, sono prerogativa degli esseri umani e si concludono con l’attribuzione di un significato a ciò di cui hanno fatto esperienza. Invece i computer fanno solo elaborazioni di dati provenienti da una certa fonte (immagine, testo o altro che sia), non sono in grado di capire (di attribuire significati a) ciò che elaborano. Parliamo di due mondi diversi: quello umano è analogico (il significato ha sempre una natura analogica ed è connesso al corpo, non solo alla “mente”), quello dei computer è digitale.

In estrema sintesi, la mia opinione è che sicuramente le tecnologie hanno ancora molti margini di miglioramento e lo sviluppo tecnologico ha ancora molti benefici da darci in termini di potenzialità e di semplificazione della nostra esistenza. Tuttavia io credo che non potremo mai abdicare la nostra personale e collettiva responsabilità di gestire con criterio ciò che ci circonda, dai rapporti sociali all’ambiente ai nostri prodotti, i quali difficilmente sono destinati ad arrivare a pensare al posto nostro. Tutto questo facendo anche riferimento a un punto cruciale: come verranno distribuiti questi benefici?

 

1 Purtroppo i testi di riferimento sono tutti in inglese, principalmente perché la stampa italiana (almeno quella non specializzata) non sembra aver dato molto rilievo alla notizia. Per una panoramica generale sulla vicenda si può vedere http://www.scientificamerican.com/article/deadly-tesla-crash-exposes-confusion-over-automated-driving/?WT.mc_id=SA_FB_TECH_NEWS; il comunicato dei produttori relativo all’incidente si trova all’URL https://www.tesla.com/en_GB/blog/tragic-loss?redirect=no; gli orientamenti delle autorità pubbliche sulla regolamentazione necessaria e il punto della situazione sulle modalità con le quali vengono effettuati i test si trovano in due articoli reperibili dalla galassia Bloomberg, rispettivamente http://www.bloomberg.com/news/articles/2016-06-08/u-s-auto-regulator-says-self-driving-cars-must-be-twice-as-safe e http://www.bloomberg.com/news/articles/2016-07-01/fatal-tesla-crash-spurs-criticism-of-on-the-road-beta-testing.

2  Si veda https://www.tesla.com/en_GB/blog/tragic-loss?redirect=no, già richiamato nella Nota 1

3  Si veda il già citato http://www.bloomberg.com/news/articles/2016-06-08/u-s-auto-regulator-says-self-driving-cars-must-be-twice-as-safe.

4 Testo originale: “We are witnessing a revolution in auto technology that has the potential to save thousands of lives. In order to achieve that potential, we need to establish guidelines for manufacturers that clearly outline how we expect automated vehicles to function - not only safely, but more safely - on our roads.” Si veda il già citato http://www.bloomberg.com/news/articles/2016-06-08/u-s-auto-regulator-says-self-driving-cars-must-be-twice-as-safe.

5  I dati della National Highway Traffic Safety Administration si trovano all’URL http://www.nhtsa.gov/About+NHTSA/Press+Releases/nhtsa-2015-traffic-deaths-up-07012016.

6 Si veda il già citato http://www.bloomberg.com/news/articles/2016-07-01/fatal-tesla-crash-spurs-criticism-of-on-the-road-beta-testing.

7 Si veda il già citato http://www.scientificamerican.com/article/deadly-tesla-crash-exposes-confusion-over-automated-driving/?WT.mc_id=SA_FB_TECH_NEWS.

8 LiDAR = Light Detection And Ranging, un apparato che misura le distanze illuminando i potenziali ostacoli con un raggio laser (si veda https://en.wikipedia.org/wiki/Lidar).

9 Citazione originale in http://www.bloomberg.com/news/articles/2016-07-01/fatal-tesla-crash-spurs-criticism-of-on-the-road-beta-testing, datato 1° luglio 2016: “First of all, the news of the accident is very sad,” BMW Chief Executive Officer Harald Krueger said at an event in Munich Friday. “Technology for highly autonomous driving isn’t ready for series production yet.”

10 Da tenere presente che i veicoli autoguidati attuali vengono consigliati per l’uso sulle sole autostrade, le cui caratteristiche sono relativamente omogenee e più facilmente gestibili via software.

11 Oltre al già citato http://www.livescience.com/50841-future-of-driverless-cars.html si veda anche http://www.scientificamerican.com/article/driverless-cars-will-face-moral-dilemmas/.

12 “Le Scienze” è l’edizione italiana di “Scientific American” e viene pubblicata dal 1968. L’articolo in questione è: Shladover, S. E. (2016), La verità sulle auto “che si guidano da sole”, Le Scienze n. 576, Agosto, pp. 48-53.

13 Feynman (https://it.wikipedia.org/wiki/Richard_Feynman) è una figura mitica della storia e della didattica della fisica. Dopo il disastro dello shuttle “Challenger” (28 gennaio 1986, https://it.wikipedia.org/wiki/Disastro_dello_Space_Shuttle_Challenger) fu chiamato nella Commissione di inchiesta e, insoddisfatto di come veniva condotta l’indagine, fece una sua “controrelazione” nella quale indicava come causa prima proprio le difficoltà di comunicazione fra il settore tecnico e quello della gestione strategica.

14 Ma possono comunque creare grossi e ingiustificati fastidi. Cito come esempio la mia esperienza personale con “Windows 10”, il nuovissimo Sistema Operativo della Microsoft: dopo l’aggiornamento di luglio 2016 non sono riuscito a usare la stampante per un mese per problemi legati alla gestione dei driver, ormai controllata completamente dal sistema; solo dopo l’aggiornamento di agosto la stampante è tornata in funzione.

15 Citazione originale in http://www.scientificamerican.com/article/deadly-tesla-crash-exposes-confusion-over-automated-driving/?WT.mc_id=SA_FB_TECH_NEWS: “By calling something an ‘autopilot’ or using terms like ‘self-driving,’ they sort of encourage people to think that the systems are more capable than they really are, and that is a serious problem.”

16 L’articolo, pubblicato in modalità open source con licenza CC BY 4.0, è reperibile all’URL https://peerj.com/articles/1361/ .

17 Su questo argomento si è accumulata una vastissima letteratura; evito di produrre un lungo elenco qui e rimando all’Introduzione del nostro articolo (liberamente reperibile all’URL https://peerj.com/articles/1361/), che presenta un’ampia bibliografia ragionata sulle interazioni persona-ambiente e sul processo di interpretazione.

18 Secondo molti ricercatori, l’Intelligenza Artificiale e le Reti Neurali sono settori avanzati dai quali ci si può ragionevolmente aspettare la messa a punto di macchine di concezione totalmente nuova ed effettivamente capaci di riprodurre il pensiero umano. Anche questo non posso approfondirlo qui; per quanto riguarda l’IA, nell’Introduzione della nostra ricerca (https://peerj.com/articles/1361/) c’è, verso la fine, una sezione dedicata a una bibliografia ragionata sul tema. Per una prima introduzione a queste tematiche si può fare riferimento al numero di Agosto 2016 de “Le Scienze” (edizione italiana di “Scientific American”), che contiene uno speciale sull’IA; al suo interno è presente l’articolo “Macchine che imparano”, di Yoshua Bengio, che fa cenno anche alle Reti Neurali. Comunque, in estrema sintesi, resta il fatto che IA e Reti Neurali cercano di imitare il pensiero umano in base ad algoritmi, strumenti che, per quanto abbiamo detto, restano deterministici, meccanici e perciò di natura diversa dal modo di funzionare di un organismo umano, che è fondamentalmente analogico.

19 L’antropomorfismo è l’attribuzione di intenzioni, emozioni e sentimenti umani ad animali o perfino a cose inanimate. Di solito se ne occupano la filosofia e l’antropologia (per un’introduzione si vedano le pagine dell’Enciclopedia Treccani http://www.treccani.it/enciclopedia/antropomorfismo_(Dizionario-di-filosofia)/ e http://www.treccani.it/enciclopedia/antropomorfismo_%28Universo-del-Corpo%29/) mentre nella scienza, per lungo tempo, è stato considerato un peccato capitale perché introduceva fattori emotivi considerati antitetici rispetto alla razionalità richiesta dalla ricerca. Tuttavia negli ultimi decenni si sta assistendo a una reviviscenza di questo concetto anche in campo scientifico e si sente parlare di piante che comunicano e che si capiscono, di batteri che prendono decisioni e di molte altre cose del genere. E’ un argomento che merita un lavoro dedicato e non lo approfondisco qui solo per non uscire dal tema di questo articolo.

20 Per un’introduzione si vedano: http://www.treccani.it/enciclopedia/etica/ e https://en.wikipedia.org/wiki/Ethics.

21Pescando pressoché a caso dalla mia memoria mi vengono in mente, in ordine cronologico: “Vincitori e vinti” (https://it.wikipedia.org/wiki/Vincitori_e_vinti); “Leoni per agnelli” (https://it.wikipedia.org/wiki/Leoni_per_agnelli); “Il diritto di uccidere” (http://www.repubblica.it/spettacoli/cinema/2016/07/01/news/helen_mirren_va_alla_guerra_con_il_diritto_di_uccidere_quello_che_era_fiction_sta_diventando_realta_-143178636/?refresh_ce). Quest’ultimo pare interessante, rispetto al tema di questo articolo, anche come metafora perché tratta proprio dell’impiego di un mezzo senza pilota: un drone militare (di tipo Predator, mi pare). Ecco, una cosa che si nota è la grande quantità di persone impegnate per condurlo sull’obiettivo, ognuna con i suoi dubbi e con i suoi dilemmi rispetto alle questioni etiche; un’altra è il grado di difficoltà e il tempo richiesto per prendere una decisione con forti risvolti etici. Forse si tratta di una situazione un po’ estrema, rispetto alle “driverless cars”, ma i livelli di complessità sono senz’altro comparabili.

 


------------------------------------------------
FONTE IMMAGINI
fig1: http://cdn.redmondpie.com/wp-content/uploads/2016/01/tesla-autopilot.jpg
fig2: http://cdn.redmondpie.com/wp-content/uploads/2016/01/tesla-autopilot-01.jpg
fig3: http://www.inautonews.com/wp-content/uploads/2014/03/nhtsa-office-51-people-workforce.jpg
fig4: http://www.fastweb.it/var/storage_feeds/CMS/articoli/258/25849c5dce0f90ef43b3d32f454fe690/car3.jpg
fig5: http://cdn.electric-cloud.com/wp-content/uploads/2014/12/automotive-software.png
fig6: https://pritalia.files.wordpress.com/2010/01/simpatica-sorpresa-alfa-romeo-mito-carrello-della-spesa.jpg
fig7: http://www.magazine3d.it/wp-content/uploads/2015/11/ Questo indirizzo email è protetto dagli spambots. E' necessario abilitare JavaScript per vederlo. _.jpg
Roberto Maffei

Consulente, formatore e trainer senior nell'area delle competenze trasversali (comunicazione, leadership, lavoro di squadra e via dicendo) negli ultimi anni ha operato prevalentemente nell'ambito di progetti di innovazione e cambiamento organizzativo.
Ha gestito interventi (da solo o coordinando equipes) rivolti a piccole e grandi organizzazioni (sia aziende private che istituzioni pubbliche), dal livello della singola unità organizzativa fino all'intera organizzazione. Affianca al lavoro professionale attività di ricerca sia specifica (dedicata alle conoscenze scientifiche connesse alle attività che svolge) che di base (ricerca sui fondamenti del comportamento umano, con approccio di tipo sociologico); è autore di alcuni libri e di diverse pubblicazioni.
E' attualmente Presidente dell'Associazione culturale ARPA-Firenze, una non-profit con un attivo gruppo di ricerca al suo interno.

http://www.robertomaffei.it

 

 

 

 


Submit to FacebookSubmit to Google BookmarksSubmit to LinkedIn

Aggiungi commento


Codice di sicurezza
Aggiorna