Il rating social dei cittadini non è più fantascienza. Avete mai letto “Franchise – Diritto di voto” di Asimov? Roba del 1955, ma quanto mai attuale nell’epoca dei “big data”, dello scandalo Cambridge Analytica, del populismo via social. Nelle scorse settimane è uscito un articolo sull’Espresso dal titolo “Il rating del “buon cittadino”: così si realizza l’incubo di Orwell”, che descrive l’esperimento di uno dei primi Social Credit System che si sta conducendo dal 2013 a Rongcheng in Cina.
Da Orwell a Black Mirror, il voto ai comportamenti sociali
Leggendo l’articolo ho pensato che fosse qualcosa di simile a ciò che è stato prefigurato dall’inquietante puntata di Black Mirror, dal titolo ‘Nosedive’” (in italiano, “Caduta Libera”), in cui la popolarità, l’accettazione sociale, l’accesso a tariffe e servizi o al credito vengono tutti regolati dai “like” che ciascun soggetto è capace di ricevere dagli altri cittadini. La popolarità (e quindi la reputazione) viene espressa con un massimo di cinque stelle grazie alla tecnologia di telefoni intelligenti e a lenti che permettono di visualizzare il nome e il punteggio corrente di una persona. Il “voto” viene assegnato a partire dai propri comportamenti (a insindacabile giudizio del prossimo) con immediate conseguenze socio-economiche.
Ciò che è stato fatto in Cina non è esattamente identico, però forse è anche più inquietante. A Rongcheng, i 740.000 cittadini sono stati inseriti (d’ufficio) in un programma di “social credit scoring”, il cui obiettivo è misurare la “trustworthiness”, ossia l’attendibilità e l’affidabilità economica e sociale dell’individuo.
Come funziona il social credit score in Cina
Il ranking del cittadino, il suo “social credit score”, dipende dal livello di rispetto delle regole: per i cittadini meritevoli (che rispettano leggi e sono esempi per la collettività) sono riservati premi o sconti, possono accedere a mutui a tasso agevolato, mentre per i cattivi (in blacklist) non è possibile prendere treni ad alta velocità o acquistare biglietti di aerei, iscrivere i figli in certe scuole, partecipare alle selezioni per un posto pubblico… Entro il 2020, la Cina pensa di estendere all’intera nazione questa modalità.
A Rongcheng, dei burocrati del Comune (qui la principale differenza con Black Mirror) attribuiscono o sottraggono punti (a partire da un plafond di 1000 crediti) in relazione ad eventi oggettivi: prendi una multa, meno 5 punti; ricevi un riconoscimento o ti comporti in modo da aiutare la collettività, ricevi 30 punti… Il criterio è che tutto ciò che potrà essere documentato permette di variare il punteggio, peccato che molte persone nemmeno sanno dell’esistenza di questo sistema fino a quando non si trovano a chiedere un mutuo o iscrivere i figli a scuola. I soggetti virtuosi vengono elogiati in eventi pubblici o le loro foto esposte in luoghi pubblici.
Le aziende e la profilazione dei cittadini
Studiando un po’ di più il progetto pilota, ho scoperto che anche le aziende sono incluse nella valutazione del social credit. Possono avere un punteggio alto se pagano le tasse in tempo e non subiscono sanzioni o inchieste. Ancora una volta, le aziende virtuose accedono a mutui agevolati e pagano meno tasse.
Parallelamente, grosse corporation, come Alibaba (con Zhima Credit, servizio opzionale incluso in Alipay), hanno iniziato a lanciare applicazioni con le quali, volontariamente, i cittadini scelgono di essere valutati non solo in relazione alla loro storia creditizia e di consumo, ma anche in relazione al loro comportamento e alla rete di relazioni che hanno. Così, se l’applicazione ti profila come giocatore di videogames, probabilmente verrai catalogato come una persona pigra (ergo meno punti). Se acquisti pannolini, probabilmente sei un genitore, quindi capace (si spera) di assumerti responsabilità (ergo più punti).
Interagire con persone con uno score alto ti qualifica come soggetto con buona reputazione e viceversa. Zhima Credit usa questo modello per definire il profilo di rischio dei soggetti a cui fare credito. L’azienda non condivide (ancora) i dati del suo sistema di scoring con il Governo (se non autorizzato dall’utente), però, guarda caso, gli utenti che autorizzano lo scambio di informazioni tra i social credit system hanno condizioni agevolate per le assicurazioni, le prestazioni sanitarie…
Il controllo governativo e le tecnologie digitali
Decisamente la nostra società occidentale non viene da decenni di controllo governativo esplicito e (almeno in alcune parti d’Europa) il livello di fiducia nella collettività è ancora abbastanza alto, tuttavia qualche inquieta riflessione questo modello la suscita.
Molti degli esperimenti condotti in Cina (in cui la maggioranza della popolazione non ha una storia creditizia) forse non sarebbero nemmeno ammissibili dalle nostre leggi, tuttavia è innegabile che questi modelli abbiano un elevato livello di applicabilità anche nei nostri contesti. Essi consentono ai governi e alle corporation di accedere a quantità di dati di profilazione inimmaginabili fino a qualche tempo fa, capaci di intervenire (ed influenzare) comportamenti sociali, politici ed economici.
No, il modello cinese non è Black Mirror: il social credit score rappresenta un mondo molto più complesso e inquietante di quello descritto nella puntata, perchè non si configura una “tirannia del popolo” (a cui ci hanno abituato i social network in questi ultimi anni) ma uno smisurato potere del governo e delle Corporations, per cui non è più nemmeno rilevante avere contezza di chi sta raccogliendo i dati su di noi, cosa possono farci e perché potrebbero volerlo, siamo noi a darli in cambio di pochi spiccioli.
Il brevetto di Facebook per un credit score
Qui siamo ancora lontani (forse), ma credo sia meglio ricordare che Facebook detiene un brevetto per un credit score che prende in considerazione la popolarità dei tuoi amici sul social. Compagnie di assicurazione offrono sconti alle persone che indossano fitness trackers (già realtà in UK) e sono disposte a condividere i dati di comportamento.
E’ possibile fare profiling dell’audience a partire dall’analisi dell’attività sui social sfruttando tecniche di analisi semantica e intelligenza artificiale. Insomma è più facile che mai generare, raccogliere ed elaborare enormi quantità di dati su di noi: fare soldi, certamente, ma come abbiamo visto con Cambridge Analytica, non senza serie implicazioni politiche e talora giudiziarie.
Nel 1955, lo scrittore di fantascienza Isaac Asimov pubblicò una breve storia dal titolo “Franchise” (ossia suffragio, diritto di voto) su un esperimento di “democrazia elettronica”, in cui un Multivac, un super computer, eleggeva il presidente mettendo insieme informazioni e controllando alcuni comportamenti e atteggiamenti della mente umana mediante un limitato set di domande somministrate a un modesto impiegato.
La storia di Asimov è ambientata a Bloomington, nell’Indiana, ma, oggi, evoluzioni politico-sociali come l’elezione di Donald Trump, la Brexit, l’ascesa dei partiti di estrema destra in tutta Europa e il regno del terrore di Rodrigo Duterte nelle Filippine sottolineano come queste tecniche (basate sui dati comportamentali e di popolarità che orientano le decisioni) possano creare le condizioni per pregiudicare i processi democratici, dando spazio al populismo, all’instabilità e a leadership precariamente e pericolosamente personalizzate.
Big data e intelligenza articiale: quali impatti sulla società?
Credo che nel futuro dovremo confrontarci con domande piuttosto scomode, quali: come governare efficacemente un paese sempre più multietnico e articolato, con un’economia e una società sempre più complesse, progressivamente più lontane dal dibattito pubblico, dall’attivismo civile e dai processi elettorali? Come raccogliere abbastanza informazioni per prendere effettivamente decisioni, se non dalle piazze virtuali? E un governo che non invita i suoi cittadini a partecipare e ad informarsi come potrà ancora a generare fiducia e piegare il comportamento pubblico senza mettere la polizia ad ogni angolo o senza centrare la propria leadership sulla paura?
In conclusione, tutte le tecnologie emergenti (o emerse) centrate su big data, intelligenza artificiale, deep learning… su cui stanno lavorando così tante aziende e startup, quali ricadute etiche avranno sulla nostra libertà e sulla vita di ogni giorno?
