Ja, kunstmatige intelligentie kan racistisch zijn

Alexandria Ocasio-Cortez zegt dat AI bevooroordeeld kan zijn. Ze heeft gelijk.

Getty Images/EyeEm

Open de foto-app op je telefoon en zoek de hond, en alle foto's die je hebt van honden zullen verschijnen. Dit was geen gemakkelijke prestatie. Je telefoon weet hoe een hond eruitziet.

Dit hedendaagse wonder is het resultaat van machine learning, een vorm van kunstmatige intelligentie. Programma's zoals deze kammen door miljoenen stukjes data en maken correlaties en voorspellingen over de wereld. Hun aantrekkingskracht is enorm: machines kunnen koude, harde gegevens gebruiken om beslissingen te nemen die soms nauwkeuriger zijn dan die van een mens.



Maar machine learning heeft een keerzijde. Als het niet op de juiste manier wordt gebruikt, kan het beslissingen nemen die de raciale vooroordelen in de samenleving in stand houden. Het is niet omdat de computers racistisch zijn. Het is omdat ze leren door naar de wereld te kijken zoals hij is, niet zoals hij zou moeten zijn.

Onlangs maakte de nieuw gekozen vertegenwoordiger Alexandria Ocasio-Cortez (D-NY) dit punt in een discussie op een Martin Luther King Jr. Day-evenement in New York City.

Algoritmen worden nog steeds gemaakt door mensen, en die algoritmen zijn nog steeds gekoppeld aan fundamentele menselijke aannames, vertelde ze schrijver Ta-Nehisi Coates tijdens de jaarlijkse MLK Now evenement . Het zijn gewoon geautomatiseerde aannames. En als je de vooringenomenheid niet oplost, automatiseer je gewoon de vooringenomenheid.

De volgende dag bespotte de conservatieve website de Daily Wire de opmerkingen .

Maar Ocasio-Cortez heeft gelijk, en het is de moeite waard om na te denken over waarom.

Als we niet oppassen, zal AI vooringenomenheid in onze wereld bestendigen. Computers leren racistisch, seksistisch en bevooroordeeld te zijn op dezelfde manier als een kind, als computerwetenschapper Aylin Caliskan , nu aan de George Washington University, vertelde me in een interview in 2017. De computers leren van hun makers - wij.

Veel mensen denken dat machines niet bevooroordeeld zijn, zei Caliskan, die destijds in Princeton werkte. Maar machines zijn getraind op menselijke gegevens. En mensen zijn bevooroordeeld.

We denken dat kunstmatige intelligentie onpartijdig is. Vaak is dat niet zo.

Bijna alle nieuwe consumententechnologieën maken op de een of andere manier gebruik van machine learning. Neem Google Translate: niemand heeft de software geïnstrueerd om te leren hoe Grieks naar het Frans en vervolgens naar het Engels moet worden vertaald. Het kamde door talloze lappen tekst en leerde het vanzelf. In andere gevallen doen machine learning-programma's voorspellingen over welke cv's waarschijnlijk succesvolle kandidaten opleveren, of hoe een patiënt op een bepaald medicijn zal reageren.

Machine learning is een programma dat miljarden datapunten doorzoekt om problemen op te lossen (zoals kun je het dier op de foto identificeren), maar het doet dat niet. altijd duidelijk maken hoe het heeft het probleem opgelost. En het wordt steeds duidelijker dat deze programma's vooroordelen en stereotypen kunnen ontwikkelen zonder dat we het merken.

In 2016 heeft ProPublica gepubliceerd een onderzoek naar een machine learning-programma dat rechtbanken gebruiken om te voorspellen wie waarschijnlijk een ander misdrijf zal plegen nadat het is berecht. De verslaggevers ontdekten dat de software zwarte mensen een hoger risico gaf dan blanken.

waar is maansteen van gemaakt?

Scores zoals deze - bekend als risicobeoordelingen - komen steeds vaker voor in rechtszalen in het hele land, ProPublica uitgelegd . Ze worden gebruikt om beslissingen te nemen over wie in elke fase van het strafrechtelijk systeem kan worden vrijgelaten, van het toewijzen van borgsommen … tot nog fundamentelere beslissingen over de vrijheid van verdachten.

Het programma leerde wie het meest waarschijnlijk in de gevangenis belandt op basis van echte opsluitingsgegevens. En historisch gezien was het echte strafrechtsysteem oneerlijk tegenover zwarte Amerikanen.

Dit verhaal onthult een diepe ironie over machine learning. De aantrekkingskracht van deze systemen is dat ze onpartijdige beslissingen kunnen nemen, vrij van menselijke vooringenomenheid. Als computers nauwkeurig konden voorspellen welke verdachten waarschijnlijk nieuwe misdaden zouden plegen, zou het strafrechtsysteem eerlijker en selectiever kunnen zijn over wie opgesloten zit en voor hoe lang, schreef ProPublica.

Maar wat er gebeurde, was dat programma's voor machinaal leren onze vooroordelen op grote schaal in stand hielden. Dus in plaats van dat een rechter vooroordelen had over Afro-Amerikanen, was het een robot.

Andere gevallen zijn meer dubbelzinnig. In China hebben onderzoekers gekoppeld gezichtsherkenningstechnologie met machine learning om naar rijbewijsfoto's te kijken en te voorspellen wie een crimineel is. Het beweerde een nauwkeurigheid van 89,5 procent te hebben.

Veel experts waren extreem sceptisch over de bevindingen . Welke gelaatstrekken pikte dit programma op voor de analyse? Waren het de fysieke kenmerken van bepaalde etnische groepen die in het rechtssysteem worden gediscrimineerd? Neemt het de tekenen van een laag-sociaal-economische opvoeding waar die misschien? laat een blijvende indruk achter op ons gezicht?

Het kan moeilijk zijn om te weten. (Enger: er is één startup genaamd faception die beweert dat het terroristen of pedofielen kan detecteren door alleen maar naar gezichten te kijken.)

Je hebt de algoritmen die superkrachtig zijn, maar net zo belangrijk is wat voor soort gegevens je de algoritmen geeft om ze te leren discrimineren, vertelde Princeton-psycholoog en gezichtsperceptie-expert Alexander Todorov me in een interview in 2017, terwijl hij een controversieel artikel over machine learning gebruiken om seksuele geaardheid van gezichten te voorspellen. Als je het met stront voedt, zal het uiteindelijk stront uitspugen.

enge verhalen gebaseerd op een waargebeurd verhaal

Het zijn verhalen zoals het ProPublica-onderzoek dat Caliskan ertoe bracht dit probleem te onderzoeken. Als vrouwelijke computerwetenschapper die routinematig de enige vrouw was in haar graduate schoolklassen, is ze gevoelig voor dit onderwerp.

Ze heeft op vaak subtiele manieren vooringenomenheid in machine learning zien sluipen, bijvoorbeeld in Google Translate.

Turks, een van haar moedertalen, heeft geen geslachtsvoornaamwoorden. Maar wanneer ze Google Translate gebruikt voor Turkse zinnen, eindigt het altijd als 'hij is een dokter' in een genderspecifieke taal, zei ze. In het Turkse vonnis stond niet of de dokter een man of een vrouw was. De computer ging er gewoon van uit dat als je het over een dokter hebt, het een man is.

Hoe robots impliciete vooroordelen leren

In 2017, Caliskan en collega's gepubliceerd een papier in Wetenschap die merkt dat als een computer zichzelf Engels leert, hij bevooroordeeld wordt tegen zwarte Amerikanen en vrouwen.

Kortom, ze gebruikten een algemeen machine learning-programma om door internet te kruipen, naar 840 miljard woorden te kijken en zichzelf de definities van die woorden aan te leren. Het programma doet dit door te kijken hoe vaak bepaalde woorden in dezelfde zin voorkomen. Neem het woord fles. De computer begint te begrijpen wat het woord betekent door te zien dat het vaker voorkomt naast het woord container en in de buurt van woorden die vloeistoffen zoals water of melk aanduiden.

Dit idee om robots Engels te leren, komt eigenlijk van de cognitieve wetenschap en het begrip ervan hoe kinderen taal leren. Hoe vaak twee woorden samen voorkomen, is de eerste aanwijzing die we krijgen bij het ontcijferen van hun betekenis.

Toen de computer eenmaal zijn vocabulaire had verzameld, doorliep Caliskan hem door een versie van de impliciete associatietest.

Bij mensen is de IAT bedoeld om subtiele vooroordelen in de hersenen te verbergen door te zien hoe lang het duurt voordat mensen woorden associëren. Een persoon kan snel de woorden mannelijk en ingenieur met elkaar verbinden. Maar als een persoon achterblijft bij het associëren van vrouw en ingenieur, is dit een demonstratie dat die twee termen in de geest niet nauw met elkaar verbonden zijn, wat vooringenomenheid impliceert.

Hier keek Caliskan niet naar de vertragingstijd, maar naar hoe nauw de computer dacht dat twee termen verwant waren. Ze ontdekte dat Afro-Amerikaanse namen in het programma minder geassocieerd werden met het woord prettig dan witte namen. En vrouwelijke namen werden meer geassocieerd met woorden die betrekking hadden op familie dan mannelijke namen. (Er zijn enkele betrouwbaarheidsproblemen met de IAT bij mensen, die u kunt lees hier over . Op een vreemde manier is de IAT misschien beter geschikt voor gebruik op computerprogramma's dan voor mensen, omdat mensen zijn vragen inconsistent beantwoorden, terwijl een computer elke keer hetzelfde antwoord zal geven.)

Net als een kind bouwt een computer zijn woordenschat op door hoe vaak termen samen voorkomen. Op internet worden Afro-Amerikaanse namen vaker omringd door woorden die onaangenaam zijn. Dat is niet omdat Afro-Amerikanen onaangenaam zijn. Het is omdat mensen op internet vreselijke dingen zeggen. En het laat een indruk achter op onze jonge AI.

Dit is zo'n groot probleem als je denkt.

zwarte spiegel seizoen 3 aflevering 6

De gevolgen van racistische, seksistische AI

Volgens Caliskan vertrouwen wervers van banen in toenemende mate op machine learning-programma's om een ​​eerste poging te doen bij cv's. En als er niets aan wordt gedaan, kunnen de programma's genderstereotypen leren en ernaar handelen bij hun besluitvorming.

Laten we zeggen dat een man solliciteert naar een verpleegsterpositie; hij zou minder geschikt kunnen zijn voor die positie als de machine gewoon zijn eigen beslissingen neemt, zei ze. En dit kan hetzelfde zijn voor een vrouw die solliciteert naar een functie als softwareontwikkelaar of programmeur. ... Bijna al deze programma's zijn niet open source en we kunnen niet zien wat er precies aan de hand is. We hebben dus een grote verantwoordelijkheid om te proberen te ontdekken of ze oneerlijk of bevooroordeeld zijn.

En dat wordt een uitdaging in de toekomst. AI vindt nu al zijn weg naar het gezondheidszorgsysteem en helpt artsen de juiste behandeling voor hun patiënten te vinden. (Er is vroeg onderzoek of het kan helpen) geestelijke gezondheidscrises voorspellen .)

Maar ook gezondheidsgegevens zijn gevuld met historische vooroordelen. Het is al lang bekend dat vrouwen krijgen operatie tegen lagere tarieven dan mannen . Een reden is dat vrouwen, als primaire verzorgers, minder mensen hebben om voor hen te zorgen na de operatie.

Zou AI dan een operatie tegen een lager tarief voor vrouwen kunnen aanbevelen? Het is iets om op te letten.

Dus zijn deze programma's nutteloos?

Het is onvermijdelijk dat machine learning-programma's historische patronen zullen tegenkomen die raciale of gendervooroordelen weerspiegelen. En het kan moeilijk zijn om de grens te trekken tussen wat vooringenomenheid is en wat gewoon een feit is over de wereld.

Programma's voor machinaal leren zullen het feit oppikken dat de meeste verpleegsters door de geschiedenis heen vrouwen zijn geweest. Ze zullen zich realiseren dat de meeste computerprogrammeurs mannen zijn. We suggereren niet dat je deze informatie moet verwijderen, zei Caliskan. Het kan de software zelfs volledig breken.

In plaats daarvan vindt Caliskan dat er meer waarborgen moeten komen. Mensen die deze programma's gebruiken, moeten zich constant afvragen: waarom krijg ik deze resultaten? en controleer de uitvoer van deze programma's op vooringenomenheid. Ze moeten goed nadenken of de gegevens die ze verzamelen historische vooroordelen weerspiegelen. Caliskan geeft toe dat de best practices voor het bestrijden van vooringenomenheid in AI nog steeds worden uitgewerkt. Het vereist een onderzoeksagenda op lange termijn voor computerwetenschappers, ethici, sociologen en psychologen, zei ze.

Maar op zijn minst moeten de mensen die deze programma's gebruiken zich bewust zijn van deze problemen, en niet als vanzelfsprekend aannemen dat een computer een minder bevooroordeeld resultaat kan produceren dan een mens.

En over het algemeen is het belangrijk om te onthouden: AI leert over hoe de wereld is geweest. Het pikt status-quo-trends op. Het weet niet hoe de wereld zou moeten zijn. Dat is aan de mens om te beslissen.