Sommige AI zou gewoon niet moeten bestaan

Pogingen om vooringenomen AI te corrigeren, kunnen zwarte, homoseksuele en transgender mensen zelfs schaden.

Een live demonstratie maakt gebruik van gezichtsherkenning in een dichte menigte op een Horizon Robotics-tentoonstelling in 2019.

Een live demonstratie maakt gebruik van gezichtsherkenning in een dichte menigte op een Horizon Robotics-tentoonstelling in 2019.

David McNew/AFP/Getty Images

Dit verhaal maakt deel uit van een groep verhalen genaamd Toekomst perfect

De beste manieren vinden om goed te doen.



Menselijke vooroordelen kunnen in AI-systemen sijpelen. Amazon heeft een wervingsalgoritme verlaten nadat was aangetoond dat de cv's van mannen de voorkeur gaven boven die van vrouwen; onderzoekers concludeerden een algoritme dat wordt gebruikt bij veroordelingen in de rechtszaal was milder voor blanke mensen dan voor zwarte mensen; een onderzoek wees uit dat hypotheek algoritmen discrimineren Latino en Afro-Amerikaanse leners.

De technische industrie weet dit, en sommige bedrijven, zoals IBM , geven ondoordachte toolkits vrij om het probleem aan te pakken. Deze bieden manieren om te scannen op vooringenomenheid in AI-systemen - bijvoorbeeld door de gegevens te onderzoeken waarop ze zijn getraind - en deze aan te passen zodat ze eerlijker zijn.

Maar die technische debiasing is niet genoeg, en kan mogelijk leiden tot nog meer schade, volgens a nieuw rapport van het AI Now Institute .

De drie auteurs zeggen dat we aandacht moeten besteden aan hoe de AI-systemen in de echte wereld worden gebruikt, zelfs nadat ze technisch zijn ontkracht. En we moeten accepteren dat sommige AI-systemen helemaal niet moeten worden ontworpen.

is mannelijke kaalheid dominant of recessief

De gezichtsherkenningssystemen die misschien niet meer te repareren zijn

Gezichtsherkenningstechnologie is redelijk goed in het identificeren van blanke mensen, maar het is notoir slecht in het herkennen van zwarte gezichten. Dat kan zeer aanstootgevende gevolgen hebben - zoals wanneer? Het beeldherkenningssysteem van Google bestempelde Afro-Amerikanen als gorilla's in 2015. Maar aangezien deze technologie nu wordt gebruikt bij politiesurveillance, dat zich onevenredig richt op mensen van kleur, willen we misschien niet echt dat het zo goed wordt in het identificeren van zwarte mensen. Als Zoé Samudzi schreef onlangs in de Daily Beast :

In een land waar misdaadpreventie zwartheid al associeert met inherente criminaliteit, waarom zouden we vechten om onze gezichten leesbaarder te maken voor een systeem dat is ontworpen om ons te controleren? … Het is geen sociale vooruitgang om zwarte mensen even zichtbaar te maken voor software die onvermijdelijk verder tegen ons zal worden bewapend.

Met andere woorden, ervoor zorgen dat een AI-systeem voor iedereen even goed werkt, betekent niet dat het ook even goed werkt voor iedereen. Hoewel het rapport niet expliciet zegt dat we de gezichtsherkenningssystemen die worden gebruikt voor politiesurveillance moeten schrappen, benadrukt het wel dat we niet kunnen aannemen dat diversificatie van hun datasets het probleem zal oplossen - het kan het alleen maar verergeren.

is twee biertjes per dag slecht?

Gezichtsherkenningstechnologie heeft ook problemen veroorzaakt voor transgenders. Bijvoorbeeld, sommige trans Uber-chauffeurs hun accounts zijn opgeschort omdat het bedrijf een gezichtsherkenningssysteem gebruikt als ingebouwde beveiligingsfunctie, en het systeem is slecht in het identificeren van de gezichten van mensen die overstappen. Van de app af worden getrapt kostte de trans chauffeurs tarieven en kostte hen effectief een baan.

Is hier de oplossing om de bias in het AI-systeem te corrigeren door ervoor te zorgen dat veel transgenders worden opgenomen in de trainingsgegevens? Nogmaals, debiasing klinkt misschien leuk - totdat je je realiseert dat dat zou betekenen dat je tonnen gegevens moet verzamelen over een gemeenschap die reden heeft om zich extreem ongemakkelijk te voelen bij het verzamelen van gegevens.

Een paar jaar geleden, een professor computerwetenschappen die software wilde trainen om mensen te herkennen die hormoonvervangende therapie ondergaan verzamelde video's van trans YouTubers zonder hun toestemming . Hij kreeg veel pushback, zoals The Verge meldde:

Danielle, die in de dataset voorkomt en wiens overgangsfoto's daardoor in wetenschappelijke artikelen verschijnen, zegt dat er nooit contact met haar is opgenomen over haar opname. Ik 'verberg' mijn identiteit geenszins ... Maar dit voelt als een schending van de privacy ... Iemand die in 'identiteitswetenschappen' werkt, zou de implicaties moeten begrijpen van het identificeren van mensen, met name degenen wier identiteit hen een doelwit kan maken (dwz transgenders in het leger die er misschien niet uit is).

In plaats van zich bezig te houden met invasieve, niet-consensuele massale gegevensverzameling in de naam van het repareren van een AI-systeem, kunnen bedrijven zoals Uber er beter aan doen om gewoon een andere manier van accountverificatie toe te staan ​​voor transchauffeurs, stelt het nieuwe rapport. Zelfs als een bedrijf erop staat om een ​​gezichts-ID-aanmeldingssysteem voor zijn werknemers te gebruiken, is er geen reden dat dit de enige optie zou moeten zijn.

Algoritmische gaydar-systemen mogen niet worden gebouwd. Punt uit.

Er zijn ook herhaalde pogingen geweest om gezichtsherkenningsalgoritmen te maken die kunnen zien of iemand homo is. in 2017, een studie van Stanford University beweerde dat een algoritme 81 procent van de tijd nauwkeurig onderscheid kon maken tussen homo's en hetero's op basis van headshots. Het beweerde 74 procent nauwkeurigheid voor vrouwen. De studie maakte gebruik van online datingfoto's van mensen (de auteurs wilden niet zeggen van welke site) en testte het algoritme alleen op blanke gebruikers, waarbij ze beweerden dat er niet genoeg gekleurde mensen konden worden gevonden.

Dit is op zoveel niveaus problematisch: het gaat ervan uit dat seksualiteit binair is en dat het duidelijk leesbaar is in onze gelaatstrekken. En zelfs als het mogelijk zou zijn om queer-seksualiteit op deze manier te detecteren, wie zou er dan baat bij hebben als een algoritmische gaydar algemeen beschikbaar zou komen? Absoluut geen queer mensen, die tegen hun wil zouden kunnen worden uitgelachen, ook niet door regeringen in landen waar seks met partners van hetzelfde geslacht strafbaar is. Zoals Ashland Johnson, directeur van openbaar onderwijs en onderzoek van de Human Rights Campaign, zet het :

Stel je eens voor wat de mogelijke gevolgen zijn als dit gebrekkige onderzoek zou worden gebruikt om de inspanningen van een meedogenloos regime te ondersteunen om mensen te identificeren en/of te vervolgen waarvan ze dachten dat ze homoseksueel waren. Stanford zou afstand moeten nemen van dergelijke rommelwetenschap in plaats van zijn naam en geloofwaardigheid te verlenen aan onderzoek dat gevaarlijk gebrekkig is en de wereld - en in dit geval het leven van miljoenen mensen - slechter en minder veilig maakt dan voorheen.

Een van de auteurs van het AI Now-rapport, Sarah Myers West, zei in een persoproep dat dergelijke algoritmische gaydar-systemen niet gebouwd mogen worden, zowel omdat ze gebaseerd zijn op pseudowetenschap als omdat ze LGBTQ-mensen in gevaar brengen. De onderzoekers zeggen: 'We doen dit gewoon omdat we willen laten zien hoe eng deze systemen kunnen zijn', maar dan leggen ze in detail uit hoe je zo'n systeem zou maken, zei ze.

Co-auteur Kate Crawford noemde andere problematische voorbeelden, zoals pogingen om criminaliteit voorspellen via gelaatstrekken en naar de competentie van werknemers beoordelen op basis van micro-expressies. Het bestuderen van fysieke verschijning als een proxy voor karakter doet denken aan de donkere geschiedenis van de rassenwetenschap, zei ze, in het bijzonder het ontmaskerde veld van de frenologie dat karaktertrekken probeerde af te leiden uit schedelvorm en was ingeroepen door blanke supremacisten in het 19e-eeuwse Amerika .

welke app voor het bezorgen van eten is het populairst in mijn regio

We zien dat deze systemen patronen van raciale en gendervooroordelen repliceren op manieren die onrecht kunnen verdiepen en zelfs rechtvaardigen, waarschuwde Crawford, waarbij hij opmerkte dat gezichtsherkenningsdiensten hebben aangetoond dat meer negatieve emoties (zoals woede) voor zwarte mensen dan voor witte mensen omdat menselijke vooroordelen in de trainingsgegevens sluipen.

Om al deze redenen is er een groeiende erkenning onder wetenschappers en voorstanders dat sommige vooringenomen AI-systemen niet moeten worden gerepareerd, maar moeten worden opgegeven. Zoals co-auteur Meredith Whittaker zei: we moeten verder kijken dan technische oplossingen voor sociale problemen. We moeten ons afvragen: wie heeft de macht? Wie is benadeeld? Wie profiteert? En wie mag uiteindelijk beslissen hoe deze tools worden gebouwd en welke doelen ze dienen?


Schrijf je in voor de Future Perfect nieuwsbrief. Twee keer per week krijg je een overzicht van ideeën en oplossingen voor het aanpakken van onze grootste uitdagingen: het verbeteren van de volksgezondheid, het verminderen van menselijk en dierlijk lijden, het verminderen van catastrofale risico's en - om het simpel te zeggen - beter worden in goed doen.