Hoe zoekmachines ons racistischer maken

Een nieuw boek laat zien hoe de zoekalgoritmen van Google stilletjes racistische stereotypen versterken.

Getty Images/EyeEm

Maken zoekmachines ons racistischer?

Volgens Safiya Umoja Noble, een professor in communicatie aan de University of Southern California, is het antwoord vrijwel zeker ja.



in welke staten kunt u loterijwinsten claimen via een trust

Noble's nieuwe boek, Algoritmen van onderdrukking: hoe zoekmachines racisme versterken , daagt het idee uit dat zoekmachines zoals Google een gelijk speelveld bieden voor alle ideeën, waarden en identiteiten. Ze zegt dat ze inherent discriminerend zijn en de voorkeur geven aan de groepen die ze hebben ontworpen, evenals de bedrijven die ze financieren.

Dit is geen triviaal onderwerp, vooral niet in een wereld waar mensen meer informatie van zoekmachines krijgen dan van leraren of bibliotheken. Voor Noble vertelt Google mensen niet alleen wat ze willen weten, maar bepaalt het ook wat de moeite waard is om te weten.

Ik heb vorige week contact opgenomen met Noble om erachter te komen wat ze had geleerd over de onzichtbare factoren die deze algoritmen aandrijven, en wat de gevolgen zouden kunnen zijn als ze worden genegeerd.

Een licht bewerkte transcriptie van ons gesprek volgt.

Sean Illing

Wat beweer je in dit boek?

Safiya United Noble

Ik beweer dat grote, multinationale online advertentieplatforms geen vertrouwde, geloofwaardige openbare informatieportalen zijn. De meeste mensen zien Google en zoekmachines in het bijzonder als een openbare bibliotheek, of als een vertrouwde plek waar ze nauwkeurige informatie over de wereld kunnen krijgen. Ik geef veel voorbeelden om de ongelooflijke invloed van advertentiedollars op het soort dingen dat we vinden te laten zien, en ik laat zien hoe bepaalde mensen en gemeenschappen verkeerd worden voorgesteld om geld te verdienen op deze platforms.

Sean Illing

Wie wordt verkeerd voorgesteld en hoe?

Safiya United Noble

Ik begon het boek enkele jaren geleden door collectief te zoeken op trefwoorden rond verschillende gemeenschapsidentiteiten. Ik deed online zoekopdrachten op zwarte meisjes, Aziatische meisjes en Latina-meisjes en ontdekte dat pornografie de belangrijkste manier was waarop ze werden weergegeven op de eerste pagina met zoekresultaten. Dat lijkt geen erg eerlijke of geloofwaardige weergave te zijn van gekleurde vrouwen in de Verenigde Staten. Het reduceert ze tot geseksualiseerde objecten.

Dus dat roept de vraag op: wat gebeurt er in deze zoekmachines? Wat zijn de goed gefinancierde, goed gekapitaliseerde industrieën achter hen die zoekwoorden kopen en hun invloed gebruiken om mensen en ideeën op deze manier te vertegenwoordigen? Het boek was mijn poging om deze vragen te beantwoorden.

Sean Illing

Oké, dus op het moment dat je dit onderzoek deed, als iemand naar Google ging en naar zwarte vrouwen zocht, zouden ze een heleboel pornografie krijgen. Wat gebeurt er als ze blanke meisjes of blanke vrouwen intypen? Of als ze zoeken naar wat een universele categorie zou moeten zijn, zoals mooie mensen?

Safiya United Noble

Nu heeft Google hier gelukkig op gereageerd. Ze onderdrukten veel porno, deels omdat we ons hier al zes of zeven jaar over uitspreken. Maar als je vandaag naar Google gaat en zoekt naar Aziatische meisjes of Latina-meisjes, zul je nog steeds de hypergeseksualiseerde inhoud vinden.

ariana grande pete davidson verlovingsring

Als je lange tijd afbeeldingen zocht op het woord mooi, zou je schaars geklede afbeeldingen krijgen van bijna uitsluitend blanke vrouwen in bikini of lingerie. De voorstellingen waren overwegend blanke vrouwen.

Mensen vragen vaak wat er gebeurt als je blanke meisjes zoekt. Blanke vrouwen identificeren zich doorgaans niet als wit; ze zien zichzelf gewoon als meisjes of vrouwen of individuen. Ik denk dat wat je daar ziet de blik is van gekleurde mensen die naar blanke vrouwen en meisjes kijken en witheid als een identiteit benoemen, iets dat je blanke vrouwen meestal niet zelf ziet doen.

Sean Illing

Deze zoekalgoritmen selecteren niet alleen aan welke informatie we worden blootgesteld; ze bevestigen aannames over welke informatie in de eerste plaats de moeite waard is om te weten. Dat is misschien wel het meest verraderlijke hiervan.

Safiya United Noble

Er is een dominant mannelijk, op het Westen gericht gezichtspunt dat wordt gecodeerd in de organisatie van informatie. U moet onthouden dat een algoritme slechts een geautomatiseerde beslisboom is. Als deze trefwoorden aanwezig zijn, moeten er verschillende veronderstellingen worden gemaakt over waarnaar moet worden verwezen in alle biljoenen pagina's die op internet bestaan.

En die beslissingen correleren altijd met de relatie van adverteerders met het platform. Google heeft een enorm imperium genaamd AdWords, en mensen bieden in een realtime veiling om hun inhoud te optimaliseren.

Dat model - waarbij informatie naar de hoogste bieder gaat - zal altijd de mensen bevoorrechten die over de meeste middelen beschikken. En dat betekent dat mensen die niet veel middelen hebben, zoals kinderen, nooit volledige controle zullen hebben over de manier waarop ze worden weergegeven, gezien de logica en mechanismen van hoe zoekmachines werken.

Sean Illing

In het boek praat je over hoe racistische websites zoekmachines gebruikten om het verhaal rond Martin Luther King Jr. te beheersen, zodat als je naar MLK zocht, je links zou vinden naar propaganda van blanke supremacisten. U spreekt hier ook over de inzet en wijst naar: Dylann Dak als voorbeeld.

Safiya United Noble

In zijn manifest heeft Dylann Roof een tirade tegen mensen van kleur, en hij zegt dat de eerste gebeurtenis die hem echt wakker maakte, het Trayvon Martin-verhaal was. Hij zegt dat hij naar Google ging en een zoekopdracht deed naar zwart-op-witcriminaliteit. Nu weten de meesten van ons dat zwart-op-witcriminaliteit geen Amerikaanse epidemie is - dat in feite de meeste misdaad plaatsvindt binnen een gemeenschap. Maar dat is een aparte discussie.

Dus Roof gaat naar Google en plaatst een blanke nationalistische rode haring (zwart-op-wit misdaad.) En natuurlijk brengt het hem onmiddellijk naar blanke supremacistische websites, die hem op zijn beurt in een racistisch konijnenhol van samenzwering en verkeerde informatie brengen. Vaak zijn deze racistische websites ontworpen om geloofwaardig en goedaardig te lijken, deels omdat dat hen helpt de algoritmen te spelen, maar ook omdat het veel mensen ervan overtuigt dat de informatie waarheidsgetrouw is.

Dit is hoe Roof radicaliseert. Hij zegt dat hij meer te weten komt over de ware geschiedenis van Amerika, en over het rassenprobleem en het Joodse probleem. Hij leert dat alles wat hij ooit op school is geleerd een leugen is. En dan zegt hij, naar eigen zeggen, dat hij hierdoor steeds meer onderzoek doet, waarvan we ons alleen maar kunnen voorstellen dat het online is, en dit leidt tot zijn raciale bewustzijn.

En nu weten we dat hij kort daarna de Mother Emanuel AME Church in Charleston, South Carolina binnenstapt en negen Afro-Amerikaanse gelovigen in koelen bloede vermoordt om een ​​rassenoorlog te beginnen.

ik heb het net uitgemaakt met mijn ex

Dus de ideeën die mensen online tegenkomen, doen er echt toe. Het is belangrijk dat Dylann Roof de FBI-statistieken niet heeft gezien die de waarheid vertellen over hoe misdaad in Amerika werkt. Het gaat erom dat hij geen contrapunten kreeg. Het gaat erom dat mensen zoals hij zonder weerstand of context in deze richting worden geduwd.

Sean Illing

Ik vermoed dat deze algoritmen niet zijn ontworpen om dit effect te produceren, maar ik weet het eerlijk gezegd niet. Wat drijft het besluitvormingsproces? Gaat het hier puur om commerciële belangen?

Safiya United Noble

Het is moeilijk om precies te weten wat de prioriteiten van Google zijn, omdat het zoekalgoritme van Google eigendom is, dus niemand kan het algoritme echt begrijpen, behalve door naar de uitvoer te kijken. Wij allen die dit bestuderen doen het door naar de eindresultaten te kijken, en dan proberen we het zo goed mogelijk te reverse-engineeren.

Maar ja, het is vrij duidelijk dat de uiteindelijke drijfveer van technologiebedrijven zoals Google winst is. Ik kan me niet voorstellen dat een stel racisten bij Google aan tafel zitten om manieren te bedenken om een ​​racistisch product te maken, maar wat er echter gebeurt, is dat ingenieurs gewoon niet nadenken over de sociale gevolgen van hun werk. Ze ontwerpen technologieën voor de samenleving en ze weten niets van de samenleving af.

In zijn eigen marketingmateriaal zegt Google dat er meer dan 200 verschillende factoren zijn die bepalen welk type inhoud ze opduiken. Ik weet zeker dat ze hun eigen maatstaven hebben die relevant zijn voor wat ze denken dat mensen willen. Natuurlijk gebruiken ze ook voorspellende technologieën, zoals autosuggestie, waarbij ze de lege plekken invullen. Ze doen dat op basis van wat andere mensen in het verleden hebben bekeken of aangeklikt.

Ze ontwerpen technologieën voor de samenleving, en ze weten niets over de samenleving

Sean Illing

Maar de autosuggestietool garandeert dat meerderheidsperspectieven consequent bevoordeeld worden boven anderen, toch?

Safiya United Noble

Rechts. Mensen die een numerieke minderheid in de samenleving vormen, zullen dit soort logica van meerderheidsregels nooit in hun voordeel kunnen gebruiken. De meerderheid zal altijd de noties kunnen beheersen van wat belangrijk is, of wat belangrijk is om op te klikken, en dat is niet hoe het informatielandschap zou moeten werken.

Sean Illing

Ik weet zeker dat sommige mensen zullen tegenspreken en zeggen dat dit in wezen neutrale platforms zijn, en als ze bevooroordeeld zijn, zijn ze bevooroordeeld vanwege de menselijke gebruikers waaruit ze bestaan. Met andere woorden, het probleem is niet het platform; het zijn de mensen.

Safiya United Noble

Het platform bestaat omdat het door mensen is gemaakt. Het kwam niet uit een buitenaards ruimtevaartuig. Het is gemaakt door mensen, en de mensen die het maken zijn bevooroordeeld, en ze coderen hun vooroordelen in zoekopdrachten. Hoe kunnen deze dingen hun oordeel niet informeren?

Het is dus oneerlijk om te suggereren dat het platform gewoon op zichzelf bestaat, en dat de enige mensen die het kunnen manipuleren of beïnvloeden de mensen zijn die het gebruiken, terwijl de makers van het platform in feite de primaire bron van verantwoordelijkheid zijn. Ik zou zeggen dat er zowel makers als gebruikers van een platform zijn. Ze moeten verantwoordelijkheid nemen voor hun creaties.