De verklaring van één opiniepeiler voor waarom de peilingen het bij het verkeerde eind hadden

Het soort mensen dat peilingen beantwoordt, is echt raar, en het verpest peilingen.

V.S.-PRESIDENTILE VERKIEZING

Kiezers staan ​​op 3 november in de rij om hun stem uit te brengen in een stembureau in Kenosha, Wisconsin.

Xinhua/Joel Lerner via Getty Images

Wat is er dit jaar in godsnaam met de peilingen gebeurd?



Ja, de peilingen voorspelden correct dat Joe Biden het presidentschap zou winnen. Maar ze kregen allerlei details, en een aantal senaatsraces, helemaal verkeerd. VijfdertigAcht' s opiniepeilingsmodellen voorspelden dat Biden Wisconsin met 8,3 punten zou winnen; met in principe alle stemmen binnen, he gewonnen met slechts 0,63 procent , een misser van meer dan 7 punten. In de Maine Senaat race, VijfdertigAcht schatte dat Democraat Sara Gideon de Republikeinse zittende Susan Collins met 2 punten zou verslaan; Gideon verloor met 9 punten , een misser van 11 punten.

De voorsprong van Biden was robuust genoeg om zelfs met dit soort verkiezingsfouten stand te houden, maar de leads van kandidaten zoals Gideon (of blijkbaar, hoewel het nog niet officieel heet, Cal Cunningham in North Carolina) waren dat niet. Nog niet alle stemmen zijn geteld, wat de schattingen van de verkiezingsmissers zou kunnen veranderen, maar een misser is al duidelijk in staten als Wisconsin en Maine, waar de stemmen bijna allemaal binnen zijn.

bekijk olympische openingsceremonie 2018 online

Om te proberen de enorme mislukking van de peiling dit jaar te begrijpen, reikte ik de slimste peilingman die ik ken aan: David Shoro , een onafhankelijke data-analist die een veteraan is van de presidentiële campagnes van Obama, die voorheen een grootschalig webgebaseerd onderzoek uitvoerde bij Civiele analyse voor vertrek eerder dit jaar. Hij werkt nu met het adviseren van super PAC's over het testen van advertenties. Sinds 2016 probeert Shor mij, en eigenlijk iedereen die wil luisteren, een bepaalde theorie te verkopen over wat er dat jaar mis ging bij de peiling, en wat hij denkt dat er fout ging bij de peilingen in 2018 en 2020.

De theorie is dat het soort mensen dat peilingen beantwoordt systematisch verschilt van het soort mensen dat weigert peilingen te beantwoorden - en dat dit onlangs begonnen is de peilingen op een systematische manier te beïnvloeden.

Dit daagt een kernpremisse van peilingen uit, namelijk dat je de antwoorden van peilingen kunt gebruiken om de opvattingen van de bevolking in het algemeen af ​​te leiden - en dat als er verschillen zijn tussen peilingen en niet-peilers, ze statistisch kunnen worden gecontroleerd op door te wegen volgens ras, opleiding, geslacht, enzovoort. (Weging verhoogt of verlaagt het belang van antwoorden van bepaalde groepen in een peiling om beter overeen te komen met hun aandeel in de werkelijke populatie.) Als deze twee groepen systematisch van elkaar verschillen, betekent dit dat de resultaten vertekend zijn.

De veronderstelling dat respondenten en non-respondenten in principe gelijkaardig zijn, was ooit goed gewogen, en was toen ongeveer gelijk - en vanaf 2016 werd het heel erg verkeerd. Mensen die geen peilingen beantwoorden, stelt Shor, hebben over het algemeen weinig vertrouwen in andere mensen. Deze mensen met weinig vertrouwen stemden vroeger op dezelfde manier als alle anderen. Maar vanaf 2016 doen ze dat niet meer: ​​ze stemmen meestal op Republikeinen.

Nu, anno 2020, stelt Shor dat de verschillen tussen poll-respondenten en non-respondenten nog groter zijn geworden. Gedeeltelijk als gevolg van de opschudding van Covid-19, zijn democraten, en met name zeer maatschappelijk betrokken democraten die doneren aan en vrijwilligerswerk doen voor campagnes, waarschijnlijker geworden om peilingen te beantwoorden. Het is iets om te doen als we ons allemaal vervelen, en het voelt maatschappelijk nuttig. Dit bevooroordeelde de peilingen, betoogt Shor, op een manier die zelfs de beste peilingen (inclusief de zijne) moeilijk konden verklaren.

De liberaal-democraten beantwoordden meer peilingen, dus de peilingen waren oververtegenwoordigd door de liberale democraten en hun standpunten (zelfs na weging), en dus gaven de peilingen Biden en de senaatsdemocraten een te hoge winkans.

Shor en ik spraken op 5 november via Zoom over de peilingmisser van 2020, hoe hij probeert te voorkomen dat het opnieuw gebeurt (althans met zijn eigen enquête), en waarom kwalitatief onderzoek kwetsbaar is voor dezelfde problemen. Een transcriptie, bewerkt voor lengte en duidelijkheid, volgt.

Dylan Matthews

Dus, David: Wat is er dit jaar in godsnaam met de peilingen gebeurd?

David Shoro

Het basisverhaal is dus dat, vooral na Covid-19, de Democraten extreem opgewonden raakten en een zeer hoge mate van betrokkenheid hadden. Ze doneerden tegen hogere tarieven, enz., en dit vertaalde zich in het invullen van enquêtes, omdat ze thuis opgesloten zaten en niets anders te doen hadden. Er is vrij duidelijk bewijs dat dat bijna alles is: het was een partijdige non-respons. Democraten zijn net begonnen met het invullen van een aantal enquêtes [toen ze werden gebeld door opiniepeilers, terwijl de Republikeinen dat niet deden].

Om daar wat cijfers op te plakken, als je kijkt naar de eerste stemresultaten en deze vergelijkt met de kruistabellen van wat openbare peilingen zeiden dat vroege kiezers zouden worden, is het vrij duidelijk dat vroege kiezers aanzienlijk minder democratisch waren dan mensen dachten. Campagne-enquêtes kunnen deelnemers aan enquêtes daadwerkelijk toevoegen aan kiezersbestanden, en vanaf maart kan het percentage van onze enquêtedeelnemers dat bijvoorbeeld ActBlue donateurs schoten omhoog. Het gemiddelde sociale vertrouwen van de respondenten nam toe, de kernattitudes veranderden - in feite begonnen liberalen net enquêtes in te vullen tegen zeer hoge tarieven. Dat is wat er is gebeurd.

Dylan Matthews

U noemde sociaal vertrouwen. Leid me door je basistheorie over hoe mensen die ermee instemmen om enquêtes in te vullen een hoger niveau van sociaal vertrouwen hebben, en hoe dat de peilingen de afgelopen jaren heeft beïnvloed.

David Shoro

Drie cycli op rij was er een consistent patroon van opiniepeilers die de democratische steun in sommige staten overschatten en de steun in andere staten onderschatten. Dit is redelijk consistent geweest. Het gebeurde in 2018. Het gebeurde in 2020. En de reden dat dit gebeurt, is omdat de manier waarop [peilers] op dit moment peilingen doen, gewoon niet werkt.

Opiniepeiling Twitter heeft de neiging deze mystieke krachten toe te schrijven aan deze verschillende opiniepeilers. Maar ze doen allemaal erg vergelijkbare dingen. In wezen voert elke openbare opiniepeiler van hoge kwaliteit willekeurige cijfers uit. Ze bellen een aantal willekeurige nummers, ongeveer 1 procent van de mensen neemt de telefoon op, en dan vragen ze dingen als opleiding, leeftijd, ras en geslacht, soms grootte van het huishouden. En dan wegen ze het op tot de telling, omdat de telling zegt hoeveel volwassenen al die dingen doen. Dat werkt als mensen die enquêtes beantwoorden dezelfde zijn als mensen die dat niet doen, als je eenmaal controle hebt over leeftijd, ras en geslacht en al deze andere dingen.

Maar het blijkt dat mensen die enquêtes beantwoorden echt raar zijn. Ze zijn aanzienlijk meer politiek geëngageerd dan normaal. Ik heb een vijffactortest gedaan [ een soort persoonlijkheidsonderzoek ] en ze hebben veel hogere vriendelijkheid [een maatstaf voor hoe coöperatief en warm mensen zijn], wat logisch is, als je letterlijk nadenkt over wat er gebeurt.

Ze hebben ook een hoger niveau van sociaal vertrouwen. ik gebruik de De vraag van de algemene sociale enquête , dat wil zeggen, zou u in het algemeen zeggen dat de meeste mensen te vertrouwen zijn of dat u niet voorzichtig genoeg kunt zijn in de omgang met mensen? De manier waarop de GSS werkt, is dat ze tonnen mensen inhuren om persoonlijke antwoorden te krijgen. Ze krijgen een 70 procent responspercentage . We kunnen in principe geloven wat ze zeggen.

In de GSS blijkt dat 70 procent van de mensen zegt dat mensen niet te vertrouwen zijn. En als je telefonische enquêtes doet en je weegt, krijg je dat 50 procent van de mensen zegt dat mensen te vertrouwen zijn. Het is een behoorlijk grote kloof. [Socioloog] Robert Putnam hebben hier eigenlijk wat onderzoek naar gedaan, maar mensen die mensen niet vertrouwen en instellingen niet vertrouwen, zullen veel minder snel telefonische enquêtes beantwoorden. Niet verwonderlijk! Dit is altijd waar geweest. Vroeger maakte het gewoon niet uit.

we moeten de politie afschaffen

Vroeger stemden mensen die hun buren vertrouwden in principe hetzelfde als mensen die hun buren niet vertrouwden, als je eenmaal controle had over leeftijd en ras en geslacht en opleiding. Maar toen, vanaf 2016, veranderde dat plotseling. Als je kijkt naar blanke mensen zonder universitaire opleiding, dan neigden niet-universitaire blanken met veel vertrouwen naar [democraten], en weinig vertrouwende niet-universitaire blanken keerden zich zwaar tegen ons. In 2016 peilden we dit electoraat met veel vertrouwen, dus we overschatten Clinton. Deze mensen met weinig vertrouwen stemmen nog steeds, zelfs als ze deze telefonische enquêtes niet beantwoorden.

Dylan Matthews

Dus dat is 2016. Hetzelfde verhaal in 2018 en 2020?

David Shoro

Dezelfde vooroordelen deden zich opnieuw voor in 2018, wat mensen niet opmerkten omdat de Democraten toch wonnen. Wat anders is aan deze cyclus, is dat de nationale peilingen in 2016 en 2018 in principe gelijk hadden. Deze keer zullen we zien wanneer alle stembiljetten worden geteld, maar de nationale peilingen waren behoorlijk fout. Als je kijkt naar waarom, denk ik dat het antwoord gerelateerd is, namelijk dat mensen die telefonische enquêtes beantwoorden aanzienlijk meer politiek geëngageerd zijn dan de totale bevolking.

Als u overeenkomt met de stemgeschiedenis, stemt letterlijk 95 procent van de mensen die telefonische enquêtes beantwoorden. Dat is het probleem met waarschijnlijke kiezersschermen [die peilingen proberen te verbeteren door ze te beperken tot de meest waarschijnlijke respondenten om te stemmen]. Als u zich beperkt tot mensen die nog nooit eerder bij een verkiezing hebben gestemd, stemt 70 procent van de deelnemers aan de telefonische enquête. Als je je beperkt tot mensen die zeggen dat ze dat zullen doen? zeker niet stemmen, 76 procent van die mensen stemt.

Normaal gesproken maakt dat niet uit, want politiek engagement is eigenlijk niet super gecorreleerd met partijdigheid. Dat is normaal gesproken waar, en als dat niet het geval was, zouden de peilingen volledig breken. In 2020 gingen ze kapot. Er waren zeer, zeer hoge niveaus van politieke betrokkenheid van liberalen tijdens Covid. Je kunt aan de gegevens zien dat het rond maart echt is gebeurd. De openbare peilingen in de Senaat van de Democraten begonnen in maart te stijgen. Liberalen zaten vanwege Covid opgesloten en dus begonnen ze meer enquêtes te beantwoorden en meer betrokken te zijn.

Dit leidt tot iets dat echt eng is aan peilingen, namelijk dat peilingen fundamenteel zijn gebaseerd op de veronderstelling dat mensen die enquêtes beantwoorden dezelfde zijn als mensen die dat niet doen, als je eenmaal genoeg voorwaarden hebt gesteld. Dat kan op elk moment waar zijn. Maar deze dingen die we proberen te meten, veranderen voortdurend. En zo kun je een methode die in eerdere cycli werkte, plotseling laten breken.

Dylan Matthews

Waarom kan je dat niet gewoon oplossen door te wegen? Waarom niet gewoon de resultaten controleren door seksuele geaardheid of religie om dat probleem te omzeilen?

David Shoro

U kunt van de GSS bijvoorbeeld weten hoeveel mensen in het hele land een laag sociaal vertrouwen hebben. Maar dat vertelt u niet - hoe zit het met waarschijnlijke kiezers? Of hoe zit het met waarschijnlijke kiezers in het 13e congresdistrict van Ohio? Hoe valt dat uit per ras of geslacht of opleiding? Hoe verhoudt zich dat tot de opkomst? Al dat spul wordt behoorlijk moeilijk.

Er is een reden waarom opiniepeilers niet alles meewegen. Stel dat je 800 reacties hebt. Hoe meer variabelen u meet, hoe kleiner uw effectieve steekproefomvang is. Zodra het aantal dingen waar je controle over hebt voorbij een bepaald punt stijgt, beginnen traditionele technieken te falen en moet je machine learning en modellering gaan doen.

Dit is het grotere punt over de industrie die ik probeer te maken. Er was een wereld waarin peilingen bestonden uit het bellen van mensen, het toepassen van klassieke statistische aanpassingen en het leggen van de meeste nadruk op interpretatie. Nu hebt u kiezersbestanden en eigen first-party data en teams van machine learning-engineers nodig. Het is een veel moeilijker probleem geworden.

Dylan Matthews

Een reactie die ik heb gezien van meerdere kwartalen is dat 2020 laat zien dat kwantitatieve methoden niet voldoende zijn om het electoraat te begrijpen, en opiniepeilers moeten meer doen om etnografische technieken, diepgaande interviews, enz. op te nemen. In zekere zin stelt u het tegenovergestelde voor: opiniepeilers moeten veel geavanceerder worden in hun kwantitatieve methoden om de vooroordelen te overwinnen die de peilingen dit jaar hebben verwoest. Begrijp ik dat goed?

wettelijke leeftijd voor trick or treat

David Shoro

Ik bedoel, ik ben geen robot. Kwalitatief onderzoek en interpretatie zijn belangrijk voor het winnen van verkiezingen. Maar ik denk dat het een misverstand is waarom peilingen verkeerd waren.

Veel mensen denken dat de reden waarom de peilingen verkeerd waren, te wijten was aan verlegen Trump-kiezers. Je praat met iemand, ze zeggen dat ze onbeslist zijn, of ze zeggen dat ze op Biden gaan stemmen, maar het was niet echt. Dan, als je een focusgroep had, zouden ze misschien zeggen: ik stem op Biden, maar ik weet het niet. En dan zou je etnograaf de onzekerheid kunnen lezen en besluiten: Oké, dit is niet echt een stevige Biden-kiezer. Dat soort dingen is erg trendy als verklaring.

Maar dat is niet waarom de peilingen verkeerd waren. Het is gewoon niet. Mensen vertellen de waarheid als je ze vraagt ​​op wie ze stemmen. Gemiddeld doen ze dat echt. De reden waarom de peilingen verkeerd zijn, is omdat de mensen die deze enquêtes beantwoordden de verkeerde mensen waren. Als je etnografisch onderzoek doet, als je deze focusgroepen probeert te rekruteren, krijg je dezelfde vooroordelen. Ze rekruteren focusgroepen door mensen te bellen! Enquêtes zijn raar. Mensen in focusgroepen zijn nog vreemder. Kwalitatief onderzoek lost het probleem niet op dat de ene groep mensen heel, heel enthousiast is om hun mening te delen, terwijl een andere groep dat niet is. Zolang die vooringenomenheid bestaat, zal het doordringen tot wat je ook doet.