Computers zijn meer bevooroordeeld (en dus menselijker) dan je denkt
Impliciete vooroordelen maken onderdeel uit van taal. Zo associëren we met bloemen sneller positieve woorden en hebben we met insecten negatievere associaties. Vrij onschuldige voorbeelden. Maar het kan ook een verderfelijk effect hebben, zo bleek onder andere uit onderzoek naar discriminatie op de arbeidsmarkt. Een Jamal werd minder snel aangenomen dan een Greg.
Uit recent onderzoek aan de Princeton University is gebleken dat computers deze menselijke vooroordelen overnemen wanneer zij een menselijke taal ‘leren’. De onderzoekers lieten zien dat een computer precies dezelfde woordassociaties maakt als mensen. Bijvoorbeeld mannennamen die sterker geassocieerd werden met ‘management’ en ‘salaris’ en vrouwennamen meer met ‘thuis’ en ‘familie’.
De auteurs deden onderzoek naar machine learning algorithm, waarbij de computer ‘leert’ van voorbeelden, zonder expliciet geprogrammeerd te worden. Veel software, zoals Google’s Interface en Apple’s Siri, maken gebruik van dit soort computerprogramma’s. Bij het onderzoek leerde de computerprogramma’s de taal van bijna een triljoen niet specifiek geselecteerde Engelse teksten van het internet. In tegenstelling tot door mensen geprogrammeerde software, is het niet mogelijk het programma bepaalde dingen – zoals kwalijke vooroordelen – niet over te laten nemen.
Omdat algoritmes in toenemende mate een rol spelen in het maken van beslissingen op het gebied van onder meer de gezondheidszorg, het strafrecht en overheidsbeleid is het volgens de onderzoekers van belang dat de gebruikers bewust zijn van de vooroordelen die meespelen. Eerder dit jaar werd er door ProPublica een verhaal gepubliceerd dat demonstreerde hoe racistische vooroordelen een rol speelde bij software die potentiële criminelen moest opsporen.
In theorie zou het mogelijk zijn de algoritmes te trainen op basis van voordeelvrije teksten, maar als het al mogelijk zou zijn hier genoeg van te produceren, zouden we in zekere zin de algoritmes misleiden. Of zoals in het onderzoek wordt gesteld: ‘eliminating bias is eliminating information’. De oplossing om vooroordelen geen rol te laten spelen bij het maken van beslissingen moet volgens de onderzoekers eerder gezocht worden in de algoritmische verantwoording. Mensen kunnen leren dat vooroordelen slecht zijn en die van de computersoftware doorzien.
