Úvod
Seminární práce se zabývá problematikou upřednostňování určitého pohlaví (či genderu) umělou inteligencí. Pro rozbor daného problému jsem zvolila kauzu americké společnosti Amazon, která od roku 2014 vyvíjela software pro usnadnění výběru nových uchazečů o práci v dané firmě. Na základě výsledků hodnocení uchazečů vyšlo najevo, že byla umělá inteligence naprogramována na základě dat tak, aby upřednostňovala zájemce o práci mužského pohlaví.
Ačkoliv se v tuzemsku s obdobnou kauzou prozatím nesetkáváme – alespoň se doposud neobjevila v českém mediálním prostoru – domnívám se, že je vhodné událost zasadit do českého, a potažmo evropského právního řádu. Současně je nerovnost pohlaví v Česku stále jistým fenoménem, o kterém je nutné hovořit nejen v akademickém prostředí, ale dostávat jej i do mainstreamových informačních kanálů. Neprobádanost programů umělé inteligence přináší obavy o jejich transparentnost a nezkreslování informací, které do nich jakožto zdroje obvykle nahrává lidský faktor.
Podle dat reportu UNESCO z roku 2019 pracuje ve výzkumu a vývoji pouze 29 % žen, přičemž již nyní existuje o 25 % menší pravděpodobnost, že budou schopny ovládat digitální technologie pro každodenní činnosti1. Umělá inteligence přitom bude v budoucnu ovlivňovat nejen náplň práce žen i mužů, ale taktéž jejich postavení na pracovním trhu, průběh hledání volných pracovních pozic a následně samotná výběrová řízení.
Organizace pod hlavičkou OSN – UN Women chápe pojem gender jako „soubor sociálních atributů a příležitostí spojených s tím, že člověk je muž a žena, a vztahů mezi ženami a muži a dívkami a chlapci, jakož i vztahů mezi ženami a mezi muži.2 “ Tyto atributy jsou sociálním konstruktem, nejsou tedy vrozené – chápaní tohoto pojmu se však napříč organizacemi, které se jím zabývají, liší.
Ke slovu gender v češtině neexistuje ekvivalent, případně jej lze v češtině používat ve spojení sociální pohlaví. Pojem pohlaví, který je chápán čistě ve svém biologickém významu, v této práci však částečně používám právě jako alternativu k pojmu gender, který oproti pohlaví odkazuje ke kulturním charakteristikám a modelům přiřazovaným mužskému nebo ženskému biologickému pohlaví3. Domnívám se, že v českém textu – a obzvláště v kontextu problematiky Gender Bias – můžeme hovořit o pohlaví v jeho sociálně-konstruktivistickém pojetí bez toho, aby došlo k zaměnění těchto dvou pojmů. Ačkoliv zaměstnavatelé nás budou vnímat zejména na základě objektivně poznatelných fyzických znaků vztahujících se k pohlaví, umělá inteligence při vyhodnocování životopisů vychází z genderu.
Shrnutí kauzy náborového algoritmu společnosti Amazon
Při popisu dění kolem zastavení vývoje interního náborového algoritmu společnosti Amazon jsem vycházela zejména z webu AI Incident Database4. Jedná se o projekt organizace Responsible AI Collaborative, který si klade za cíl sledovat a katalogizovat incidenty spojené s vývojem a následnou aplikací programů umělé inteligence. V tomto případě se jedná o kauzu americké společnosti Amazon a konkrétně její pobočky v Edinburghu, která od roku 2014 vyvíjela program umělé inteligence pro udělování hodnocení uchazečů o pracovní pozici na základě obdržených životopisů.
Algoritmus měl hodnotit uchazeče počtem hvězdiček, kdy maximum představovalo pět hvězd. Během vývoje tohoto programu nicméně došli vývojáři ke zjištění, že program značně znevýhodňoval ženské uchazečky o práci, a to na základě nevhodné implementace technologií pro zpracování přirozeného jazyka – tzv. NLP čili Natural Language Processing.
Program hodnotil kladně zejména ty životopisy, které byly podle zpravodajské agentury Reuters psané „mužským jazykem“, případně používaly silná slovesa jako uchvátil nebo vykonal – negativní hodnocení naopak program uděloval za přímý výskyt adjektiva ženský5. Dle informací zaměstnanců Amazonu dále považoval za méně hodnotné vzdělání na ženských středních školách nebo univerzitách. Podle AI Incident Database došlo k vytvoření těchto znevýhodňujících vzorců zejména z toho důvodu, že vývojáři vycházeli z data setu životopisů minulých kandidátů za minimálně posledních deset let, což do té doby byli převážně muži. Za kvalitnější proto umělá inteligence označovala ty uchazeče, kteří naplňovali stereotypní mužské kvality.
Kognitivní hodnocení používaná v procesu přijímání zaměstnanců často vykazují zkreslení, protože se spoléhají na úspěch současných zaměstnanců a využívají jej jako případný ukazatel vhodnosti kandidátů budoucích. V důsledku toho mají tato hodnocení tendenci udržovat stávající demografické a kognitivní trendy v organizacích6. To může představovat problém zejména v technologických firmách jako je například Amazon, kde historicky převažují mužští zaměstnanci.
Systémy navíc často využívají tréninková data získaná od vysoce výkonných zaměstnanců nebo zaměstnanců s vysokými platy7 – tato praxe je známá jako „klonování svých nejlepších lidí“. Tento přístup může představovat výzvu pro podporu diverzity, protože umělá inteligence vyškolená na takových datech může mít tendenci upřednostňovat kandidáty, kteří se úzce shodují s aktuálním profilem zaměstnance, a přehlížet tak ty, kteří se od něj odchylují.
První a druhá etapa vývoje kauzy
Kauzu dělí portál AI Incident Database do čtyř období a z tohoto dělení budu taktéž vycházet ve své práci. První fáze představuje samotný vývoj programu, který začíná v roce 2014 a končí mezi lety 2016 a 2017. Problémy, ke kterým během vývoje programu došlo, shrnuji v předchozích odstavcích. Následuje únik informací ze strany interních vývojářů a zaměstnanců Amazonu směrem k médiím, a potažmo tedy do veřejného prostoru.
Poprvé se této konkrétní kauze věnují média v roce 2018, většinou ovšem k tomuto tématu vydávají pouze jeden článek, který je navíc často převzatý ze stejného zdroje a překlápí informace zpravodajské agentury Reuters8. Vzhledem k tomu, že během vývoje o programu veřejnost nevěděla a do médií se informace dostaly až v momentě, kdy byl nepovedený pokus zastaven, kauza v mediálním prostoru dále neeskalovala.
Jak bylo popsáno výše, tématu se věnovala primárně zahraniční média. Zmínky na českých zpravodajských webech najdeme spíše okrajově – téma na svých webových stránkách popsala například jedna ze stanic Českého rozhlasu Radio Wave9 v rubrice Technologie. Spíše marginální zájem médií o tuto problematiku může pramenit z toho, že v roce 2018 nebyla umělá inteligence tak často skloňovaným pojmem v médiích a v očích veřejnosti mohlo jít teprve o určité zárodky této problematiky. Současně genderová nerovnost dlouhodobě nepatří k prioritním tématům mediálního diskurzu.
Třetí etapa vývoje kauzy
Další etapy vývoje přímo na dění kolem programu Amazon nenavazují, přesto mají v této práci svůj význam. Jedná se totiž o praktické dopady této kauzy do legislativy a vědy. V roce 2021 přichází americký web Wired.com10 s textem o návrhu regulace používání algoritmů pro nábor nových uchazečů o zaměstnání. Město New York tehdy navrhlo nový zákon, který by nutil firmy zveřejňovat informace o případném využívání softwarů k hodnocení kandidátů na pracovní pozici.
Dodavatelé těchto softwarů měli být současně povinni zajistit, aby tyto nástroje nebyly diskriminační. Nová legislativa měla navazovat na Zákon o občanských právech (Civil Rights Act) z roku 1964, který ve Spojených státech poprvé garantoval rovnost v otázce rasy, pohlaví i náboženství a zakazoval zaměstnavatelům diskriminační chování.
Návrh byl výsledkem snahy různých skupin napříč státní správou, které měly za cíl právně omezit algoritmy a softwary utvářející rozhodnutí, jež tzv. mění život. Měl se týkat programů, které jsou klasifikovány jako AEDT – neboli Automated Employment Decision Tools11. Do této kategorie spadá právě rozhodování umělé inteligence o tom, zda je daný uchazeč vhodným adeptem na určitou pozici a zda získá předmětné zaměstnání. Návrh města New York předložila demokratická členka rady Laurie Cumbo. Zákon č. 144 (Local Law 144) by měl vstoupit v platnost v letošním roce, a to konkrétně 5. července 202312.
V roce 2021 bylo ve Spojených státech zhruba 2x více nezaměstnaných než před pandemií Covid-19. I z tohoto důvodu stále více společností využívá pro základní protřídění kandidátů na určitou pozici programy umělé inteligence13. Podle průzkumu společnosti Mercer na základě dotazníku s více než 7 300 respondenty na pozici HR stoupl podíl využití takovýchto prediktivních analýz ve společnostech z 10 % v roce 2016 na 39 % v roce 202014. Některé z těchto firem si už vyžádaly externí audity pro posouzení nezávadnosti jejich náborových programů. Motivuje je k tomu právě výše popsaný zákon, který bude předkládání podobných auditů vyžadovat.
Vědci a vývojáři nicméně upozorňují na to, že tyto kontroly nejsou stoprocentní ochranou před případnými programovými chybami. Nikde totiž není jasně definováno, do jaké programové hloubky a podrobností musí audit zajít. Současně tzv. bias může nabývat mnohých podob, a i v případech, kdy se nevyskytuje genderová předpojatost, může docházet k znevýhodnění na základě fyzických atributů jako jsou biologické znaky, rasa, věk a podobně. V případě provádění auditů soukromými společnostmi se navíc může objevit střet zájmů, kterému by mohlo zabránit omezení testů závadnosti na jednu státem certifikovanou – či přímo státní – společnost.
Čtvrtá etapa vývoje kauzy
Za pomyslnou čtvrtou etapu můžeme označit prostup tématu nerovnosti a využívání programů umělé inteligence na výběrová řízení do akademické sféry. Za jedno ze zásadních pojednání na toto téma označuje web AI Incident Database článek z University of Cambridge. Eleanor Drageová a Kerry Mackerethová15 ve své studii publikované v časopise Philosophy & Technology zkoumaly dopad umělé inteligence na přijímací řízení právě v souvislosti s rasovými a genderovými předsudky. Zabývaly se otázkou, zda algoritmy umělé inteligence účinně přispívají k vymýcení těchto předsudků v náborových rutinách.
Kritickou analýzou využití AI při náboru pracovníků studie osvětluje možná omezení a nezamýšlené důsledky spoléhání se výhradně na rozhodovací systémy založené na AI. Autorky prostřednictvím svého výzkumu zdůrazňují, že umělá inteligence má sice potenciál některé předsudky zmírnit, současně však může neúmyslně některé z nich posilovat.
Drageová a Mackerethová se proto domnívají, že by mělo být využití umělé inteligence kombinována s etickými postupy a lidským dohledem, aby bylo možné v co nejvyšší míře zajistit odpovědné a spravedlivé využívání takových programů. Právě mezioborový dialog při vývoji těchto programů a jejich podrobování lidskému dohledu a kritice může být při úspěšné aplikaci v budoucnu klíčové.
Lidskoprávní konflikt
Jak jsme již částečně zmiňovali na příkladu amerického Zákona o občanských právech z roku 1964, kauza ohledně programu Amazonu se dotýká diskriminace v souvislosti se zaměstnáním, a to na základě pohlaví (jak známe z českého právního řádu), respektive genderu. V Česku bychom našli právní úpravu této problematiky zejména v následujících zákonech:
- Zákon č. 262/2006 Sb., zákoník práce: Zákoník práce stanoví obecný právní rámec pro pracovněprávní vztahy v České republice. Obsahuje ustanovení týkající se zákazu diskriminace v zaměstnání, rovného zacházení a ochrany před diskriminací.
- Zákon č. 198/2009 Sb., antidiskriminační zákon: Poskytuje ochranu před diskriminací na základě rasy, národnosti, etnického původu, pohlaví, sexuální orientace, věku, zdravotního postižení, náboženského nebo jiného přesvědčení a dalších znaků. Zákon vyžaduje, aby zaměstnavatelé zajistili rovné příležitosti a rovné zacházení všem zaměstnancům.
- Ústavní zákon č. 2/1993 Sb., Listina základních práv a svobod: a to konkrétně následující ustanovení:
Článek 1
Lidé jsou svobodní a rovní v důstojnosti i v právech. Základní práva a svobody jsou nezadatelné, nezcizitelné, nepromlčitelné a nezrušitelné.
Článek 3
(1) Základní práva a svobody se zaručují všem bez rozdílu pohlaví, rasy, barvy pleti,jazyka, víry a náboženství, politického či jiného smýšlení, národního nebo sociálního původu, příslušnosti k národnostní nebo etnické menšině, majetku, rodu nebo jiného postavení.
Pokud se zaměříme na právní řád Spojeného království, kde se nachází klíčová pobočka, která algoritmus Amazonu vyvíjela, pak klíčovou právní úpravou bude zejména Equality Act 2010. Jedná se o velice komplexní zákon, který konsoliduje předchozí antidiskriminační zákony. Zakazuje diskriminaci na základě věku, zdravotního postižení, změny pohlaví, manželství a partnerství, těhotenství a mateřství, rasy, náboženství nebo víry, pohlaví a sexuální orientace. Zákon se vztahuje na různé oblasti, včetně zaměstnání, vzdělávání, bydlení a poskytování zboží a služeb.
Zajímavý je dodatek z roku 2017, který uzákonil povinnost zaměstnavatelů s více než 250 zaměstnanci oznamovat rozdíly v odměňování žen a mužů (tzv. pay gap). Za zmínku dále stojí např. Zákon o zaměstnaneckých právech z roku 1996 nebo Zákon o lidských právech z roku 1998. Ten začleňuje Evropskou úmluvu o lidských právech do britského práva a chrání základní práva a svobody, včetně práva na práci, svobody před diskriminací a práva na spravedlivý proces.
Problematice diskriminace v pracovněprávních vztazích se věnuje taktéž Evropská unie ve své Listině základních práv EU, případně přímo ve Směrnici Rady 2000/78/ES ze dne 27. listopadu 2000, kterou se stanoví obecný rámec pro rovné zacházení v zaměstnání a povolání.
Je vhodné zmínit, že žádný z výše uvedených zákonů – kromě amerického návrhu zákona č. 144 – neupravuje využívání umělé inteligence v pracovním právu, ani její vliv na případnou diskriminaci.
Za nejnovější bychom mohli pravděpodobně označit Akt o umělé inteligenci, který připravuje Evropská komise a který by měl být prvním celoevropským legislativním dokumentem upravujícím pravidla pro používání umělé inteligence.
Závěr
Kauza Amazonu ukázala, že algoritmy vyvíjené na základě nedostatečných nebo ne zcela vhodně zvolených datových sad mohou vést ke znevýhodňování určitých skupin.
Používání tréninkových dat založených na existujících trendech může posilovat stávající nerovnosti a bránit diverzitě. Je proto nezbytné zvýšit transparentnost a etičnost vývoje umělé inteligence a zajistit, aby programy nebyly zatíženy diskriminačními prvky. V reakci na tuto kauzu se objevují legislativní snahy o regulaci používání algoritmů pro výběr zaměstnanců a ochranu před diskriminací. Nové zákony, jako je například návrh zákona č. 144 v New Yorku, mají zajistit, že firmy budou muset zveřejňovat informace o používání algoritmů pro hodnocení kandidátů a dodavatelé těchto nástrojů budou mít povinnost zajistit jejich nediskriminační povahu.
Pokud časem nedojde k obdobné úpravě i v Evropě, lze očekávat nejen přetrvávání či dokonce posilování nerovností na trhu práce, ale také případné soudní spory kolem netransparentních programů pro výběr zaměstnanců. Uchazeči o pracovní pozici se totiž mohou bránit v případech, kdy se domnívají, že byli během výběrového řízení diskriminování na základě svého pohlaví, rasy či náboženství.
Umělá inteligence má potenciál utvářet naši společnost, současně však představuje výzvu pro rovnost žen a mužů. Genderové předsudky mohou neúmyslně proniknout do systémů umělé inteligence, a to zejména v případech, kdy jsou vyškoleny na neobjektivních nebo nereprezentativních datech. To vede k diskriminačním výsledkům v oblastech, jako je přijímání zaměstnanců, poskytování půjček a přístup ke zdrojům. Nedostatečná genderová diverzita při vývoji a rozhodování v oblasti programů navíc tyto předsudky ještě prohlubuje.
Pro zajištění rovnosti žen a mužů proto bude klíčové zachovat lidský element u důležitého rozhodování a zavést důkladná etická pravidla, která budou dodržována během vývoje i aplikace takovýchto programů. Pomoci by tomu mohlo také větší zapojení žen ve vědě a jejich spravedlivá reprezentace v datových vzorcích16.
Práce Gender Bias a umělá inteligence: Case study algoritmu pro nábor nových zaměstnanců společností Amazon, jejíž autorem je Karolína Blažková, podléhá licenci Creative Commons Uveďte původ 4.0 Mezinárodní.
Poznámky
- UNESCO, OECD, IDB (2022). The Effects of AI on the Working Lives of Women. ↩︎
- Tamtéž. ↩︎
- Gender: Základní pojmy. In: Český statistický úřad [online]. Praha: ČSÚ, 2016 [cit. 2023-05-28]. ↩︎
- Incident 37: Female Applicants Down-Ranked by Amazon Recruiting Tool. Dostupné z:
https://incidentdatabase.ai/cite/37/ ↩︎ - Amazon scraps secret AI recruiting tool that showed bias against women. Dostupné z:
https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G. ↩︎ - RAGHAVAN, Manish, Solon BAROCAS, Jon KLEINBERG a Karen LEVY. Mitigating bias in algorithmic
hiring. ↩︎ - AJUNWA, Ifeoma a Rachel SCHLUNDDUBBER, Markus D., Frank PASQUALE a Sunit DAS. The Oxford
Handbook of Ethics of AI [online]. ↩︎ - Amazon scraps secret AI recruiting tool that showed bias against women. Dostupné z:
https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G. ↩︎ - Amazon chtěl vybírat zaměstnance pomocí umělé inteligence. Bohužel však nesnášela ženy. Dostupné z:
https://wave.rozhlas.cz/amazon-chtel-vybirat-zamestnance-pomoci-umele-inteligence-bohuzel-vsak-nesnasela-
7638834. ↩︎ - New York City Proposes Regulating Algorithms Used in Hiring. Dostupné z: https://www.wired.com/story/new-
york-city-proposes-regulating-algorithms-hiring/ ↩︎ - New York City will set law to regulate use of AI employment tools. Dostupné z:
https://theticker.org/10407/science/new-york-city-will-set-law-to-regulate-use-of-ai-employment-tools/. ↩︎ - The Evolution of NYC Local Law 144: An Overview of the Key Changes. Dostupné z:
https://www.holisticai.com/blog/nyc-local-law-144-key-
changes#:~:text=What%20is%20Local%20Law%20144,as%20the%20Bias%20Audit%20Law. ↩︎ - Auditors are testing hiring algorithms for bias, but there’s no easy fix. Dostupné z:
https://www.technologyreview.com/2021/02/11/1017955/auditors-testing-ai-hiring-algorithms-bias-big-questions-
remain/ ↩︎ - Tamtéž. ↩︎
- DRAGE, Eleanor a Kerry MACKERETH. Does AI Debias Recruitment? Race, Gender, and AI’s “Eradication of
Difference”. ↩︎ - SMITH, Genevieve a Ishita RUSTAGI. When Good Algorithms Go Sexist: Why and How to Advance AI Gender
Equit. ↩︎
Použitá literatura
AJUNWA, Ifeoma a Rachel SCHLUND, DUBBER, Markus D., Frank PASQUALE a Sunit DAS, ed. The Oxford Handbook of Ethics of AI [online]. Oxford University Press, 2020 [cit. 2023-05-28]. ISBN 9780190067397.
DRAGE, Eleanor a Kerry MACKERETH. Does AI Debias Recruitment? Race, Gender, and AI’s “Eradication of Difference.” Philosophy & Technology [online]. 2022, 35(4) [cit. 2023-05-28]. ISSN 2210-5433. Dostupné z: doi:10.1007/s13347-022-00543-1
RAGHAVAN, Manish, Solon BAROCAS, Jon KLEINBERG a Karen LEVY. Mitigating bias in algorithmic hiring. In: Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency [online]. New York, NY, USA: ACM, 2020, 2020-01-27, s. 469-481 [cit. 2023-05-28]. ISBN 9781450369367. Dostupné z: doi:10.1145/3351095.3372828
SMITH, Genevieve a Ishita RUSTAGI. When Good Algorithms Go Sexist: Why and How to Advance AI Gender Equity. Stanford Social Innovation Review. [online]. 2021. [xit. 2023-05-28]. Dostupné z: http://doi.org/10.48558/A179-B138
UNESCO, OECD, IDB (2022). The Effects of AI on the Working Lives of Women.
Použité internetové zdroje
- Amazon chtěl vybírat zaměstnance pomocí umělé inteligence. Bohužel však nesnášela ženy. Dostupné z: https://wave.rozhlas.cz/amazon-chtel-vybirat-zamestnance-pomoci-umele-inteligence-bohuzel-vsak-nesnasela-7638834.
- Amazon scraps secret AI recruiting tool that showed bias against women. In: Reuters [online]. London: Reuters, 2023, 2018 [cit. 2023-05-28]. Dostupné z: https://www.reuters.com/article/us-
amazon-com-jobs-automation-insight-idUSKCN1MK08G - Auditors are testing hiring algorithms for bias, but there’s no easy fix. In: MIT Technology Review [online]. USA: MIT Technology Review, 2023, 2021 [cit. 2023-05-28]. Dostupné z: https://www.technologyreview.com/2021/02/11/1017955/auditors-testing-ai-hiring-algorithms-bias-big-questions-remain/
- Gender: Základní pojmy. In: Český statistický úřad [online]. Praha: ČSÚ, 2016 [cit. 2023-05-28]. Dostupné z: https://www.czso.cz/csu/gender/gender_pojmy#:~:text=Na%20rozd%C3%ADl%20od%20pojmu%20pohlav%C3%AD,rozd%C3%ADly%20mezi%20%C5%BEenami%20a%20mu%C5%BEi.
- Incident 37: Female Applicants Down-Ranked by Amazon Recruiting Tool. In: AI Incident Database [online]. USA: AI Collaborative, 2023 [cit. 2023-05-28]. Dostupné z: https://incidentdatabase.ai/cite/37/
- New York City Proposes Regulating Algorithms Used in Hiring. In: Wired [online]. USA: Condé Nast, 2021 [cit. 2023-05-28]. Dostupné z: https://www.wired.com/story/new-york-city-proposes-
regulating-algorithms-hiring/ - New York City will set law to regulate use of AI employment tools. In: The Ticker [online]. USA: FLEX Pro WordPress Theme, 2023 [cit. 2023-05-28]. Dostupné z: https://theticker.org/10407/science/new-york-city-will-set-law-to-regulate-use-of-ai-employment-tools/
- The Evolution of NYC Local Law 144: An Overview of the Key Changes. In: Holistic AI [online].
- USA: Holistic AI, 2023, 2023 [cit. 2023-05-28]. Dostupné z: https://www.holisticai.com/blog/nyc-local-law-144-key-changes#:~:text=What%20is%20Local%20Law%20144,as%20the%20Bias%20Audit%20Law.
Seznam zákonů
Česká republika
– Usnesení č. 2/1993 Sb., Usnesení předsednictva České národní rady o vyhlášení LISTINY ZÁKLADNÍCH PRÁV A SVOBOD jako součástí ústavního pořádku České republiky.
– Zákon č. 262/2006 Sb., zákoník práce.
– Zákon č. 198/2009 Sb., zákon o rovném zacházení a o právních prostředcích ochrany před diskriminací a o změně některých zákonů (antidiskriminační zákon).
Spojené státy
– Civil Rights Act of 1964. Dostupné z: https://www.govinfo.gov/app/details/COMPS-342
Spojené království Velké Británie a Irska
– Equality Act 2010. Dostupné z: http://www.legislation.gov.uk/ukpga/2010/15/contents
Evropská unie
– Listina základních práv Evropské unie.
– Směrnice Rady 2000/78/ES ze dne 27. listopadu 2000, kterou se stanoví obecný rámec pro rovné zacházení v zaměstnání a povolání.