Jako pracodawcy coraz częściej korzystać z narzędzi cyfrowych w celu rozpatrywania podań o pracę, a nowe badanie z Uniwersytetu Waszyngtońskiego podkreśla potencjał znacznych uprzedzeń rasowych i płciowych podczas korzystania ze sztucznej inteligencji do sprawdzania CV.
Badacze z UW przetestowali trzy modele dużego języka (LLM) o otwartym kodzie źródłowym i odkryli, że w 85% przypadków preferowali życiorysy z nazwiskami białymi i nazwiskami żeńskimi w 11% przypadków. Spośród 3 milionów przetestowanych kombinacji zawodów, rasy i płci, czarni mężczyźni wypadli najgorzej, a modelki niemal w 100% przypadków preferowały innych kandydatów.
Dlaczego maszyny mają tak ogromną skłonność do wybierania białych kandydatów do pracy? Odpowiedzią jest cyfrowe podejście do starego powiedzenia „jesteś tym, co jesz”.
„Grupy te mają istniejące przywileje w społeczeństwie, które widać w danych szkoleniowych, model uczy się na podstawie tych danych szkoleniowych, a następnie odtwarza lub wzmacnia dokładnie te same wzorce w swoich własnych zadaniach decyzyjnych” – powiedział Kirę Wilsondoktorant Szkoły Informacyjnej UW.
Wilson przeprowadził badania z Aylin Caliskanadiunkt UW w iSchool. Oni przedstawili swoje wyniki w zeszłym tygodniu na konferencji AAAI/ACM na temat sztucznej inteligencji, etyki i społeczeństwa w San Jose w Kalifornii.
W eksperymencie wykorzystano 554 życiorysy i 571 opisów stanowisk zaczerpniętych z prawdziwych dokumentów.
Następnie badacze sfałszowali życiorysy, zamieniając 120 imion ogólnie kojarzonych z osobami płci męskiej, żeńskiej, czarnej i/lub białej. Wśród stanowisk pracy znaleźli się dyrektor naczelny, kierownik ds. marketingu i sprzedaży, kierownik ds. różnych stanowisk, pracownik działu kadr, księgowy i audytor, inżynier, nauczyciel w szkole średniej, projektant oraz inny pracownik sprzedaży i pokrewny.
Wyniki wykazały uprzedzenia związane z płcią i rasą, stwierdził Wilson, a także uprzedzenia intersekcjonalne, gdy płeć i rasa są łączone.
Zaskakujący wynik: technologia preferowała białych mężczyzn nawet na stanowiskach, które – jak pokazują dane dotyczące zatrudnienia – częściej pełnią kobiety, np. pracownicy HR.
To najnowsze badanie ujawniające niepokojące błędy w modelach sztucznej inteligencji, a sposób ich naprawienia pozostaje „ogromnym, otwartym pytaniem” – powiedział Wilson.
Badaczom trudno jest badać modele komercyjne, ponieważ większość z nich to zastrzeżone czarne skrzynki – stwierdziła. Firmy nie muszą ujawniać wzorców ani błędów w swoich wynikach, tworząc lukę w informacjach na temat problemu.
Samo usunięcie nazwisk z CV nie rozwiąże problemu, ponieważ technologia może wywnioskować tożsamość danej osoby na podstawie jej historii edukacyjnej, miast, w których mieszka, a nawet doboru słów opisujących jej doświadczenia zawodowe, powiedział Wilson. Ważną częścią rozwiązania będą twórcy modeli tworzący zbiory danych szkoleniowych, które przede wszystkim nie zawierają błędów.
Naukowcy z UW skupili się na open-source’owych LLMach od Salesforce, Contextual AI i Mistral. Modelami wybranymi do badania były najskuteczniejsze modele Massive Text Embedding (MTE), które stanowią szczególny rodzaj LLM przeszkolonych w zakresie tworzenia numerycznych reprezentacji dokumentów, co ułatwia ich wzajemne porównywanie. Inaczej jest w przypadku LLM, takich jak ChatGPT, które są przeszkolone w zakresie generowania języka.
Autorzy zauważyli, że w wielu wcześniejszych badaniach sprawdzano podstawowe LLM pod kątem stronniczości, ale niewielu przyglądało się MTE w tym zastosowaniu, „dodając kolejną nowość i znaczenie do tego badania”.
Rzecznicy Salesforce i Contextual AI stwierdzili, że LLM wykorzystane w badaniu UW nie są przeznaczone do tego rodzaju zastosowań przez rzeczywistych pracodawców.
Model Salesforce objęty badaniem został udostępniony społeczności open source wyłącznie w celach badawczych, a nie do wykorzystania w rzeczywistych scenariuszach produkcyjnych. Wszystkie modele oferowane do użytku produkcyjnego przechodzą rygorystyczne testy pod kątem toksyczności i stronniczości przed ich wypuszczeniem, a nasza oferta AI obejmujeporęczeIsterownicaaby chronić dane klientów i zapobiegać szkodliwym wynikom” – powiedział e-mailem rzecznik Salesforce.
Jay Chen, wiceprezes ds. marketingu kontekstowej sztucznej inteligencji, powiedział, że zastosowany LLM opiera się na technologii firmy Mistral i nie jest komercyjnym produktem kontekstowej sztucznej inteligencji.
„To powiedziawszy, zgadzamy się, że stronniczość i etyczne wykorzystanie sztucznej inteligencji jest dziś ważną kwestią i współpracujemy ze wszystkimi naszymi klientami, aby ograniczyć źródła uprzedzeń w naszych komercyjnych rozwiązaniach AI” – Chen powiedział e-mailem.
Mistral nie odpowiedział na prośbę GeekWire o komentarz.
Chociaż nie jest znana skłonność do stronniczości w różnych rozwiązaniach programowych do sprawdzania życiorysów, niektórzy wybrani przywódcy podejmują wstępne kroki, aby pomóc rozwiązać ten problem.
Chcąc zapewnić bardziej kompleksowe zabezpieczenia przed dyskryminacją, Kalifornia przyjęła prawo stanowe, zgodnie z którym intersekcjonalność jest cechą chronioną, obok tożsamości takich jak rasa i płeć. Zasada ta nie dotyczy wyłącznie uprzedzeń związanych ze sztuczną inteligencją.
W Nowym Jorku obowiązuje nowe prawo wymagające od firm korzystających z systemów rekrutacji AI ujawniania swoich wyników. Istnieją jednak wyjątki, jeśli w proces nadal zaangażowani są ludzie.
Jednak, jak na ironię, może to potencjalnie sprawić, że wybory będą jeszcze bardziej stronnicze, powiedział Wilson, ponieważ ludzie czasami pokładają większe zaufanie w decyzji podjętej przez technologię niż ludzie. Jej kolejne badania skupią się na interakcji ludzkich decydentów z systemami sztucznej inteligencji.
