Искусственный интеллект выявляет расистские предубеждения: результаты нового исследования

В новом исследовании, опубликованном в журнале Nature, ученые доказали, что крупные языковые модели (LLM), такие как GPT-4, демонстрируют значительные расистские предубеждения по отношению к носителям афроамериканского английского (AAE). Несмотря на попытки разработчиков устранить предвзятость, эти модели все еще ассоциируют носителей AAE с негативными стереотипами и менее престижными профессиями.

Исследование под руководством Шариз Кинг из университета Чикаго использовало более 2000 сообщений в социальных сетях, написанных на AAE. Эти тексты сравнивались со стандартизированным американским английским. Модели оценивали эти тексты по 84 прилагательным, таким как "необразованный" или "грубый". Результаты показали, что LLM часто приписывают негативные прилагательные текстам на AAE.
Команда даже обнаружила, что LLM демонстрируют большую предвзятость, чем люди в аналогичных исследованиях до эпохи гражданских прав. Это означает, что современные модели ИИ могут быть даже более расистскими, чем люди в прошлом.
Соавтор исследования Валентин Хоффманн из Института ИИ Аллена отметил, что такие предубеждения могут иметь серьезные последствия в реальном мире. Например, LLM могут ассоциировать носителей AAE с менее престижными профессиями, такими как повар или охранник, вместо архитектора или астронавта. В воображаемых судебных сценариях модели с большей вероятностью признают носителей AAE виновными в преступлениях и рекомендуют им более строгие наказания.

Соруш Восуги, специалист по информатике из Дартмутского колледжа, который не участвовал в исследовании, отметил, что результаты не являются неожиданными, но все же шокируют. Он подчеркнул, что даже более крупные модели, которые демонстрируют меньшую явную предвзятость, обладают серьезными лингвистическими предубеждениями.
"Борьба с открытым расизмом может создавать ложное чувство безопасности, но не устраняет скрытые стереотипы", — отметил Восуги. Он добавил, что ИИ выявляет скрытые предубеждения не только в отношении языка, но и по отношению к именам и увлечениям, которые ассоциируются с определенными группами.
Николь Холлидей, лингвист из Калифорнийского университета в Беркли, подчеркнула, что компании, разрабатывающие LLM, должны более тщательно работать над устранением скрытых предубеждений. "Когда предвзятость скрыта, это то, что они не смогли проверить," — подчеркнула она.
В заключение, исследование подчеркивает высокий риск использования ИИ в таких областях, как отбор кандидатов на работу или составление полицейских отчетов. Ученые призывают к пересмотру подходов к обучению языковых моделей, чтобы предотвратить распространение скрытого расизма в обществе.