Рубрика: Слепые зоны алгоритмов · Блок: AI-код управления
Предвзятость ИИ: почему алгоритм систематически ошибается в людях
Предвзятость ИИ — это систематическая ошибка, из-за которой алгоритм стабильно ставит одних людей выше других по признакам, не связанным с делом. Она важна руководителю, потому что решение выглядит объективным, а отвечает за него компания. Алгоритм учится на прошлых решениях людей и повторяет их ошибки, только быстрее и в большем масштабе.
Что такое предвзятость ИИ
Алгоритмическая предвзятость отличается от случайной ошибки. Случайная ошибка рассеивается в разные стороны, а предвзятость всегда направлена в одну: одна и та же группа людей раз за разом получает результат хуже, чем заслуживает.
Важно понимать, что это не вопрос намерений. Разработчик может искренне стремиться к справедливости, а в данных никто специально не указывал, кого предпочитать. Алгоритм находит закономерности, которые есть в материале, и воспроизводит их. Если закономерность отражает прошлую несправедливость, он воспроизведёт и её.
Эта статья о том, почему так происходит и зачем это знать руководителю. Что ИИ уже умеет в оценке персонала и какие требования предъявлять к автоматизации, разобрано на странице «ИИ в оценке персонала».
Откуда предвзятость берётся
Источников три, и у каждого есть хорошо описанный пример.
Прошлые решения людей. Самый известный случай: Amazon отказался от собственного инструмента для отбора резюме (Reuters, 2018). Его обучали на резюме, присланных за десять лет, большинство из которых пришли от мужчин. Система научилась снижать оценку резюме, где встречалось слово «women’s», например «капитан женского шахматного клуба». Компания пыталась исправить проблему, но не смогла гарантировать, что алгоритм не найдёт другой способ так же отличать кандидатов.
Неудачно выбранная замена. Часто нужное качество нельзя измерить напрямую, и алгоритму дают что-то похожее. В исследовании, опубликованном в Science, разобран алгоритм, который в США распределял дополнительную медицинскую помощь. Вместо потребности в лечении он опирался на расходы на лечение (Obermeyer и соавторы, 2019). На чернокожих пациентов с теми же заболеваниями тратилось меньше денег, и алгоритм считал их здоровее, чем на самом деле. В кадровых решениях та же ловушка возникает, когда «хороший сотрудник» заменяется оценкой руководителя или длительностью работы.
Сам язык, на котором училась модель. Большие языковые модели обучены на огромных массивах текста и наследуют их стереотипы. В исследовании Вашингтонского университета модели сравнивали резюме, одинаковые во всём, кроме имени. Имена, которые в США ассоциируются с белыми, получали предпочтение в 85,1% случаев, женские — только в 11,1% (Wilson и Caliskan, 2024).
Чем алгоритм хуже и лучше человека
Было бы ошибкой считать, что до алгоритмов всё было справедливо. В классическом эксперименте американские работодатели получали одинаковые резюме с разными именами, и резюме с «белыми» именами получали на 50% больше приглашений (Bertrand и Mullainathan, 2004). Люди предвзяты и без всякой техники.
Отличие в другом.
| Предвзятость человека | Предвзятость алгоритма | |
|---|---|---|
| Масштаб | один рекрутер или руководитель | все решения, которые проходят через систему |
| Заметность | коллеги могут заметить и возразить | выглядит как объективный результат |
| Разброс | люди ошибаются по-разному | одинаковая ошибка раз за разом |
| Возможность проверить | спросить человека о причинах | часто можно только сравнить результаты |
| Возможность исправить | медленно и не всегда | быстро, если ошибку обнаружили |
Последняя строка важна: алгоритм легче измерить и исправить, чем привычки сотен людей. Но сначала ошибку нужно обнаружить, а это требует усилий, которые редко закладывают в проект.
Почему человек в контуре не всегда спасает
Обычный ответ на эти риски звучит так: окончательное решение примет человек. Звучит надёжно, но данные заставляют сомневаться.
В эксперименте Вашингтонского университета 528 участников отбирали кандидатов вместе с ИИ, рекомендации которого были намеренно предвзяты. Люди следовали им до 90% случаев, даже когда до этого у них такого перекоса не было (Wilson и соавторы, 2025). Предварительный тест на неосознанные установки снижал эффект примерно на 13%, но не устранял его.
Это меняет смысл формулы «решение за человеком». Человек, которому показали готовую рекомендацию, чаще подтверждает её, чем принимает собственное решение. Если он видит только то, что отобрала машина, его независимость ещё меньше.
Где цена предвзятости особенно высока
Руководителю стоит внимательнее смотреть туда, где совпадают три условия: решение влияет на судьбу человека, отказ невозможно обжаловать, а правильность результата никто потом не проверяет.
К таким местам относятся первичный отбор кандидатов, решения о включении в кадровый резерв, оценка по косвенным признакам, прогнозы ухода и результативности. О том, как это выглядит в подборе, рассказывает статья «ИИ и отбор резюме».
Предвзятость редко видна в одном решении. Она проявляется, только если посмотреть на множество решений сразу: кого система стабильно поднимает, а кого опускает. Если такого взгляда в компании нет, вопрос о предвзятости некому задать.
Зачем это знать руководителю, а не только разработчику
Предвзятость часто считают задачей разработчиков или юристов. Но последствия приходятся на руководителя и бизнес:
- Теряются сильные люди. Система отсекает тех, кто не похож на прежних сотрудников, а именно такие люди часто нужны компании, которая хочет измениться.
- Команды становятся однороднее. Алгоритм поддерживает прежний профиль успеха, поэтому слепые зоны всей команды становятся шире.
- Ответственность остаётся за компанией. Отвечать за решение придётся ей, а не поставщику алгоритма. Об этом говорят и уже рассмотренные дела.
- Падает доверие. Сотрудник, который заподозрил, что его оценил предвзятый алгоритм, перестаёт верить всей системе оценки.
Почему предвзятость трудно заметить изнутри
Есть причина, по которой предвзятость так долго остаётся незамеченной: она часто совпадает с тем, что компания и так считает правильным. Если алгоритм рекомендует кандидатов, похожих на нынешних сильных сотрудников, это выглядит как подтверждение его качества. Руководители видят знакомый профиль и успокаиваются.
Отсюда возникает замкнутый круг. Система отбирает похожих людей, они успешно работают, потому что других возможностей никто не проверял, и эти успехи попадают в новые обучающие данные. Каждый следующий цикл укрепляет уверенность в правильности выбора. Сведений о тех, кого не взяли, в данных нет вовсе, поэтому система не получает никакого сигнала о своей ошибке.
Ещё одна сложность связана с тем, что запретить признак недостаточно. Если убрать из данных пол или возраст, алгоритм может найти их косвенные следы: название учебного заведения, перерыв в работе, слова в описании опыта. Именно с этим столкнулись разработчики в Amazon. Поэтому фраза поставщика «мы не используем пол и возраст» ещё ничего не говорит о результате. Важно не то, какие признаки подаются на вход, а то, кого система в итоге отбирает.
Для руководителя отсюда следует неудобный вывод. Хорошие текущие показатели отобранных людей не доказывают отсутствие предвзятости. Они говорят только о том, что выбранные справляются, но ничего не сообщают о тех, кто мог бы справиться лучше. Такой вопрос приходится задавать специально, потому что сам по себе он не возникнет ни в одном отчёте.
Вопрос о предвзятости поэтому стоит задавать не один раз, а постоянно.
Что защищает кадровые решения от предвзятости алгоритма?
Защита от предвзятости начинается с вопроса, который важнее выбора инструмента: относительно чего мы оцениваем человека. Если есть ясный эталон роли, можно сравнивать людей с ним, а не с прошлыми сотрудниками. Если его нет, алгоритм подставит вместо него историю компании.
Вторая опора — данные о том, что действительно связано с работой, из проверенных измерений, а не косвенные следы вроде стиля письма или активности в чате. Подробнее о подходе к этому — на странице «Оценка персонала».
Частые вопросы
Что такое алгоритмическая предвзятость простыми словами?
Это повторяющаяся ошибка, из-за которой алгоритм стабильно ставит одних людей выше других по признакам, не связанным с делом. Чаще всего он наследует её из данных о прошлых решениях людей.
Можно ли полностью устранить предвзятость ИИ?
Полностью нет, потому что её источники находятся в данных и в самом обществе. Но её можно обнаруживать и уменьшать. Алгоритм в этом смысле удобнее человека: его результаты легче измерить в большом объёме.
Поможет ли, если решение будет принимать человек?
Не всегда. В эксперименте на 528 участниках люди следовали предвзятым рекомендациям ИИ до 90% случаев (Wilson и соавторы, 2025). Человек полезен, когда у него есть своё мнение и время его сформировать.
Предвзят ли ИИ больше, чем человек?
Не обязательно. Люди тоже предвзяты: в эксперименте 2004 года одинаковые резюме получали разное число приглашений только из-за имени. Отличие алгоритма в масштабе и в том, что его результат выглядит объективным.