Зміст
- AI Beauty упередження
- Гендерне зміщення у мовах
- 2. Гендерна та вікова дискримінація на робочих місцях
- Невдача розпізнавання обличчя
- Відхилення рецидивізму
Винос:
В останні роки AI все більше приймається і застосовується до всього, від оцінки краси до оцінки ризику рецидивізму. Роблячи це, він також підтримував стандарти, які підтримують упередженість та дискримінацію в декількох випадках.
Прогрес технології має потенціал по-справжньому демократизувати доступ до інформації та можливостей. Однак, коли в деяких випадках він застосовується способами, що підсилюють уявлення про те, що в нашому суспільстві деякі люди більш рівні, ніж інші.
Це ми бачили з наступних семи випадків, коли штучний інтелект (AI) навмисно використовується для виключення певних категорій або в яких він просто відображає упередженість, вкладену його людськими програмістами, з дискримінаційним ефектом.
AI Beauty упередження
Краса може бути в очах глядача, але коли цей суб'єктивний погляд може запрограмувати AI, у вас є упередженість програми. Рейчел Томас повідомила про один подібний епізод на конкурсі краси від beauty.ai в 2016 році. Результати показали, що світліші кольори обличчя були оцінені більш привабливо, ніж темні.
Наступного року «FaceApp, який використовує нейронні мережі для створення фільтрів для фотографій, створив« фільтр гарячості », який полегшив шкіру людей і надав їм більше європейських рис».
Гендерне зміщення у мовах
Томас також наводить задокументований приклад перекладів, які переносять стереотипні очікування від кар’єри. Вихідним пунктом є два речення: "Вона лікар. Він медична сестра".
Якщо потім перекласти їх на турецьку мову і повернути її англійською, ви отримаєте такі результати, яких ви могли б очікувати від телефонної гри.
Замість того, щоб почати з того, з чого ви почали, ви отримаєте таке очікування 1950-х років: "Він лікар. Вона медсестра". Вона пояснює, що це зумовлено гендерно-нейтральним займенником однини в турецькій мові, який призначатиме гендер на основі очікувань та стереотипних упередженостей. (Читайте Жінки в ШІ: Підсилення сексизму та стереотипів за допомогою техніки.)
Незважаючи на те, що расові та ґендерні упередження, що фільтрують у зображення та мову, є причиною неприємності, це не те саме, що активна дискримінація внаслідок ШІ, але це теж трапилося.
Його доказом було скріншот обмежень, розміщених на рекламу під категорією житла, що дозволяло зменшити аудиторію, перевіряючи виключення категорій, таких як афроамериканець, азіатський американець або латиноамериканці. Оголошення можна переглянути тут.
Як зазначає ProPublica, дискримінаційна дія таких оголошень є незаконною як згідно із Законом про добросовісне житло 1968 року, так і Законом про громадянські права 1964 року. Єдиною захистом у цій справі було те, що реклама була не для власного житла, як це було " t про нерухомість чи будинок для продажу чи оренди.
Однак існували й інші випадки націлювання, які вказують на расові упередження та мотивували різних організацій порушити цивільні позови проти соціальної мережі. Як повідомляв Wired, нарешті було вирішено коригувати технологію націлювання реклами в результаті врегулювання п'яти судових справ, які стягували її з дискримінації щодо меншин за допомогою реклами в березні 2019 року.
У своєму звіті про врегулювання ACLU вказав, наскільки підступними можуть бути такі націлені реклами, оскільки меншини та жінки можуть навіть не усвідомлювати, що їм не надають однакового доступу до інформації, житла та можливостей роботи, якими ділиться з білими чоловіками.
Оскільки все більше людей звертаються до Інтернету, щоб знайти роботу, квартири та позики, існує реальний ризик, що націлювання оголошень повторить і навіть посилить існуючі расові та гендерні упередження в суспільстві. Уявіть собі, якщо роботодавець вирішить показувати рекламу для інженерних робіт лише чоловікам - не тільки користувачі, які не визначені як чоловіки, ніколи не побачать цих оголошень, вони також ніколи не дізнаються, що вони пропустили.
Зрештою, у нас рідко є спосіб визначити рекламу, яку ми не бачимо в Інтернеті. Те, що ця дискримінація є невидимою для виключеного користувача, ускладнює зупинку.
2. Гендерна та вікова дискримінація на робочих місцях
Серед судових справ була незаконна дискримінація житла, націлене на цільове житло. У своєму звіті про врегулювання ProPublica зазначає, що перевірила платформу і вдалося придбати "оголошення, пов’язані з житлом для тих, хто виключає групи, такі як афроамериканці та євреї, і раніше знайшов оголошення про роботу, виключаючи користувачів за віком та статтю, розміщеними компаніями це імена домогосподарств. "
У ряді оголошень про роботу ACLU було встановлено, що явно націлено лише на чоловіків у певному віковому періоді, оскільки користувачі могли знайти, натиснувши відповідь на те, чому їм було показано, що саме ця реклама, були розміщені в іншій статті Wired. ACLU порушила звинувачення в Комісії з рівних можливостей зайнятості проти соціальної мережі та компаній, які розміщували рекламу, мотивуючи це тим, що вони порушують як законодавство про працю, так і громадянські права.
Дискримінація щодо найму людей старше 40 років порушує федеральний Закон про дискримінацію в галузі зайнятості (ADEA). Але націлювання оголошень на роботу лише на людей, які не досягли цього віку, є однією з речей, які дозволяє платформа.
ProPublica зауважив, що в одному зі своїх звітів було зроблено акцент на те, які об'яви про роботу використовуються з великої частки цієї незаконної форми виключення за віком. До "найменувань домогосподарств" належать Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Фонд громадських інтересів, Goldman Sach, OpenWorks та сама, серед інших.
Невдача розпізнавання обличчя
"Розпізнавання обличчя є точним, якщо ти білий хлопець", оголосив заголовок статті New York Times, опублікованої в лютому 2018 року. У ній було вказано результати, які виявили чітку кореляцію між тоном шкіри і несправним виявленням:
"Чим темніша шкіра, тим більше помилок виникає - до майже 35% для зображень темношкірих жінок, згідно з новим дослідженням, яке розбиває свіжий ґрунт, вимірюючи, як технологія працює на людей різної раси та статі".
Ці результати зараховуються Джої Буоламвіні, досліднику Медіа-лабораторії MIT та засновнику Ліги алгоритмічної справедливості (AJL). Її область досліджень - це ухили, що лежать в основі ШІ, що призводить до таких перекошених результатів, коли мова йде про розпізнавання облич, які не відповідають білим чоловічим нормам, встановленим для моделі.
Буоламвіні презентувала проблему расового та ґендерного зміщення для розпізнавання обличчя у розмові TED 2017 року, про яку вона посилалась на свій початок 2018 року у відео про проект гендерних відтінків з лабораторії MIT:
<
В описі відео сказано, що залишення безпідставного перемикання AI "призведе до каліку епохи автоматизації та ще більше посилить нерівність, якщо її залишити". Ризики - це не що інше, як "втрата здобутків, здійснених рухом за громадянські права та жіночим рухом при помилковому припущенні машинного нейтралітету".
Опис відео додає попередження, яке зараз зазначили багато інших, як ми бачили в «Жінці в ШІ: Підсилення сексизму та стереотипів за допомогою техніки:« Автоматизовані системи не є нейтральними нейтральними. Вони відображають пріоритети, уподобання та забобони - закодовані погляд - тих, хто має силу формувати штучний інтелект ".
25 січня 2019 року Buolamnwini опублікувала середній пост, який описував її власні дослідження та дослідження додаткових дослідників, які вказують на те, як недоліки ШІ призводять до помилок у режимі рекомісії Amazon, і вимагають від компанії припинити продаж послуги AI у відділах поліції.
У той час як Rekognation може похвалитися 100% точністю для розпізнавання світлошкірих самців і 98,7% точністю навіть для темних самців, якщо мова йде про самку, точність зменшилася до 92,9% для більш світлих жінок. Ще більш яскравим було різке падіння до 68,6% точності для темних жінок.
Але Амазонка відмовлялася від поступки. У статті Venture Beat цитується заява доктора Метта Вуда, генерального менеджера з глибокого навчання та AI в AWS, в якій він наполягав на тому, що висновки дослідників не відображають, як насправді використовується ШІ, пояснюючи:
«Аналіз обличчя та розпізнавання обличчя абсолютно різні з точки зору основної технології та даних, які використовуються для їх навчання. Спроба використовувати аналіз обличчя, щоб визначити точність розпізнавання обличчя, недоцільно, оскільки це не призначений для цього алгоритм ".
Але це не лише ті, хто пов'язаний з великими науково-дослідними центрами, які визнали алгоритми дуже проблематичними. ACLU провів власний тест за найбільш розумною вартістю 12,33 доларів, згідно з повідомленням Gizmodo. Він встановив, що Рекогніція знайомила 28 членів Конгресу з фотографіями злочинців.
"Неправдиві ідентифікації були здійснені, коли АСЛУ Північної Каліфорнії доручила" Відновленню "зіставити фотографії всіх 535 членів Конгресу проти 25 000 публічно доступних фотографій.
Оскільки 11 з 28 були кольоровими людьми, це відображало для них значну 39% помилок. На відміну від цього, рівень помилок в цілому був більш прийнятним 5%. Шестеро членів Конгресу Чорного Кавказу, які були серед тих, що відновлюють життя, пов'язаних зі страшними знімками, висловили свою стурбованість у відкритому листі генеральному директору Amazon.
Відхилення рецидивізму
Упередженість, вбудована в ШІ щодо кольорових людей, стає більш серйозною проблемою, коли це означає більше, ніж просто помилку в ідентифікації. Це було висновком іншого розслідування ProPublica в 2016 році. Наслідки такого зміщення - не менше, ніж свобода особистості, поєднана з ігноруванням реального ризику з боку людини, кольору шкіри якої сприяє алгоритм.
У статті йдеться про два паралельні випадки, в яких задіяний один білий злочинець та один чорний. Був використаний алгоритм, щоб передбачити, який із них, ймовірно, знову порушить закон. Чорний був оцінений як високий ризик, а білий - низький.
Прогноз зрозумів це зовсім неправильно, і білого, хто вийшов на волю, довелося знову ув'язнити. Це вкрай проблематично, оскільки суди розраховують на підрахунок балів у вирішенні питання про умовно-дострокове звільнення, а це означає, що расовий упередженість, врахований у програмі, означає нерівне поводження із законом.
ProPublica застосував алгоритм до власного тесту, порівнюючи показники ризику понад 7000 людей, заарештованих у графстві Брауард, штат Флорида, у 2013 та 2014 роках, із числом кримінальних справ, порушених проти них у наступні два роки.
Вони виявили, що лише 20% передбачень повторних злочинів насильницького характеру справдилися, а більш незначні злочини мали місце лише для 61% осіб, які оцінювали ризик.
Справжня проблема полягає не лише в недостатній точності, але і в расовій упередженості:
- Особливо ймовірно, що ця формула неправдиво позначає чорних підсудних як майбутніх злочинців, неправильно позначаючи їх таким чином майже вдвічі більше, ніж білих підсудних.
- Білих підсудних найчастіше вказували на низький ризик, ніж на чорних.
Фактично, це перекладається на рівень помилок 45% для негрів і 24% для білих людей. Незважаючи на цю яскраву статистику, Томас повідомив, що Верховний суд Вісконсина все ще підтримав використання цього алгоритму. Вона також детально описує інші проблеми, пов'язані з алгоритмами рецидивізму.