Алгоритм банку відхилив заявку без пояснень. Чат-бот медичного сервісу порадив небезпечне. Система розпізнавання переплутала людину з боржником. Щоразу, коли автоматика помиляється з реальними наслідками, звучить те саме запитання: хто відповідає? Розбираємо його чесно: без залякування технологіями і без ілюзії, що відповідальність можна делегувати машині.
Коротка відповідь: організація. Завжди
З погляду людини, яка постраждала від помилки, не існує “помилки алгоритму”. Існує помилка організації, яка цей алгоритм обрала, налаштувала і поставила між собою та людьми. Внутрішні деталі (чия модель, чий код, хто налаштовував) можуть розподіляти відповідальність між організацією та її підрядниками, але не переносять її на технологію. Алгоритм не субʼєкт: він не може ні вибачитися, ні компенсувати, ні виправитися.
Це не юридична консультація, а етичний і управлінський принцип, який дедалі частіше закріплюється і в регулюванні: за автоматизоване рішення відповідає той, хто його застосував до людини.
Три типові помилки мислення
“Ми не винні, це модель”. Модель обрали ви. Ви визначили, у яких питаннях їй довіряти, і ви вирішили не ставити людину на перевірку. Посилання на постачальника працює у стосунках з постачальником, але не у стосунках з людиною, якій зашкодили.
“Система точніша за людей, отже претензій бути не може”. Середня точність не втішає конкретну людину, що потрапила в відсоток помилок. Що вищі ставки рішення, то важливіший не середній показник, а механізм виправлення конкретної помилки.
“Ми ж попередили, що відповідає бот”. Прозорість необхідна, але вона не звільняє від відповідальності за зміст відповіді. Попередження “з вами говорить автоматика” не робить шкідливу пораду нешкідливою.
Що має бути в організації до впровадження, а не після інциденту
- Межі автономії. Список рішень, які автоматика має право ухвалювати сама, і рішень, де вона лише готує чернетку для людини. Виплати, відмови, медичні і юридичні поради: за замовчуванням людська територія.
- Шлях оскарження. Людина, незгодна з автоматизованим рішенням, має за один крок потрапити до живої людини з повноваженнями це рішення переглянути. Не в новий діалог з тим самим ботом.
- Журнал рішень. Що система відповіла, коли, на підставі чого. Без журналу розбір інциденту перетворюється на ворожіння.
- Власник системи на ім’я. Конкретна людина в організації, яка відповідає за роботу автоматики: переглядає помилки, зупиняє систему в разі збою, звітує. “Відповідають усі” означає “не відповідає ніхто”.
Практичний тест на готовність
Уявіть найгіршу правдоподібну помилку вашої автоматики і дайте відповідь на чотири запитання. Як швидко ви про неї дізнаєтеся? Хто і як виправить наслідки для людини? Що скажете публічно? Що зміните, щоб не повторилося? Якщо хоч на одне запитання відповіді немає, систему рано випускати до людей. Для служб підтримки ці запобіжники ми докладно розбирали в матеріалі про галюцинації моделей.
Замість висновку
Автоматизація не знімає відповідальність, а концентрує її: рішення, які раніше ухвалювали десятки людей у різному настрої, тепер ухвалює одна система за правилами, які написали ви. Це може зробити сервіс справедливішим і послідовнішим, але лише якщо організація ставиться до алгоритму як до свого рішення, а не як до чужої примхи. Питання етики впровадження розбираємо в рубриці Етика та майбутнє, а конкретну ситуацію вашої організації можна принести на безкоштовну консультацію.
