Мовна модель впевнено називає неіснуючу статтю закону, вигадує назву книжки або приписує організації програму, якої в неї немає. Це називають галюцинаціями штучного інтелекту. Слово звучить загадково, але за ним стоїть зрозумілий механізм, і розуміння цього механізму позбавляє технологію і зайвої магії, і зайвого страху. Розбираємо, звідки беруться галюцинації і як організації вибудувати роботу так, щоб вигадки не діставалися людям.
Модель не бреше: вона добудовує
Велика мовна модель за своєю природою робить одне: передбачає найімовірніше продовження тексту. Вона навчена на величезних масивах текстів і чудово знає, як виглядає правдоподібна відповідь. Але “правдоподібна” і “правдива” не одне й те саме. Коли моделі бракує фактів, вона не зупиняється, а добудовує відповідь тим, що статистично схоже на правду: правдоподібним номером статті, правдоподібною назвою, правдоподібною датою.
Тому в галюцинації немає наміру. Модель не розрізняє “знаю” і “не знаю” так, як людина. Їй однаково зручно згенерувати і точну цитату, і вигадану, якщо обидві виглядають доречно в контексті.
Коли галюцинацій більше
- Питання про вузькі або свіжі факти. Що рідше тема зустрічалася в навчальних даних, то більше модель “фантазує”. Локальні українські реалії, назви малих організацій, події останніх місяців: зона ризику.
- Прохання про точні реквізити. Номери законів, телефони, адреси, ціни: саме те, що модель найчастіше добудовує.
- Довгі ланцюжки міркувань. Помилка на другому кроці тягне за собою впевнені, але хибні висновки на п’ятому.
- Питання, що передбачає відповідь. “Розкажіть про програму X організації Y” підштовхує модель описати програму, навіть якщо її не існує.
Як захищаються в системах підтримки
Коли організація впроваджує помічника для відповідей людям, головний запобіжник називається просто: обмеження джерел. Помічника налаштовують так, щоб він відповідав не “з голови”, а лише на основі бази знань організації: документів, інструкцій, затверджених відповідей. Якщо відповіді в базі немає, правильна поведінка не вигадувати, а чесно сказати “не знаю” і передати питання людині.
Другий запобіжник: журнал відповідей. Команда має бачити, що саме відповів помічник і з якого фрагмента бази знань він це взяв. Тоді помилка перестає бути загадкою: або в базі неточність, яку треба виправити, або питання виходило за межі бази і його мала взяти людина.
Практичне правило для команд
Ставтеся до відповіді моделі як до чернетки розумного, але неуважного стажера: корисно, швидко, але перевіряється перед відправкою. Особливо все, що містить цифри, назви, реквізити і юридичні формулювання. Для внутрішньої роботи це правило економить репутацію; для відповідей людям воно обов’язкове.
Підсумок
Галюцинації не вада конкретного продукту і не ознака “поганого” штучного інтелекту. Це властивість технології передбачення тексту, з якою вміють працювати: обмежувати джерела, логувати відповіді, лишати людину відповідальною за фінальне рішення. Як влаштована база знань, що “не дає галюцинувати”, ми показували в окремому гайді з шаблоном структури.
Якщо ваша організація вагається, чи безпечно довіряти помічникові спілкування з людьми, приходьте на безкоштовну консультацію: розберемо ваші ризики конкретно, без загальних слів.
