Почему ИИ ошибается: как работают галлюцинации нейросетей и как их замечать

При этом тон у неё такой, будто она только что сверилась с энциклопедией... Спойлер: не сверилась.

Почему ИИ ошибается — вопрос не про «сломался» и не про «недостаточно умный». Ответ лежит в самой его конструкции: он не ищет истину — он предсказывает, какое слово логичнее поставить следующим. И иногда самым логичным оказывается красивая выдумка.

Разберём, откуда берутся ошибки искусственного интеллекта, почему они выглядят так убедительно и как их замечать, не имея диплома по машинному обучению.

Главная причина: ИИ не проверяет факты — он продолжает текст

Начнём с базы, без которой дальше может быть непонятно. ИИ учится на огромном массиве текстов и фиксирует закономерности: какие слова встречаются рядом, как строится абзац, как звучит объяснение, как оформляется научная ссылка и т. д.  Когда пользователь задаёт тот или иной вопрос, модель не «достаёт ответ из базы» — она генерирует текст, который по своим закономерностям похож на правильный ответ.

Обычно это работает: тексты о погоде, рецепты, объяснения терминов получаются складными и в основном верными. Но есть подвох. Если ИИ не знает факт, у него нет встроенного переключателя «стоп, я не знаю». Он продолжает генерировать, потому что его задача — правдоподобный текст, а не проверенное утверждение. Отсюда и берутся галлюцинации нейросетей: модель заполняет пробел тем, что статистически подходит на его место.

5 типов ошибок ИИ, которые встречаются чаще всего

Фактические выдумки: несуществующие даты, события, люди. Классика: «родился в 1874 году» вместо 1847-го — цифры просто похожи.

Придуманные источники. Самое коварное. ИИ может выдать ссылку с правдоподобным названием, автором и журналом — и ни один из них не существует. Формат научной публицистики она выучила отлично, а конкретной статьи — нет.

Логические ошибки. Текст выглядит связно, но вывод следует не из него. Особенно часто — в подсчётах, юридических и медицинских темах.

Устаревшие данные. У модели есть дата «отсечки обучения», и всё, что произошло позже, она может либо не знать, либо додумать. Достоверность ответов ИИ падает ровно в тот момент, когда вопрос касается свежих событий, цен, курсов, законов.

Уверенный тон при полном отсутствии знаний. Модель не «стесняется» — она пишет с той же интонацией, что и правильные ответы.

Почему ИИ так уверенно ошибается

Потому что уверенность — это тоже стиль. В обучающих текстах объяснения обычно пишутся утвердительно: «это работает так», «главная причина —», «исследования показывают». Модель выучила и тон, и структуру. Вежливое «я не уверен, но, возможно» встречается в текстах гораздо реже, поэтому и генерируется реже.

Отсюда важное практическое правило: тон ответа ничего не говорит о его соответствии действительности. Спокойное «я не знаю» от ИИ — редкий и ценный сигнал. Если модель его выдала — пользователю повезло: она не стала заполнять пробел.

Как распознать галлюцинацию ИИ: 7 признаков

Как понять, что ИИ врёт? Вот красные флаги:

слишком точные детали без источника: конкретная дата, номер страницы, название статьи — и ни одной ссылки;

ссылки, которые не открываются вовсе или открываются, но там информация по другой теме;

цифры и статистика: проценты, суммы, рейтинги — самая частая зона выдумок;

цитаты: дословные высказывания знаменитостей — почти всегда пересказ, но иногда и полная выдумка;

отсутствие сомнений: ноль оговорок в вопросе, где любой специалист начал бы с «зависит от...»;

свежие события: всё, что произошло после даты обучения модели, — зона повышенного риска;

гладкость ответа на вопрос по узкой либо редкой теме — модель как будто «что-то слышала», у неё есть смутный образ темы, но нет конкретных фактов.

Что такое «гладкость»

Гладкость — это то, как текст читается: связность, плавные переходы, отсутствие запинок, оговорок, «не знаю», «возможно», «источники расходятся». Гладкий ответ звучит как готовый абзац из учебника — ровно, уверенно, без шероховатостей.

В чём парадокс? 

Логично ожидать обратного: чем лучше модель знает тему, тем более гладкий её ответ. Но на практике часто наоборот.

Когда тема хорошо известна — в обучающих данных много материала, а в нём много нюансов: разные точки зрения, оговорки, «зависит от контекста», «в одних случаях так, в других иначе». Модель это фиксирует — и ответ получается шероховатым: с «однако», «стоит учитывать», «есть разные подходы» и т. д. Это признак того, что модель «начиталась» реального материала со всеми нюансами по теме.

Когда же тема «на грани» — реального материала, на основе которого ИИ даёт ответ, мало или его вообще нет. Но формат уверенного объяснения модель выучила отлично и она генерирует гладкий текст по форме, не имея за ним содержания. Нет противоречивых данных — нет и шероховатостей. Нет «источники расходятся» — потому что модель не знает, что там вообще есть источники.

Гладкость — не индикатор качества. Наоборот, в сложных темах лёгкие оговорки — часто признак того, что модель работает с реальными данными, а не достраивает их по шаблону.

Как проверить ответ ИИ: 6 рабочих приёмов

Требуйте источники, на основе которых ИИ выдал ответ, и открывайте их. Не «какие источники?», а «дай ссылки, которые можно открыть». Если ссылок нет или они ведут в никуда — ответ под подозрением.

Перекрёстная проверка. Один и тот же вопрос в двух-трёх моделях ИИ. При этом стоит помнить, что совпадение не гарантирует правду (модели учатся на похожих данных), но расхождение — явный сигнал фантазёрства.

Перефразируйте вопрос. Спросите то же самое иначе, добавьте уточняющие вопросы «а если наоборот?», «а есть ли исключения?» и т. д. Галлюцинация часто рассыпается при смене формулировки, а устойчивое знание — нет.

Требуйте от ИИ честного ответа в тех случаях, когда он не владеет достоверной информацией. Прямо: «Если не уверен — скажи, что не знаешь». Это не панацея, но заметно снижает количество выдумок.

Проверяйте цифры отдельно. Любая статистика — только через первоисточник. Фактчекинг цифр — самое неблагодарное, но самое нужное занятие.

Разделяйте задачи. Для фактов — первоисточники. Для черновиков, переформулировок и объяснений «своими словами» — ИИ. 

Когда ИИ ошибается меньше (а когда — больше)

Меньше: переформулировать текст, объяснить термин простыми словами, перевести текст с одного языка на другой, структурировать хаотично написанный текст в чёткий список тезисов.

Больше: точные даты и цифры, свежие новости, юридические и медицинские утверждения, ссылки и цитаты... Иными словами, всё, что требует «проверено кем-то, кроме модели».

Итоги

Ключевые моменты коротко.

Почему ИИ придумывает факты?

Потому что его задача — генерировать правдоподобный текст, а не проверять истину. Когда модель не знает факт, она заполняет пробел статистически подходящим вариантом — так и появляются галлюцинации нейросетей.

Врут ли нейросети намеренно?

Нет. У модели нет намерения обмануть — у неё нет ни желаний, ни планов. Она продолжает текст по закономерностям, выученным на массиве данных.

Как проверить, не выдумал ли ИИ ответ?

Требуйте рабочие ссылки и открывайте их, проверяйте цифры и цитаты по первоисточникам, задайте тот же вопрос иначе, сравните ответы нескольких моделей ИИ. Любую деталь, которую нельзя проверить, считайте неподтверждённой.

Почему нейросеть уверенно говорит неправильные вещи?

Уверенный тон — это стиль обучающих текстов, а не индикатор верного ответа. Модель не «стесняется» и не сомневается, поэтому тон ответа ничего не говорит о его достоверности.

Можно ли полностью доверять ИИ?

Как черновику, помощнику и объяснятелю — да. Как источнику фактов, цифр и ссылок — нет. Достоверность ответов ИИ растёт, когда рядом есть человек, который проверяет.

ИИ — не справочник, а очень начитанный собеседник, который иногда говорит красивее, чем знает. Поэтому слушайте с интересом, но проверяйте с пристрастием.

Свежие, актуальные и оперативные новости в нашем  Telegram-канале  — коротко, быстро и по делу.

Сообщение Почему ИИ ошибается: как работают галлюцинации нейросетей и как их замечать появились сначала на Наш Портал - NPR.BY .