Почему нейросеть выдумывает факты и как проверить её ответ

Нейросеть может назвать автора книги, которой не существует, привести цитату, которую никто не говорил, и дать ссылку на статью, которой нет. При этом текст будет гладким и уверенным. Такие ответы называют галлюцинациями.

Это не поломка и не «враньё» в человеческом смысле. Это следствие того, как устроена языковая модель. Если понимать причину, проверять ответы становится намного проще.

Откуда берутся выдумки

Языковая модель не ищет ответ в базе знаний. Она продолжает текст: шаг за шагом выбирает следующее слово так, чтобы продолжение было правдоподобным. Правдоподобное и верное часто совпадают — поэтому нейросети и полезны. Но не всегда.

Когда Вы спрашиваете о том, что много раз встречалось в текстах, на которых модель училась, верное продолжение оказывается и самым вероятным. Когда спрашиваете о редком — модель всё равно продолжит текст. Только теперь она составит ответ, похожий на правильный: с фамилией, годом и названием, которые выглядят уместно.

У модели нет встроенного сигнала «этого я не знаю». Фраза «не знаю» для неё — такое же продолжение текста, как любое другое, и далеко не всегда самое вероятное. К тому же при обучении уверенный ответ чаще поощряется, чем честное «не уверен»: угадывать выгоднее, чем молчать.

Где нейросеть ошибается чаще всего

• Точные числа и даты. Год события, тираж, население, номер статьи закона.
• Цитаты и ссылки. Модель знает, как выглядит ссылка на научную статью, и легко составит похожую.
• Редкие и узкие темы. История Вашего города, биография малоизвестного человека, документация к редкой библиотеке.
• Свежие события. Знания модели заканчиваются на дате её обучения. Если поиск в интернете не подключён, о недавнем она может только догадываться.
• Вопрос с ложной посылкой. На «почему Пушкин написал „Войну и мир“ в стихах?» модель может начать объяснять, вместо того чтобы поправить.
• Арифметика и подсчёты. Длинные вычисления, подсчёт букв в слове, сортировка большого списка.
• Собственные возможности. На вопрос «ты запомнишь это до завтра?» модель может ответить «да», хотя памяти между чатами у неё нет.

Напротив, пересказ текста, который Вы сами вставили в чат, объяснение школьной темы или исправление грамматики получаются надёжно: всё нужное либо перед глазами модели, либо тысячи раз встречалось при обучении.

Как проверять ответ

1. Попросите источники — и откройте их

Вопрос «откуда это известно?» полезен, но сам по себе ничего не доказывает: ссылку модель тоже может выдумать. Смысл — в том, чтобы открыть источник и найти в нём нужное место. Если ссылка не открывается или там написано другое — факт не подтверждён.

2. Дайте текст и просите отвечать только по нему

Самый надёжный способ. Вставьте в чат параграф учебника, условие задачи или статью и напишите:

Ответь на вопрос только по тексту ниже. Каждое утверждение подтверди
цитатой из текста. Если в тексте ответа нет — так и скажи.

Теперь модель не вспоминает, а читает, и каждое утверждение можно сверить с цитатой.

3. Разрешите сказать «не знаю»

Если ты не уверен в факте, напиши «не уверен» — это лучше, чем догадка.

Такая строка уменьшает число выдумок: Вы прямо сообщаете, что честное «не знаю» Вас устроит.

4. Сверяйте важное со вторым источником

Число, дату, формулу, фамилию — всё, от чего зависит оценка или решение, — проверяйте в учебнике, энциклопедии или на официальном сайте. Второй вопрос той же нейросети независимой проверкой не считается.

5. Пересчитывайте вычисления

Попросите показать решение по шагам и пройдите их сами или на калькуляторе. Ошибка обычно находится в одном конкретном шаге. Если в сервисе есть запуск кода, попросите модель посчитать программой, а не «в уме».

6. Задайте вопрос иначе

Откройте новый чат и спросите то же самое другими словами. Выдуманные детали при повторе обычно меняются, а настоящие остаются. Совпадение — не доказательство, но расхождение — надёжный сигнал.

7. Не подсказывайте ответ вопросом

Вместо «правда ведь, что…» спрашивайте «что известно о…». Наводящий вопрос подталкивает модель согласиться.

Признаки, что стоит насторожиться

• В ответе много точных деталей по теме, о которой мало пишут.
• Ссылка выглядит правильно, но не открывается или ведёт не туда.
• На уточняющий вопрос модель сразу меняет ответ на противоположный и извиняется.
• Ответ идеально совпал с тем, что Вы хотели услышать.

Чек-лист перед тем, как использовать ответ

1. Есть ли в ответе факты, которые я не могу проверить сам?
2. Самые важные из них — открыл ли я источник?
3. Числа и вычисления — пересчитал ли?
4. Не было ли в моём вопросе подсказки или ложной посылки?
5. Если ошибка в этом ответе обнаружится позже — насколько это будет серьёзно?

Чем дороже ошибка, тем тщательнее проверка. Для идеи поздравления проверять нечего. Для даты в реферате, дозировки лекарства или пункта закона — обязательно.

Значит, нейросетям нельзя доверять?

Можно — так же, как начитанному собеседнику, который иногда путает. Он быстро объяснит, набросает план, найдёт слабое место в рассуждении. Но факты за ним проверяют.

Полезная привычка — заранее делить вопросы на два вида. Там, где важна идея (как объяснить, с чего начать, какие есть варианты), нейросеть сильна. Там, где важен факт (сколько, когда, кто, где написано), её ответ — это черновик, который нужно подтвердить.

Коротко

• Модель продолжает текст правдоподобно. Правдоподобно — не значит верно.
• Чаще всего выдумываются числа, даты, цитаты, ссылки и редкие факты.
• Надёжнее всего — дать текст и попросить отвечать по нему с цитатами.
• Разрешите модели сказать «не знаю» и проверяйте всё, за ошибку в чём придётся отвечать.