Почему нейросеть выдумывает факты и как это заметить
Галлюцинации нейросетей простыми словами: почему ИИ уверенно ошибается, в каких задачах это опаснее всего и пять способов проверить ответ.
Опубликовано Проверено 2 мин чтения
Вы спрашиваете нейросеть о книге — и она уверенно пересказывает главу, которой нет. Просите ссылку на закон — получаете номер статьи, который ничего не значит. Это не сбой и не обман. Это галлюцинация — так называют ситуацию, когда ИИ выдаёт выдумку за факт.
Почему так происходит
Нейросеть не ищет ответ в базе знаний, как справочник. Она прочитала огромное количество текстов и научилась продолжать текст самым правдоподобным образом. Чаще всего правдоподобное совпадает с правдой. Но если точных данных не хватает, нейросеть всё равно напишет гладкий, уверенный ответ — просто сочинённый.
Важно: уверенный тон ничего не говорит о точности. Выдумка звучит так же убедительно, как правда.
Где ошибки встречаются чаще всего
| Тип запроса | Риск | Почему |
|---|---|---|
| Цифры, даты, статистика | Высокий | Легко подставить похожее число |
| Ссылки, цитаты, номера законов | Высокий | Нейросеть «собирает» правдоподобный адрес или номер |
| Свежие новости и цены | Высокий | Без поиска в интернете знания нейросети устаревают |
| Малоизвестные люди и компании | Средний | Мало данных — больше догадок |
| Объяснение общих понятий | Низкий | Много текстов на эту тему, ответ стабильный |
| Редактура и стиль вашего текста | Низкий | Нейросеть работает с тем, что вы дали |
Пять способов поймать выдумку
- Попросите источник — и откройте его. Если ссылка не открывается или там написано другое, ответ под вопросом.
- Включите поиск в интернете. Во многих сервисах есть такая кнопка: нейросеть найдёт актуальные страницы и покажет, откуда взяла данные.
- Спросите по-другому. Задайте тот же вопрос в новом чате другими словами. Если ответы расходятся — данных у нейросети нет.
- Попросите оценить уверенность. «В каких частях ответа ты можешь ошибаться?» Нейросеть часто сама укажет на слабые места.
- Дайте ей материал. Вместо «что написано в договоре?» — загрузите договор. Ответ по вашему документу намного надёжнее ответа «по памяти».
Правило трёх «Д»: деньги, диагнозы, договоры — всегда перепроверяйте у специалиста или в официальном источнике. Нейросеть поможет подготовиться и разобраться, но решение принимаете вы.
Значит ли это, что нейросетям нельзя доверять?
Нет. Это значит, что доверять нужно по-разному в разных задачах. Написать письмо, придумать идеи, объяснить тему, сократить текст — здесь нейросеть отличный помощник. Назвать точную цифру, дату или статью закона — здесь она черновик, который нужно проверить.
Начинающим полезно потренироваться: попросите нейросеть рассказать о вашем городе или профессии — о том, что вы хорошо знаете. Найти ошибки в знакомой теме проще всего, и после пары таких упражнений вы начнёте замечать «подозрительные» места автоматически.