Упражнение 2. Охота на галлюцинации Задайте модели три вопроса, на которые ей сложно ответить точно: о малоизвестных фактах любого города или вуза, о свежих событиях, о вымышленной книге или человеке (например: «Расскажи о книге «Тихий сад» Ивана Акимова, 2019»). Проверьте каждый факт через поисковик. В отчёт: три случая с результатами проверки – где модель наврала, насколько убедительно, как вы это выявили.
Краткий ответ
Модель не «достаёт факт из базы», а достраивает правдоподобное продолжение текста — поэтому дата, число и ISBN у неё выглядят так же гладко, как настоящие. Значит, критерий истины один: внешний источник. Отчёт по упражнению строится по одной схеме на каждый случай: вопрос → дословный ответ модели → что нашлось при проверке → вердикт (правда / искажение / выдумка) → чем именно вы это выявили + оценка убедительности.
Почему модель «врёт» без злого умысла
- Нет различения «помню» и «правдоподобно звучит». Для модели «2019» + «Иван Акимов» + «Тихий сад» — просто сочетание, которое хорошо продолжается описанием сада и судьбы героя.
- Нет даты отсечки в голове. Свежие события она подаёт в том же уверенном тоне, что и события 2010 года.
- Гладкость = ловушка. Чем больше конкретики (тираж, номер кафедры, ISBN, цитата), тем убедительнее ответ — и тем вероятнее, что детали сконструированы.
- Согласие с ложной посылкой: если в вопросе подсунуть неверную деталь, модель часто её «подтвердит».
Как подобрать три вопроса, чтобы галлюцинация проявилась
| Тип | Хороший вопрос | Признак, что вопрос «рабочий» |
|---|---|---|
| Малоизвестный факт города/вуза | «В каком году открылась научная библиотека [вуза] и сколько томов было в первом фонде?» | Есть точное число/год, которые нельзя угадать |
| Свежее событие | «Кто победил на [конкретном конкурсе/олимпиаде] в этом году и с каким результатом?» | Событие позже даты обучения модели |
| Вымышленная книга/человек | «Расскажи о книге „Тихий сад“ Ивана Акимова, 2019: сюжет, издательство, ISBN» | Сущности не существует — проверка однозначна |
Как проверять каждый тип
- Город/вуз: идите на первичный источник — раздел «История» на сайте вуза, официальный сайт города, краеведческая публикация. Ищите в поиске точную формулировку числа в кавычках:
"библиотека" "12 000 томов" "1946". Совпадение только в пересказах ИИ-сайтов — не доказательство. - Свежее событие: найдите 2–3 независимых издания и посмотрите дату публикации. Частая ошибка модели — смешать прошлогоднего победителя с текущим годом.
- Вымышленная книга: проверяйте не описание, а идентификаторы. Нет записи в каталогах (РГБ, Open Library, Google Books) и нет ISBN — книги нет.
Полезный технический трюк — контрольная цифра ISBN-13. Первые 12 цифр умножаются поочерёдно на 1 и 3:
$$\text{sum}=d_1+3d_2+d_3+3d_4+\dots+3d_{12},\qquad d_{13}=(10-(\text{sum} \bmod 10))\bmod 10$$
Выдуманный ISBN почти всегда эту проверку не проходит — отличная «улика» для отчёта.
Шаблон отчёта (заполняйте своими данными)
Случай 1. Вымышленная книга «„Тихий сад“, Иван Акимов, 2019»
- Ответ модели: (скопировать дословно)
- Проверка: поиск по названию в каталогах — 0 изданий; автор не находится; ISBN либо отсутствует, либо не проходит проверку контрольной цифры.
- Вердикт: галлюцинация.
- Убедительность (1–5): 4 — сюжет и издательство описаны связно, но нет ни одной проверяемой ссылки.
- Как выявил: проверял не текст, а существование объекта.
Случаи 2 и 3 — то же, но с реальными объектами: там вердикт может быть «правда», «устаревшие данные» или «смешение двух фактов» (модель склеила два реальных события — это тоже галлюцинация, только незаметнее).
Шкала убедительности: 1 — явно уклончиво, «возможно»; 3 — уверенный тон без деталей; 5 — конкретные числа, имена, цитаты, ISBN, и всё это выглядит как справка из энциклопедии.
Проверка результата
Перед сдачей задайте себе три вопроса: (1) есть ли у каждого случая первичный источник, а не блог? (2) записан ли ответ модели дословно, до проверки? (3) указано ли, какая именно деталь оказалась ложной, а не просто «ответ неверный»? Если все три — да, отчёт готов: вы показали не «модель ошибается», а механизм, по которому ошибку можно поймать.
