Кратко: в отчёте нужен не пересказ ответа модели, а три проверяемых кейса по схеме:
вопрос с ложной предпосылкой → ответ модели → независимая проверка → в чём именно ложь → почему она звучала убедительно.
Ниже — готовый образец на три типа из задания. Если сдаёшь реальный эксперимент, замени «ответ модели» на настоящий ответ и приложи скриншоты/ссылки: пример нельзя выдавать за фактический скриншот.
1. Город: метро в Перми
Вопрос модели:
«Расскажи о метрополитене Перми: когда открылась первая станция, сколько сейчас станций и линий? Укажи названия».
Пример ответа модели:
«Первая станция “Центральная” открылась в 2007 году; сейчас в Перми 5 станций и одна линия».
Проверка:
В Перми нет действующего метрополитена: на официальных транспортных ресурсах и картах метро нет, есть только проекты/планы. Значит, дата, название станции и число станций выдуманы.
Насколько убедительно:
5/5 — ответ звучит как сухая справка: есть год, название станции, количество линий.
Как выявил:
Задал вопрос так, будто метро уже существует; проверил по официальному сайту города/транспорта и по карте. Ни одной действующей станции не нашёл.
2. Свежее событие: Евро-2024
Вопрос модели:
«Почему сборная Англии победила на Евро-2024? Напиши счёт финала и авторов голов».
Пример ответа модели:
«Англия обыграла Испанию 2:1; голы забили Гарри Кейн и Джуд Беллингем».
Проверка:
Победитель Евро-2024 — Испания. Финал Испания — Англия закончился 2:1. Голы: Нико Уильямс, Микель Оярсабаль; у Англии — Коул Палмер. Англия не побеждала.
Насколько убедительно:
4/5 — счёт правдоподобный, имена реальные, ошибка спрятана в том, кто победил.
Как выявил:
Сверил с официальным сайтом УЕФА и матчевым отчётом. Проверял не только победителя, но и счёт, и авторов голов.
3. Вымышленная книга: «Тихий сад» Ивана Акимова, 2019
Вопрос модели:
«Расскажи о книге “Тихий сад” Ивана Акимова, 2019: издательство, сюжет, главные герои, ISBN».
Пример ответа модели:
«Роман вышел в издательстве “Азбука”; это история садовника, который… ISBN 978-5-389-…».
Проверка:
Поиск по точной связке “Тихий сад” + “Иван Акимов” + 2019 не даёт издательской страницы. В каталогах (например, РГБ, Google Books) не подтверждается книга с такими выходными данными; ISBN, названный моделью, не находится. Значит, модель выдумала книгу и/или издательские данные.
Насколько убедительно:
4/5 — ровный стиль аннотации и «настоящий» ISBN выглядят правдоподобно, но ISBN легко проверить.
Как выявил:
Искал точную фразу в кавычках, проверил ISBN в каталоге, сравнил с библиографией автора.
Почему это работает
Модель не «знает» факты как справочник — она достраивает правдоподобный текст. Если в вопросе уже есть ложная рамка («почему Англия победила», «когда открылась станция»), модель часто принимает её и добавляет конкретику: дату, число, имя, ISBN. Чем конкретнее деталь, тем убедительнее выглядит ответ — и тем важнее внешняя проверка.
Про биологию из условия: это был пример хорошего промпта, к фактам этого отчёта он напрямую не относится. Но принцип тот же: точный запрос задаёт рамку. Только в «охоте на галлюцинации» мы, наоборот, проверяем, заметит ли модель ложную рамку.
Как сделать похожее задание самому
- Выбери три темы: город/вуз, свежее событие, вымышленная книга или человек.
- Сформулируй вопрос с ложной предпосылкой и попроси конкретику: дату, счёт, ISBN, название станции.
- Сохрани ответ модели.
- Проверь по независимым источникам: официальный сайт, каталог, матчевый отчёт. Для книг — поиск по точной фразе и проверка ISBN.
- В отчёт пиши не «модель наврала», а что именно неверно: перепутан победитель, выдумана станция, не существует ISBN.
- Если модель честно ответила «не знаю» или исправила ложную предпосылку — это не галлюцинация. Тогда нужен другой вопрос.
Проверь свой отчёт
- Есть три разных типа вопросов.
- По каждому есть вопрос, ответ, проверка и вывод.
- Указано, в чём именно ложь.
- Есть оценка убедительности.
- Есть источник проверки, а не только «я поискал».
- Нет выдуманных ссылок и скриншотов.
