Упражнение 1. Три поколения промпта Выберите задачу из своей учёбы (конспект, план эссе, объяснение сложной темы, подготовка к семинару). Проведите эксперимент «три поколения», как в примере: плохой промпт – структурированный – итерация. В отчёт: все три промпта, краткие выдержки из ответов и вывод, как менялось качество.
Краткий ответ
«Три поколения» — это три прогона одного задания: расплывчатый запрос → структурированный → доработанный по итогам первого ответа. Качество растёт не от «вежливости» или длины, а от четырёх вещей: кто отвечает и кому (уровень), что именно нужно и в каком виде (формат), чего нельзя (ограничения), по каким критериям проверять (проверяемость). Итерация нужна потому, что дефекты видно только в готовом ответе — и правится не весь промпт, а конкретные места.
Ниже — образец отчёта. Выдержки в нём иллюстративные: в своём отчёте вставьте реальные 1–2 предложения из ответов (их и проверяет преподаватель).
Образец отчёта
Задача: конспект по биологии к контрольной, тема «Фотосинтез», 6 класс.
Промпт 1 (плохой)
«Напиши про фотосинтез.»
Выдержка из ответа: «В световой фазе происходит фотолиз воды и нециклическое фосфорилирование с участием фотосистем I и II…»
Что не так: нет адресата и объёма → ответ «для всех и ни для кого»; термины вузовского курса; нет структуры; конспект не годится — по нему нельзя готовиться к контрольной за 6 класс.
Промпт 2 (структурированный)
«Ты — учитель биологии, объясняешь тему шестикласснику. Составь конспект для подготовки к контрольной по теме «Фотосинтез». Ученик уже знает: растение — живой организм, в клетке есть хлоропласты. Формат: 4 блока с заголовками, в каждом 2–3 предложения, в конце схема «условия → результат». Объём — до 180 слов. Ограничения: без формул и без слов «фотосистема», «фотолиз»; не больше 5 новых терминов, каждый объяснить. Критерии: по конспекту можно ответить, что нужно для фотосинтеза, что получается и где это происходит.»
Выдержка из ответа: «1. Что это такое. Фотосинтез — процесс, при котором растение на свету из воды и углекислого газа образует питательные вещества. 2. Условия: свет, вода, углекислый газ, хлорофилл… 3. Где: в хлоропластах… 4. Итог: глюкоза и кислород.»
Что улучшилось: появился уровень, структура, объём, ограничения. Что осталось: упомянута «темновая фаза» без объяснения, нет ни одного примера-аналогии, нет самопроверки — непонятно, запомнилось ли.
Промпт 3 (итерация)
«Доработай этот конспект: (1) убери всё, что не нужно для ответа на три вопроса из критериев; (2) в каждый блок добавь одну аналогию или бытовой пример; (3) добавь блок «Типичные ошибки» — 3 пункта; (4) в конце — 5 вопросов для самопроверки, ответы в скобках; (5) до 200 слов, каждый термин объясняй при первом употреблении; (6) в конце проверь текст по критериям и скажи, что осталось слабым.»
Выдержка из ответа: «Аналогия: хлоропласт — маленькая кухня, свет — плита… Типичные ошибки: 1) «растения дышат только ночью» — дышат всегда, а фотосинтез идёт на свету… Вопрос: чем дыхание отличается от фотосинтеза? (при дыхании кислород поглощается, при фотосинтезе — выделяется).»
Что улучшилось: конспект стал применимым (по нему реально учить), появилась обратная связь для самопроверки, ограничения соблюдены — это можно проверить, а не «на глаз».
Вывод
| Что добавлено | Промпт 1 | Промпт 2 | Промпт 3 |
|---|---|---|---|
| Роль и аудитория | — | учитель → шестиклассник | + контроль уровня |
| Формат и объём | — | 4 блока, 180 слов | + блок ошибок и вопросы |
| Ограничения | — | без вузовских терминов | термины объяснять сразу |
| Критерии | — | 3 вопроса-критерия | самопроверка по ним |
Качество выросло по трём измеряемым признакам: соответствие уровню (исчезли лишние термины), структура (блоки и схема вместо сплошного текста), применимость (по третьему конспекту можно ответить на вопросы, закрыв текст). Главный прирост дал не объём промпта, а явные критерии и точечная доработка: в третьем поколении исправлялись названные дефекты, а не переписывалось всё заново.
Как сделать своё задание по этому принципу
- Возьмите реальную задачу — не «что-нибудь про историю», а «план эссе по теме X на 250 слов» или «объяснение теоремы Пифагора однокласснику».
- Поколение 1 — одна фраза, как написали бы в спешке. Сохраните ответ целиком.
- Поколение 2 — добавьте четыре блока: роль + аудитория; задача + формат и объём; ограничения («не использовать…», «не больше N терминов»); критерии («по ответу можно…»).
- Поколение 3 — прочитайте второй ответ и выпишите 2–3 конкретных дефекта. Затем попросите исправить именно их (и добавьте проверку по критериям). Промпт 3 обязательно должен ссылаться на предыдущий ответ.
- Проверка результата: закройте ответ и попробуйте по нему выполнить задачу (ответить на вопросы, рассказать тему). Сверьте факты с учебником — модель может ошибаться, и это тоже годится в вывод.
Чек-лист хорошего промпта: есть адресат → есть формат → есть запреты → есть критерий «готово, если…». Если какого-то пункта нет, скорее всего, ответ придётся переделывать.
Обсуждение
2 сообщенияУпражнение 2. Охота на галлюцинации Задайте модели три вопроса, на которые ей сложно ответить точно: о малоизвестных фактах любого города или вуза, о свежих событиях, о вымышленной книге или человеке (например: «Расскажи о книге «Тихий сад» Ивана Акимова, 2019»). Проверьте каждый факт через поисковик. В отчёт: три случая с результатами проверки – где модель наврала, насколько убедительно, как вы это выявили.
Краткий ответ
Смысл упражнения — поймать модель на уверенной выдумке и доказать её выдумку поиском. Три «ловушки» бьют по разным слабым местам: редкий факт (мало следов в обучающих данных → модель достраивает деталь), свежее событие (знания обрываются на дате обучения → подставляет старое как новое), несуществующая книга (нет объекта → создаёт его целиком: сюжет, издательство, ISBN).
Главное правило проверки: спрашивать не «звучит ли правдоподобно», а «есть ли первичный источник» — официальный сайт, каталог, пресс-релиз. И чем конкретнее деталь (год, цифра, ISBN, цитата), тем легче её опровергнуть: именно конкретность и выдаёт галлюцинацию.
1. Три вопроса (готовые формулировки)
| № | Тип | Промпт | Почему провоцирует |
|---|---|---|---|
| 1 | Редкий факт | «В каком году [объект: музей / кафедра / корпус] в [городе] получил нынешнее название, кто был его первым руководителем и сколько в нём единиц хранения? Нужны точные цифры и фамилии.» | Просит точность там, где данных мало — модель «дозаполнит» имя и число |
| 2 | Свежее событие | «Какие три решения приняли на [конференции / съезде / олимпиаде] в [месяц этого года]? Укажи даты и формулировки.» | Событие после даты обучения → подставит прошлогоднее или сочинит |
| 3 | Вымышленная книга | «Расскажи о книге "Тихий сад" Ивана Акимова, 2019: сюжет, издательство, объём, ISBN, отзывы критиков.» | Объекта не существует → сгенерирует «правдоподобный» пакет реквизитов |
Бонус-приём: задайте вопрос №3 второй раз с добавкой «Если данных нет — так и скажи, это важнее, чем угадать». Разница между двумя ответами — отличный материал в вывод.
2. Как проверять: пять приёмов
- Поиск точной фразы в кавычках.
"Тихий сад" Акимов→ 0 результатов = книги нет. Это самый быстрый тест на вымысел. - Первичный источник. Сайт музея/вуза, каталог библиотеки, страница издательства, пресс-релиз организаторов. Блог или пересказ — не доказательство.
- Проверка ISBN по контрольной цифре. В ISBN-13 последняя цифра вычисляется из первых 12: сумма цифр с весами 1, 3, 1, 3…; контрольная =
(10 − сумма mod 10) mod 10. У выдуманного номера она почти всегда не сходится. - Проверка ссылки. Попросите «дай ссылку на источник» и откройте её. Частый признак подделки: ссылка ведёт на реальный сайт, где сказано совсем другое.
- Дата и следы. Дата публикации новости, Wayback Machine для «пропавших» страниц, второй независимый источник.
3. Образец отчёта (выдержки иллюстративные — вставьте свои)
| Параметр | Случай 1: редкий факт | Случай 2: свежее событие | Случай 3: вымышленная книга |
|---|---|---|---|
| Что ответила модель | «Название присвоено в 1923 году, первым руководителем был Н. С. Петров, фонд — 41 000 единиц» | «На съезде в марте объявили о переносе сроков и новом формате заданий» с точными датами | «Роман вышел в издательстве "Альпина", 288 с., ISBN 978-5-9614-XXXX-X; критики сравнили с Набоковым» |
| Что дала проверка | На сайте музея — другой год и другая фамилия; «Н. С. Петров» не находится вообще | Пресс-релиз организаторов: событие было, но решения другие, часть дат — из прошлого года | Поиск точной фразы — 0 совпадений; ISBN не проходит проверку; у издательства такой книги нет |
| Вердикт | вымысел в деталях (год и имя) | устаревшие данные + искажение | полная фабрикация |
| Убедительность (1–5) | 4 — есть фамилия, число, деловой тон | 4 — правдоподобные даты и «канцелярские» формулировки | 5 — издательство, ISBN, объём, сравнение с классиком |
| Как выявлено | сверка с официальным сайтом | поиск пресс-релиза + проверка даты | поиск в кавычках + контрольная цифра ISBN |
Что писать в графе «насколько убедительно»: 5 — конкретные цифры, имена, ссылки, уверенный тон без оговорок; 3 — общие слова, «в последние годы»; 1 — модель сама предупреждает о неточности.
4. Вывод (шаблон, дополните своим)
Качество ответа падало не там, где вопрос был сложный, а там, где нечего было взять из данных: чем меньше реальных следов, тем плотнее модель заполняла пробел правдоподобными деталями. Три типа сбоя разные по природе: подмена факта (редкий случай — знание есть, но приблизительное), устаревание (свежие события — данные обрываются на дате обучения), фабрикация (вымышленный объект — создаётся целиком). Убедительность при этом росла от первого к третьему: чем больше «реквизитов» (ISBN, издательство, цитата), тем труднее заподозрить подделку — и тем важнее проверять первичный источник, а не тон ответа.
Для практики: любые цифры, даты, фамилии, ссылки и цитаты из ответа модели — проверяемые утверждения, а не факты; события «за последний месяц» без источника не использовать; формулировка «если данных нет — скажи прямо» заметно снижает выдумку, но не отменяет проверку.
Чек-лист сдачи: три промпта дословно → по 1–2 цитаты из ответов → источник проверки (сайт/каталог) → вердикт → оценка убедительности → общий вывод об одном предложении.
Можете прогнать все три вопроса прямо здесь: я отвечу, а вы проверите поиском и запишете результат в таблицу — я тоже могу ошибаться, и это как раз то, что упражнение и проверяет.
