Где выдумки появляются чаще всего
- Точные числа: цены, проценты, сроки, объёмы рынка.
- Реквизиты: номера законов и статей, ГОСТы, даты вступления в силу.
- Ссылки и источники: адреса страниц, названия исследований, фамилии авторов.
- Локальная специфика: правила конкретного города, особенности отрасли, внутренние регламенты.
Три приёма проверки
- Разделение. Попросить модель разложить свой ответ на подтверждаемое, выведенное и достроенное. Третья группа — зона риска.
- Источник рядом с фактом. Требовать, чтобы каждое число сопровождалось названием документа и формулировкой оттуда. Отсутствие источника — сигнал.
- Встречная проверка. Задать тот же вопрос в новом разговоре, сформулировав его иначе. Совпадение выдумок при разных формулировках маловероятно.
Чего делать не стоит
Просить модель «поклясться, что это правда» бессмысленно: заверение генерируется тем же способом, что и сам ответ. Точно так же не работает вопрос «ты уверен?» — он часто заставляет модель менять верный ответ на неверный, потому что сомнение читается как указание переписать.
Вопросы по уроку
Помогает ли доступ в интернет?
Сильно снижает риск по свежим и проверяемым фактам, но не убирает его: модель может неверно понять найденное или сослаться на ненадёжный источник. Ссылки всё равно стоит открывать.
Можно ли вообще доверять ИИ в юридических вопросах?
Как черновику — да, как заключению — нет. Формулировки и структура получаются полезными, но номера статей и сроки проверяются по первоисточнику. Цена ошибки здесь выше выигрыша во времени.