Как проверять факты и ссылки в ответе AI

Ответ AI удобно использовать как черновик списка вопросов. Связный текст и аккуратные ссылки сами по себе не дают оснований считать каждый факт установленным. Если результат пойдёт в рабочую инструкцию или публичный материал, выделите утверждения, от которых зависит решение. Для каждого найдите подтверждение в документе или пересчитайте его по исходным данным.

Допустим, вы дали ассистенту учебный отчёт об опросе. На вопрос о формате материалов ответили 40 человек. Из них 26 отметили приложение, а 22 — печатную версию. Можно было отметить оба варианта. Ассистент пишет, что «в опросе 48 человек выбрали один из форматов» и добавляет ссылку на руководство по анализу обучения. Проверим, откуда мог появиться результат и какую роль играет ссылка.

Разделите ответ на отдельные утверждения

Выпишите проверяемые фразы по одной. В примере есть утверждение о числе людей и о том, что каждый человек выбрал один вариант. Добавленная ссылка создаёт ещё один вопрос. Действительно ли документ содержит данные о данном опросе или объясняет общий способ подсчёта?

Запишите, какие утверждения повлияют на решение. Если команда планирует печатный тираж, важно различать число ответивших людей и число отметок в анкете. Если вы готовите только черновик вопросов для встречи, проверку можно начать с чисел и отложить остальные формулировки до появления исходных данных.

Отделите предложение от факта. «Стоит предложить оба формата» может быть рабочей идеей. Для неё не нужна ссылка, подтверждающая, что решение уже помогло. Фраза «возможность печатать повышает активность» описывает предполагаемый эффект и требует подходящего подтверждения.

Откройте источники сами

Проверьте, куда ведёт ссылка, кто выпустил документ и есть ли в нём нужный фрагмент. Похожее название может скрывать материал на другую тему. Если ссылка не открывается, попробуйте найти публикацию по автору, названию и году. До этого оставьте утверждение непроверенным.

Даже если ссылка открывается, проверьте, о чём именно статья. Руководство может объяснять обработку ответов с несколькими вариантами, но не содержать данных вашего опроса. Тогда используйте его для описания метода. Число отметок сверяйте с самим отчётом.

Когда ассистент пересказывает длинный документ, найдите рядом с ответом номер страницы, название раздела или короткую опорную фразу. Сверьте не только её наличие, но и соседние предложения. Важное условие может стоять после фразы и менять область применения правила.

Пересчитайте числа и проверьте условия

Сумма 26 и 22 даёт 48 отметок. На вопрос ответили 40 человек. Среди них 65 процентов указали приложение и 55 процентов — печатную версию. Здесь сумма долей может превышать 100 процентов, потому что варианты разрешено совмещать. Для каждого процента сохраните общий знаменатель 40 и отдельный числитель.

Спросите, можно ли посчитать число выбравших оба формата. Если все 40 человек отметили хотя бы один из этих двух вариантов, восемь выбрали оба. Если в вопросе были ещё варианты, точное пересечение по двум итоговым числам узнать нельзя. В таком случае нужна таблица ответов или уже подсчитанное пересечение.

Для другой задачи вместо пересчёта может пригодиться короткая проверка на копии. Если ассистент предложил способ обработки файлов, попробуйте его на небольшом наборе тестовых данных и сравните результат с ожидаемым. Для изменяемой информации найдите действующее руководство или датированную публикацию и запишите, какую версию открывали.

Исправьте формулировку в пределах данных

Для примера подходит такая запись. Из 40 ответивших 26 отметили приложение и 22 — печатную версию. Участники могли выбрать несколько вариантов. Основание — учебный отчёт и пересчёт. Если организаторы уточнят, что других вариантов не было и каждый человек сделал хотя бы один выбор, добавьте отдельный результат о восьми совмещённых ответах.

Если часть ответа остаётся непроверенной, выделите её явно. Можно записать, что вы не нашли указанного источника или что в доступном документе нет нужного показателя. Попросить AI предложить другой способ проверки полезно, но следующее утверждение тоже придётся сверять с внешними данными.

Храните проверенный вывод вместе со ссылкой или формулой. В рабочем документе это занимает несколько строк и позволяет коллегам воспроизвести проверку. Если данные меняются, добавьте дату выгрузки. Тогда изменение результата можно будет отличить от ошибки предыдущего расчёта.

Проверьте пригодность итогового текста

Прочитайте исправленный абзац без первоначального ответа AI. Каждая цифра должна иметь понятное основание. Для каждой существенной ссылки должно быть ясно, какой фрагмент она подтверждает. Если вы можете показать проверку другому человеку и он получает тот же вывод, абзац готов к использованию. То, что пока нельзя подтвердить, можно сохранить отдельным вопросом для дальнейшего исследования.

Что можно делегировать ассистенту

Попросите составить таблицу проверки из трёх полей. В первом будет утверждение, во втором возможное основание, в третьем действие для проверки. Так вы получите рабочий список, который сможете сверить с исходным материалом. Если в отчёте нет числа ответивших на опрос, оставьте это поле пустым и отметьте, какие сведения нужны для расчёта.

Для примера верните ассистенту точные количества и попросите показать две формулы. Затем выполните обе операции сами. Если результат нужен в общей презентации, перенесите рядом с диаграммой определение группы. Это снизит вероятность, что при следующем пересказе подпись снова изменит значение числа.

Источник

• NIST. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — профиль рисков генеративных систем, включая правдоподобные ошибочные ответы и ссылки.