Оценка точности продуктового интервью с синтетическими персонами, построенными методом P68

Введение

Продуктовая команда обычно использует глубинные интервью для поиска проблем, текущих обходных практик, триггеров, барьеров и языка потребителя. Замена или дополнение интервью синтетическими персонами обещает низкую стоимость, быстрые итерации и доступ к редким сегментам. Но модель может генерировать «хорошее интервью» из общих культурных шаблонов, одновременно ошибаясь в том, что сказал бы конкретный человек и какое решение следовало бы принять.

Ранние работы о синтетических выборках показали, что задание демографических признаков иногда позволяет восстановить групповые закономерности.1 Последующие исследования выявили недостаточную вариативность, чувствительность к формулировке запроса и различия статистических выводов между реальными и синтетическими выборками.2 Напротив, агенты, основанные на двухчасовых интервью о жизни, приблизились к повторным ответам самих участников заметно лучше демографических описаний.3 Это делает принципиальным вопрос не только о модели, но и об архитектуре представления человека и его мира.

Мы проверяем конкретный механизм: даёт ли формальная многомерность P68 дополнительную точность по сравнению с максимально сильной текстовой исходной линией, когда информация строго уравнена. Отдельные абляции позволяют различить вклад типизированного графа человека, графа внешней среды и динамики полной системы.

Обзор литературы

Языковые модели как замена человеческих выборок

Argyle и соавторы определили алгоритмическую точность воспроизведения как способность языковой модели с заданными признаками восстанавливать закономерности человеческих подгрупп.1 Bisbee и соавторы показали, что близость средних значений может скрывать слишком низкую вариативность и ошибки условных зависимостей; кроме того, ответы на одинаковые запросы менялись вместе с обновлениями закрытой модели.2 Поэтому необходимо фиксировать точную версию модели и технические проверки, а ошибку оценивать не только по средним значениям, но также по подгруппам и отдельным сочетаниям признаков.

Агенты, основанные на глубинных интервью

Park и соавторы построили агентов для 1 052 реальных людей по качественным интервью и оценивали их на Общем социальном опросе США, личностных шкалах и повторениях экспериментов.3 Важный результат для нашего дизайна состоит в том, что богатое индивидуальное интервью снижало смещение относительно персон, заданных только демографическими признаками. Однако эта работа не предоставляет свободно переиспользуемый корпус исходных интервью для нашей воспроизводимой процедуры обработки и используется как методологический ориентир.

Формирование и оценка синтетических персон

Hu и Collier обнаружили, что признаки персоны часто объясняют менее 10% вариативности в наборах субъективных оценок; польза описания персоны зависит от того, насколько выбранные признаки связаны с измеряемой целью.4 PersonaGym формализует динамическую оценку соответствия персоне в свободных сценариях,5 а BehaviorChain показывает, что даже наиболее сильные модели пока слабо воспроизводят последовательные цепочки человеческого поведения.6 Поэтому наша основная метрика опирается на конкретные скрытые ответы реальных участников, а не на общую оценку убедительности «характера».

Имитация продуктовых и диалоговых сценариев

Имитация пользователей для диалогового помощника по продажам сочетает оценку соответствия персоне, человеческие аннотации и автоматических судей,7 но генерирует и цели, и персоны, не сопоставляя каждый синтетический ответ с ответом соответствующего реального участника. Новые исследования синтетических потребителей также предупреждают, что хорошее совпадение в среднем может скрывать ошибки по сегментам и поведению после покупки.8 В нашем дизайне каждый прогноз сопоставляется с ответом того же участника, а ложный запуск и ложный отказ измеряются отдельно.

Научный пробел и вклад исследования

Существующая литература обычно меняет одновременно модель, формулировку запроса и количество контекста либо оценивает демографические опросы, искусственные персоны или поведение в отдельных задачах. Недостаточно работ, где один и тот же набор исходных фактов представлен и как сильное связное текстовое описание, и как формальный граф человека и внешней среды, а результат сравнивается с глубинным интервью того же участника о конкретной продуктовой гипотезе.

Исследовательские вопросы и гипотезы

В1. Повышает ли полная P68 точность evidence-содержания последующего продуктового интервью относительно подробного текстового baseline при одинаковой информации? В2. Какая часть улучшения объясняется графом человека, графом внешней среды и динамическими слоями? В3. Сохраняется ли эффект между семействами actor-моделей и при исключении каждой семьи по очереди? В4. Снижает ли более точное содержание интервью число ошибочных продуктовых решений?

Положительное ΔF1 означает преимущество полного метода P68. Критерий успеха: ΔF1 не меньше +0,05, нижняя граница 95%-го participant-cluster bootstrap-интервала выше нуля, safety non-inferiority по противоречиям в пределах 0,02 и прохождение actor-robustness правила. Значение сначала усредняется внутри участника, поэтому несколько вопросов и модельных повторов не превращаются в псевдонезависимых людей.

Данные и формирование эталона

Основной ретроспективный корпус

Основной набор данных — Guyennet v2, Proposal of a digital tool to develop clinical reasoning of novice nurses in psychiatry: an exploratory study in France, DOI `10.17632/nsrn95vfkf.2`, лицензия CC BY 4.0.9 Архив содержит 17 отдельных расшифровок интервью, единый вопросник и таблицу профилей участников. Интервью охватывают профессиональную траекторию, мотивацию, обучение, трудности входа в роль, текущие источники знаний, понимание клинического мышления и отношение к предлагаемому цифровому инструменту.

Набор выбран потому, что позволяет отделить сведения об участнике от его поздних ответов на единую продуктовую гипотезу и сохранить границы каждого отдельного интервью. Он не содержит подтверждённой покупки или длительного наблюдения за удержанием; поэтому служит референсом для содержания интервью, а не эталоном фактического поведения.

Внешняя проверка в другой предметной области

Корпус Yale Tenant Energy Advocacy, DOI `10.17632/3d6szfs894.1`, CC BY 4.0, содержит обезличенные интервью арендаторов, арендодателей и активистов о счетах за энергию, энергоэффективности дома и коллективном действии.10 Он используется для внешней проверки графа среды, но не влияет на разработку запросов и основной схемы целевых переменных.

Нормализация и изоляция эталонных ответов

Guyennet v2 служит только ретроспективным DEV-корпусом. Он позволяет отладить ontology, prompts, matching и статистический расчёт, но не даёт подтверждающего результата версии 2.1. Новый перспективный корпус разделяет T0-интервью для построения персоны, T1-продуктовую сессию и закрытое T2-интервью через 7–14 дней. T2 является основной контрольной записью, а согласованность T1↔T2 — отдельной оценкой естественной изменчивости человеческого ответа.

Зафиксированный исторический контекст

WORLD-FR-PSY-NURSING-2021Q4-V1 фиксирует 15 нейтральных внешних фактов из шести официальных французских источников на 31 декабря 2021 года: рамку подготовки и наставничества новичков в психиатрии,11 клиническое мышление в государственной программе подготовки медсестёр,12 дорожную карту и техническую доктрину цифрового здравоохранения,13 14 а также ограничения CNIL и HDS.15 16 Для каждого узла факта сохранены происхождение, время действия, время получения и контрольная сумма. Выводы исходной статьи, ответы Q11/Q12, тексты участников и темы, извлечённые из других интервью, исключены.

Дизайн эксперимента

Контролируемые условия с одинаковой информацией

Автоматическая проверка требует одинаковые atomic_fact_set_id и world_fact_set_id между B2–T3. Различаться могут только форма представления и заранее определённая архитектурная обработка. Дополнительная проверка полного стека хранится отдельно: B2/T1 не получают исторический контекст, а T2/T3 используют поиск P68 по графу мира. Её результат нельзя интерпретировать как чистый эффект архитектуры, поскольку одновременно меняется объём информации.

Модели и порядок выполнения

Основная модель OpenAI gpt-5.6-sol вызывается напрямую через API ответов OpenAI с зафиксированным уровнем рассуждения medium. Модели claude-fable-5, deepseek-v4-pro и deepseek-v4-flash вызываются через RMR Router. GPT‑5.6 Sol, Fable и DeepSeek V4 Pro генерируют синтетические ответы; независимое жюри состоит из GPT‑5.6 Sol, Fable и DeepSeek V4 Flash. Разделение Pro и Flash устраняет техническую проблему пустых ответов Pro в роли судьи и сохраняет независимость семейств моделей. Для каждого запуска сохраняются способ подключения, параметры генерации, контрольная сумма запроса, время, число токенов, задержка и фактическая модель ответа.

Контуры генерации ответа, ведения интервью и оценки разделены. Только контур оценки получает доступ к скрытому эталону. Повтор транспортного запроса не меняет смысловую попытку; исправление формата создаёт отдельную попытку и учитывается в частоте ошибок.

Целевые переменные и зафиксированный способ оценки

Открытые ответы человека и синтетической персоны преобразуются в одинаковые evidence-векторы. Атомарная единица хранит тип содержания — потребность, проблема, функция, условие, барьер, оговорка или решение — нормализованное утверждение, stance и буквальный фрагмент-основание. Процедура состоит из независимого выделения кандидатов, проверки точного фрагмента, консенсуса 2/3, слепого AB/BA-сопоставления реальных и синтетических единиц и отдельной проверки противоречий. Судьи не видят origin, arm, actor-модель, participant, порядок эксперимента и голоса друг друга. При отсутствии большинства ставится «недостаточно данных»; человек не разрешает разногласие. Ручная разметка не используется.

План анализа и критерий решения

Основной анализ проводится попарно на уровне участник × вопрос × actor-модель × повтор. Для каждой пары строится максимум-кардинальное one-to-one сопоставление evidence-единиц, после чего рассчитываются precision, recall и F1. Разность F1(T3)−F1(B2) сначала усредняется внутри участника и только затем между участниками. Это предотвращает псевдорепликацию за счёт нескольких вопросов или модельных повторов. Неопределённость оценивается participant-cluster bootstrap; публикуются точечная величина эффекта, 95%-й интервал и чувствительность к исключению каждой actor-семьи.

Выбран вариант B — полностью автоматическая оценка. GPT‑5.6 Sol, Claude Fable 5 и DeepSeek V4 Flash независимо выполняют каждый судейский этап по одинаковым замороженным схемам. Метка принимается по правилу 2/3; при отсутствии большинства единица получает «недостаточно данных», а доля таких случаев публикуется. Разрешена ровно одна техническая попытка исправления формата без изменения содержания; initial и effective parse-rate показываются отдельно. Ручная разметка и ручное разрешение разногласий не используются. Выводы валидны относительно этого автоматического измерителя, а не ручной экспертизы.

Этика, правовые основания и ограничения

Ретроспективные корпуса опубликованы под CC BY 4.0. Владелец данных разрешил их передачу модельным провайдерам: GPT‑5.6 Sol вызывается через прямой OpenAI API, Claude Fable 5 и семейство DeepSeek — через RMR Router. Исходные файлы хранятся отдельно от публичного сайта; стенд показывает только агрегаты и псевдонимизированные метаданные запусков. Существующая внутренняя G4-выборка исключена из новой методики после частичного операторского раскрытия во время аудита и не используется ни для разработки, ни для подтверждения v2.1. Для нового перспективного корпуса до контакта с участниками требуются отдельные ethics/legal, consent/privacy и recruitment approvals.

Основные риски: остаточные идентификаторы; запоминание данных моделью или пересечение с обучающим корпусом; утечка через граф среды; переобучение на 17 участниках; языковые и переводческие эффекты; изменение поведения провайдера; антропоморфная интерпретация; подмена заявленного намерения вымышленным поведением. Контроли включают скрытие целевых ответов, изоляцию данных, технические запросы-маяки, разбиение на уровне участника, фиксацию точной модели и запросов, а также отдельное перспективное исследование фактического поведения.

Малый ретроспективный DEV-срез ограничивает точность оценок и позволяет только улучшать измеритель и диагностировать отказы. Корпус TEA может добавить проверку переноса world layer в другую предметную область, но не заменяет независимый перспективный holdout и не делает выборку репрезентативной.