Входы измерителя готовы
Actor-ответы80 / 80
Extraction252 / 252
Три семейства сильных моделей сформировали ответы; независимое жюри выделило evidence-кандидатов из реального и синтетического материала.
Сравнительное исследование · реальные интервью как контрольный материал
Оценка точности продуктовых интервью с синтетическими персонами
Проверяем, воспроизводит ли синтетическая персона содержание последующего ответа того же реального участника точнее, чем сильная языковая модель с теми же исходными сведениями. Красивый или убедительный текст сам по себе результатом не считается.
Метод P68 — кодовое название исследуемого способа построения синтетической персоны. Он представляет сведения о человеке и внешней среде в типизированной многомерной модели; полная версия учитывает связи, время, состояния, память и ограничения.
Основное сравнениеT3 − B2разность F1 полного метода P68 и сильного текстового baseline при одинаковых исходных сведениях
Порог преимущества+0,05минимально значимое улучшение F1; 95%-й интервал должен лежать выше нуля
Способ оценки2 из 3три независимые модели оценивают каждый элемент вслепую; ручной разметки нет
Контроль измерителя132 / 132метаморфические проверки пройдены до научного расчёта
Подтверждённые результаты0новый перспективный holdout ещё не собран и не открывался
00.1 · Протокол B
Полностью автоматическая слепая оценка
Утверждённый способ оценки не предусматривает ручных кодировщиков: модели обрабатывают все ответы, а разногласия остаются наблюдаемой неопределённостью.
Как формируется измерение
GPT-5.6 Sol, Claude Fable 5 и DeepSeek V4 Flash независимо применяют один зафиксированный кодбук. Судьи не видят участника, источник ответа, вариант персоны, actor-модель, порядок предъявления и решения друг друга.
01Выделение содержания. Реальный и синтетический ответы преобразуются в атомарные утверждения о потребностях, функциях, условиях, барьерах и оговорках.
02Проверка опоры. Для каждого утверждения проверяется точный фрагмент исходного ответа. Неподтверждённые кандидаты не входят в вектор.
03Слепое сопоставление. Утверждения предъявляются в порядках AB и BA; совпадение принимается большинством 2 из 3.
ЕСТЬ БОЛЬШИНСТВО
Решение принимается минимум двумя одинаковыми голосами. Исходные голоса и технические повторы сохраняются для аудита.
БОЛЬШИНСТВА НЕТ
Единица получает статус «недостаточно данных». Человек её не разрешает; доля таких случаев публикуется отдельно.
Граница вывода. Полученный score измеряет согласование с реальным интервью по зафиксированному автоматическому протоколу. Он не является оценкой сходства с ручной экспертной разметкой и не доказывает прогноз покупки или удержания.
01 · Дизайн эксперимента
Как строится контрольная пара «участник × вопрос»
Ранняя часть уже проведённого интервью используется только как вход для персоны. Более поздний ответ того же человека остаётся закрытым до автоматической оценки.
Ретроспективный эталон по реальному интервью
Это последующий ответ участника, который не был доступен ни модели-генератору, ни контуру построения персоны. Он служит наблюдаемой контрольной записью того, что человек действительно сказал по продуктовой гипотезе.
01Формируем вход. Берём профиль и ответы Q1–Q10 одного участника: опыт, рабочие задачи, трудности и источники информации.
02Генерируем ответ. B2 и полный метод P68 независимо отвечают на один и тот же продуктовый вопрос.
03Открываем эталон для scoring. Синтетическое evidence сопоставляется с закрытыми ответами этого же участника на Q11–Q12.
Из каких показателей складывается точность
Основная величина — F1 по содержательным единицам: она одновременно штрафует пропущенное содержание и добавленные утверждения.
01Recall evidence. Какая доля потребностей, функций, условий, барьеров и оговорок реального ответа появилась в синтетическом.
02Precision evidence. Какая доля содержания синтетического ответа действительно подтверждается ответом человека.
03F1 evidence. Гармоническое среднее precision и recall; primary рассчитывается сначала внутри участника, затем усредняется между участниками.
04Безопасность. Отдельно считаются неподтверждённые детали и противоречия входным сведениям; они не прячутся внутри F1.
КРИТЕРИЙ УСПЕХА
Средняя парная разность F1(P68) − F1(B2) должна быть не меньше +0,05, а нижняя граница 95%-го participant-cluster bootstrap-интервала — выше нуля. Противоречия могут ухудшиться не более чем на 0,02; эффект должен быть неотрицательным минимум в двух семействах actor-моделей.
ДОПУСТИМАЯ ФОРМУЛИРОВКА
После нового независимого перспективного holdout можно будет заключить, что метод P68 точнее воспроизводит evidence-содержание продуктового интервью. Прогноз фактической покупки, активации и удержания остаётся отдельным исследованием.
Пять альтернативных представлений одной персоны
Это условия сравнения, а не этапы обязательного pipeline. Стрелка означает добавление одного слоя при неизменном наборе исходных сведений; основная пара — подробный текст B2 против полного метода P68 T3.
01.1 · Элемент метода
Исторический контекст французских интервью
Основной корпус собран во Франции, поэтому внешняя среда описывает именно французскую подготовку психиатрических медсестёр и цифровое здравоохранение на момент интервью.
Почему выбран именно этот контекст
Чтобы персона не рассуждала с учётом более поздних правил и технологий, знания ограничены датой 31 декабря 2021 года. Отобраны 15 нейтральных фактов из 6 официальных французских источников; ни один из них не получен из ответов участников.
- подготовка и наставничество начинающих специалистов в психиатрии;
- клиническое мышление в государственной программе подготовки медсестёр;
- архитектура цифрового здравоохранения, защита данных и требования HDS.
ОСНОВНОЕ СРАВНЕНИЕ С РАВНЫМ ОБЪЁМОМ ИНФОРМАЦИИ
Подробное текстовое описание (B2) и граф человека (T1) получают все 15 фактов обычным текстом. Граф человека и среды (T2) и полный метод P68 (T3) получают те же 15 фактов в виде графа. Так проверяется форма представления, а не преимущество от дополнительных сведений.
ДОПОЛНИТЕЛЬНАЯ ПРОВЕРКА РАБОТЫ СИСТЕМЫ ЦЕЛИКОМ
Текстовые варианты работают без внешнего контекста, а варианты метода P68 самостоятельно извлекают его из графа среды. Здесь одновременно меняются архитектура и объём доступной информации, поэтому этот результат не смешивается с основным сравнением.
02 · Данные
Откуда взяты реальные интервью
Нужен был легально доступный корпус, где один и тот же человек сначала описывает свой контекст, а затем отвечает на явный продуктовый вопрос. Мы проверили пять кандидатов и выбрали наиболее подходящий.
Почему выбран Guyennet v2. В наборе 17 отдельных интервью по единому вопроснику, профили участников и прямой вопрос о цифровом клиническом инструменте; лицензия CC BY 4.0 допускает исследовательское использование. Ответы Q11–Q12 можно закрыть как эталон, сохранив Q1–Q10 для построения персоны. Исходные расшифровки обрабатываются внутри исследовательского контура и не публикуются на этой странице.
| Набор данных | Лицензия | Расшифровки | Вопросник и профили | Соответствие продуктовой задаче | Пригодность для проверки контекста | Роль |
|---|---|---|---|---|---|---|
| Guyennet v2 · цифровой клинический инструмент | CC BY 4.0 | 5/5 | 5/5 | 5/5 | 4/5 | ОСНОВНОЙ ЭТАЛОН |
| Yale TEA · энергопотребление арендаторов | CC BY 4.0 | 5/5 | 2/5 | 3/5 | 5/5 | ВНЕШНЯЯ ПРОВЕРКА |
| Iriarte 2026 · мониторинг оборудования | CC BY 4.0 | 5/5 | 5/5 | 4/5 | 3/5 | Проверка B2B-сценария |
| Setiyani 2026 · образовательные потребности | CC BY 4.0 | 4/5 | 5/5 | 3/5 | 3/5 | Расширение смешанного метода |
| Stanford · 1 052 участника | Ограниченный доступ | 1/5 | 4/5 | 2/5 | 5/5 | Методологический ориентир |
03 · План исследования v2.1
От отладки измерителя до независимой проверки
Сейчас выполняется первая ретроспективная DEV-итерация. Настройка метода разрешена только на отладочных данных; подтверждающий вывод будет получен на новом перспективном корпусе T0/T1/T2.
ЛегендаЦвет показывает статус; длина полосы — календарный интервал; процент — готовность результата этапа.
Завершено
В работе
Запланировано
Рабочий пакет, ответственный и проверяемый результат
Загрузка дорожной карты…
03.1 · DEV-V2.1-001
Что уже измерено и чего ещё нет
Ниже показана техническая готовность первого прогона. Это не график качества: F1 для B2 и P68 появится только после заморозки evidence vectors и завершения слепого сопоставления.
Активная матрица
69%
2716 из 3957Claude 1319/1319; GPT 1059/1319; DeepSeek 338/1319. Ещё 157 transport failures без ответа провайдера исключены до голосования.
Baseline против P68
B2 · F1—
P68 · F1—
После AB/BA matching здесь появятся F1 обоих методов, парная разность, 95%-й интервал и эффекты по actor-семействам.
Как читать будущий график: выше — лучше. Главная величина — ΔF1 = F1(P68) − F1(B2). Успех требует ΔF1 ≥ +0,05, положительной нижней границы доверительного интервала и прохождения safety/robustness условий.
РАЗРАБОТКА И ПОДТВЕРЖДЕНИЕ РАЗДЕЛЕНЫНа Guyennet v2 можно отлаживать измеритель и метод, но нельзя выпускать подтверждающий claim. Финальная проверка проводится один раз после полного freeze на новом перспективном T0/T1/T2 корпусе; существующие девять G4-участников в v2.1 не используются.
03.2 · Размер подтверждающей выборки
Как будет рассчитана статистическая мощность
Код симуляции готов, но окончательный N намеренно не указан до measurement pilot. Сценарные числа до появления человеческой дисперсии не считаются заморозкой выборки.
Один участник
≥ 30
для measurement pilotСначала все парные разности усредняются внутри человека. Несколько вопросов и модельных повторов не создают псевдонезависимых участников.
Обнаружить преимущество
90%
нижняя граница 95% ДИ выше нуляПосле пилота центрированные participant-level residuals используются в той же bootstrap-процедуре, что и основной анализ.
Отдельное правило
+0,05
наблюдаемая разность F1Мощность обнаружения эффекта относительно нуля и вероятность одновременно превысить практический порог публикуются раздельно.
Почему это важно. Если истинный эффект ровно равен +0,05, вероятность получить оценку не ниже той же границы не становится 90% только за счёт роста N и стремится примерно к 50%. Поэтому 90%-я мощность относится к обнаружению эффекта относительно нуля; практическая значимость проверяется вторым условием. Окончательный N будет не меньше 80 и замораживается до открытия подтверждающих ответов.
СЛЕДУЮЩАЯ DEV-ГИПОТЕЗА И ЕЁ ДАННЫЕ ЗАФИКСИРОВАНЫDEV-V2.1-002 меняет только эпистемический контракт полного метода P68. Независимая development cohort B прошла isolation gate: 4 участника, 80 запросов, 24 ячейки, нулевое пересечение с DEV-001 и G4, 28 parity-проверок. Common prompt, baseline B2, модели, жюри и метрики не меняются; запуск ждёт failure review DEV-001.
04 · Воспроизводимость
Исследовательский журнал и реестр запусков
Каждое решение, изменение метода и техническая итерация сохраняются как отдельная запись. Исправления не стирают историю, а дополняют её новым событием.
| Запуск | Этап | Метод | Модель | Статус | Оценка |
|---|
05 · Сравнительные результаты
Baseline, метод P68 и неопределённость
Ранжирование строится по F1 evidence. Precision, recall, противоречия, стоимость и задержка показываются отдельно; единого непрозрачного «общего score» нет.
C2
Подтверждающий лидерборд пока пуст
Текущий DEV-прогон предназначен для разработки измерителя и метода. Официальные строки появятся после одного замороженного запуска на новом независимом T0/T1/T2 корпусе.
| # | Метод | Actor-модель | Участники | F1 evidence ↑ | 95% ДИ | Противоречия ↓ |
|---|---|---|---|---|---|---|
Подтверждённых результатов ещё нетНули и прочерки здесь означают отсутствие измерения, а не отсутствие эффекта. | ||||||
06 · Рукопись v2.1
Научная статья до подтверждающего результата
Текущая версия фиксирует исследовательский вопрос, обзор литературы, ретроспективный DEV-корпус, перспективный T0/T1/T2 дизайн, evidence-F1, порог +0,05, автоматическое слепое жюри и правила заморозки. Раздел результатов остаётся открытым только для фактически рассчитанных данных.
Открыть научную статью →Аннотация и научный вклад
Обзор литературы и аналоги измерения
Исследовательские вопросы и гипотезы
Данные и построение эталона
Автоматический протокол B
Статистический план и критерий успеха
Этика, ограничения и воспроизводимость