Daisy Content Intelligence · Data Program v0.2

00 / CORRECTION

Что именно было не так

Каталог каналов подменил собой исследование публикаций. Это исправляется не новым слоем мнений, а новым data contract и полным item-level корпусом.

Старые 160 карточек — discovery seed, не доказательный корпус

Они помогают начать инвентаризацию. Канальные scores, типы результатов и «продакшн-паттерны» считаются legacy hypotheses: они не попадают в новый аналитический слой, пока не будут пересчитаны из публикаций с evidence spans.

01 / DATA LOGIC

Единица анализа — публикация

Любой итоговый тезис должен раскрываться обратно до конкретного текста, таймкода, кадра или metadata field.

01Sourceканал, аккаунт, площадка

02Inventoryвсе eligible items в окне

03RAWpayload, body, media, hash

04Parsedtranscript, OCR, frames, blocks

05Codedполя A–M + evidence

06QAagreement, missing, retry

07Freezemembership + hashes + versions

G2Gatedataset разрешён к анализу

08Analysisтолько после frozen release

02 / SCOPE

Два временных окна

Основной срез охватывает последние шесть месяцев. Предыдущие шесть месяцев — контроль изменения тем и форматов после Cowork/Codex.

Primary

22.02.2026 — 22.08.2026

Полный crawl eligible публикаций YouTube и Telegram. RU + EN. Item-level metadata, body, thumbnail, captions/transcript и согласованная extraction schema.

Comparator

22.08.2025 — 21.02.2026

Контрольный корпус по той же sampling rule. Нужен, чтобы отличить новый Cowork/Codex-сдвиг от обычной структуры AI-контента.

YouTube · W1

канал, видео, Shorts, playlists
title/description/chapters
thumbnail, captions, duration
метрики только snapshots

Telegram · W1

канал, пост, album/thread
body, entities, links, media
format blocks и reactions snapshot
forward/reply relation

Другие · W2+

Shorts/Reels/TikTok
LinkedIn/X/Threads
newsletters, podcasts, courses
официальные use cases и GitHub

03 / STORAGE

Raw-first и версия каждого преобразования

Смена таксономии или модели не требует повторного crawl: первичный снимок остаётся неизменным.

L0 · IMMUTABLE

RAW

Platform payload, title/body/description, links, разрешённые assets, captions, metrics snapshot, fetched_at и SHA-256.

source URL → raw object URI → hash

L1 · TECHNICAL

PARSED

Transcript segments, chapters, OCR, sampled frames, post blocks, entities. Parser/model/prompt version обязательны.

raw hash → parse run → artifacts

L2 · AGREED CODEBOOK

CODED

Аудитория, дело, шаги, результат, время, педагогика, продакшн, CTA. У каждого значения — evidence span.

field → value → evidence → review

L3 · FROZEN RELEASE ONLY

ANALYTIC

Coverage, dynamics, clusters, co-occurrence, platform comparison. Любой график привязан к dataset_release_id.

release → query → chart → denominator

20 основных сущностей

platformaccess policy и limits

source_accountканал/аккаунт

account_snapshotметрики/описание

content_itemстабильный item ID

content_snapshotверсия публикации

media_assetthumbnail/image/audio

transcriptcaptions или ASR

transcript_segmentтаймкод/спикер/text

visual_observationOCR/region/features

format_blockparagraph/list/code

entity_mentiontool/role/org

content_relationcross-post/remake

crawl_runwindow/config/status

crawl_errorretryable/blocker

extraction_runschema/model/prompt

extracted_claimодно значение + evidence

taxonomy_termversioned dictionary

annotationhuman/model review

qa_sampleagreement/golden

dataset_releasefreeze/hashes/coverage

04 / EXTRACTION

Что вынимаем из каждого поста и видео

Legacy v1 содержит 12 навигационных claims на item. Полный Contract v0.2 из 110 полей сейчас проходит owner review и калибровку; массовое извлечение ещё не запущено.

A–C · Происхождение, обещание, аудитория

Identity: platform/item IDs, URL, version, publish/fetch time, language, access method, raw hash. Promise: title, opening, hook, обещаемый результат, число/срок, novelty/fear/status/gain. Audience: явная и выведенная отдельно, профессия, уровень, life/work/team/children, trigger, user vs buyer.

D–F · Инструмент, работа, усилие

Tool: продукт, feature, model/version, integrations, cost, alternatives, affiliate. Work: job-to-be-done, inputs, steps, decisions, output, DT01–DT16, K1–K10, acceptance criteria, human check. Effort: time-to-first-result, execution time, prerequisites, setup, tool switching, recurring cost.

G–I · Педагогика, режиссура, структура поста

Teaching: explain/demo/build/case/challenge/reference/news, mental model, worked example, scaffold, error, recap, homework, transfer. Production: talking head/screen/voiceover, cold open, result-first, pacing, shots, chapters, on-screen text, B-roll, correction. Text: first screen, paragraphs, headings, bullets, emoji, code, prompts, screenshots, carousel, links.

J–M · Серийность, доказательства, реакция, Daisy

Serial/funnel: playlist, rubric, prev/next, cadence, CTA, lead magnet, monetization, repackaging. Proof: sources, visible input/output, new test, counterexample, limits, privacy/safety. Engagement: отдельные timestamped snapshots, не «качество». Daisy: Cowork/Codex/ChatGPT relevance, профессия, task transfer, context, collaboration/handoff, acceptance.

Обложка

Текст, face/tool/logo/screenshot, before-after, dominant colors, layout, clutter, image regions + embedding. Не «красивая/плохая».

Транскрипт

Caption/ASR source, language, start/end/speaker, confidence, chapters. Каждый смысловой claim хранит точный span.

Пост

Ordered blocks, первый экран, длина абзацев, emoji, code/prompt, images, links, disclosure, CTA position.

05 / EXECUTION

Волны и контрольные ворота

W0–W7 data crawl завершены и release v1 frozen. Текущий этап — отдельный методологический Gate 1: утвердить 110 полей на 96 реальных items до bulk parsing.

2–3 дня

Seed audit + access matrix

160 источников, IDs, окна, ToS/robots/API, rights и crawl feasibility.

source registry v1

3–5 дней

Data plane

Отдельная БД/хранилище, idempotent runs, raw hashes, retry ledger, empty dashboard.

tested empty schema

5–7 дней

Полные inventories

Все eligible items по channel × month. После этого известен реальный denominator и стоимость W6.

expected vs found

W3–W4

8–12 дней

Pilot raw + parsed

50 items: metadata/body/thumb/captions, transcript/segments/OCR/frames.

pilot corpus

3–5 дней

Двойная разметка

10–20% pilot, disagreement report, codebook diff и заполненные примеры.

schema candidate

GATE 1

Вы утверждаете структуру извлечения

Поля, словари, evidence, platform-specific rules, scale и права.

mass extraction unlock

1–3 недели

Full crawl 6m

Raw + parsed + coded по утверждённой версии. Параллельные workers и постоянный coverage dashboard.

volume-dependent

4–6 дней

QA + dedupe + freeze

Retries, entity resolution, missingness, agreement, membership hashes.

release candidate

GATE 2

Dataset release frozen

После него разрешаются статистика, кластеры, динамика и выводы для Daisy.

analysis unlock

06 / PILOT

96 публикаций до массового parsing

Calibration set нужен не для выводов, а чтобы сломать codebook на разных форматах и измерить agreement каждого критического поля.

48YouTube: RU/EN, complete/missing/blocked captions

32Telegram: primary/comparator, разные archetypes

16Web/course/newsletter/publication resources

Стратификация

RU/EN и высокий/средний/нишевый reach
универсальный/профессия/команда/дети
tool news/workflow/tutorial/model/case
creator/company/academy и short/medium/long

QA пилота

10–20% независимо двумя annotators
agreement/F1 по категориям
tolerance для времени и чисел
evidence-span overlap и unresolved report

07 / DASHBOARD

Показываем накопление первички

До Gate 2 никаких «лучших тем». Только полнота, ошибки, права, lineage и QA с drill-down до каждого item.

Corpus v1 + Contract v0.2BULK PARSING LOCKED · GATE 1

160sources terminal

38 318items frozen

96calibration members

0%v0.2 review coverage

field approval

0 / 110

sample membership

96 / 96

items annotated

0 / 96

double annotated

0 / 24

critical macro F1

pending

evidence validity

pending

Coverage

expected/fetched по platform, channel, month и content type; transcript minutes; field missingness.

Operations

last crawl, lag, HTTP/API errors, retries, duplicates, unresolved entities и blocked rights.

Lineage & QA

raw hash → parse → extraction → annotation; sample size, agreement и disagreements.

08 / INFRA

Не смешивать с Needfield DB

Рекомендуется отдельный data service на том же Railway-контуре и отдельный storage boundary.

Вариант	Metadata	Raw/media	Подходит	Решение
PostgreSQL + object storage	snapshots, relations, runs, QA, releases	S3/R2-compatible object storage	полный 6m корпус, workers, история	Рекомендуется
Отдельный SQLite	`/data/daisy-content-intelligence.sqlite`	file object tree	pilot и примерно до 2 000 items	временный MVP
Текущий needfield.sqlite	общая discovery DB	не предназначено	не подходит для media corpus	не использовать

09 / GATE 1

Методологический Gate 1 открыт

Full crawl и freeze v1 завершены. Теперь нужно утвердить field contracts, evidence rules и QA thresholds; 12 конкретных решений собраны в Calibration Workbench.

Временное окно

6 месяцев primary и предыдущие 6 месяцев как comparator.

Порядок платформ

YouTube + Telegram первыми; short-form/text/audio после pilot.

Граница прав

Metadata/captions/thumbnails; media архивируем только там, где это разрешено.

Поля A–M

Утвердить, сократить или расширить после 50 заполненных примеров.

Gate 1 approval

Масштаб full run

Все items top-N каналов или фиксированный cap/sampling rule на канал.

после W2 denominator

Инфраструктура

Отдельный PostgreSQL + object storage или SQLite pilot.

Контроль разметки

Второй annotator и thresholds agreement, которые блокируют W6.

назначить на pilot

10 / DONE

Когда первичка готова

Definition of Done датасета v1 — перед любой аналитикой и стратегией.

Есть denominator eligible items по channel × month.
≥95% metadata/body или явный error/right status.
≥90% visual surface там, где доступна.
≥85% транскриптов для речевых видео или blocker.

100% claims имеют evidence pointer и version lineage.
Duplicates/cross-posts разрешены или UNRESOLVED.
QA thresholds Gate 1 выполнены.
Frozen membership, schema, hashes, coverage и missingness report.

Файлы контракта

PLAN.mdИсходный пошаговый research-engineering план. EXTRACTION-CONTRACT-v0.2.md110 полей, calibration 96, 12 решений и Gate 1. schema-v0.2.sqlПрименённый аддитивный слой contract/calibration.