You're reading this. The skill predicted it. A workflow that turns every post into a calibrated experiment—score, blind-predict, retro, evolve. The future doesn't reward effort, it rewards those who see the pattern first. 1M followers in a month — not luck, system.
Python
feat: blind-scoring sub-agent (channel B isolation) for calibration loop (#11)
Jooonnn2fc0eebea11f
diff --git a/.gitignore b/.gitignoreindex a54d9cc..84801f2 100644--- a/.gitignore+++ b/.gitignore@@ -6,7 +6,8 @@ Icon?._*# Claude Code per-user config (含本地路径 / 个人 permission grants)-.claude/settings.local.json+# 整个 .claude/ 目录在源码 repo 里都是本地状态——hooks/settings 的项目级配置走用户自己的 content project 不走这里+.claude/# Python (whisper adapter / score-curve.py 跑过留下的)__pycache__/diff --git a/CHANGELOG.md b/CHANGELOG.mdindex a7e5219..f6b18e9 100644--- a/CHANGELOG.md+++ b/CHANGELOG.md@@ -8,6 +8,35 @@ All notable changes to cheat-on-content will be documented here.## [Unreleased]+### Added — Blind scoring sub-agent(channel B 隔离)++**问题**:cheat-on-content 的 7/9 维打分原本在主对话 inline 完成——但主 Claude 已经看过用户对话、实绩数据、复盘段历史,打分被污染。`/cheat-bump` Phase 2 校准池重打分时尤其严重——rank 一致性可能 overfit 而非真信号。++**改动**:引入 [skills/cheat-score-blind](skills/cheat-score-blind/SKILL.md) 作为 **channel B** 隔离打分 sub-agent。三 channel 模型:+- **A** = 主对话:决策 / 写 retro / 跟用户交互+- **B** = blind sub-agent (新):只接收 `script_path` + `rubric_notes_path`,硬拒绝读 state file / predictions/ / videos/,输出严格 JSON 9 维分 + per-dim confidence+- **C** = 跨模型 audit(qwen-max via `mcp__llm-chat__chat`,已有):bump 终局 sanity check++具体落地:+- **`cheat-score` Step 3** 改为 Task tool delegate 到 cheat-score-blind(不再 inline 打分;cheat-score 无 `--skip-blind` 因为是轻量探索)+- **`cheat-predict` Phase 2** 默认 delegate;新 **Phase 2.5** 做 disagreement detection——blind 与主 Claude 自估 |delta| ≥ 2 弹用户裁定(选 a/b/c);header 新增 `BlindScored By` + `BlindScore Disagreement` 字段(**所有维度必记**,delta=0 也记,作为复盘分析素材)+- **`cheat-predict --skip-blind`** flag 是 escape hatch:触发 `state.last_prediction_self_scored=true` + `last_self_scored_at` 时间戳,cheat-status / SessionStart hook 持续 nag 至下次正常调用清回+- **`cheat-bump` Phase 2** **强制** sub-agent,**不接受任何 fallback**——Task tool 不可用 → abort bump,不接受"自审";每条 prediction 的 `Re-scored under vN` 行额外标 `blind: true`+- **SessionStart hook** 检测 `last_prediction_self_scored && days_since >= 7` 输出红色警告+- **install.sh / uninstall.sh** 加 `cheat-score-blind` 到 SKILLS 数组(14 个子 skill)++### Changed — schema 1.2 → 1.3(MINOR)++- 新增 `last_prediction_self_scored: bool`(默认 false)+ `last_self_scored_at: ISO 8601 / null`+- [migrations/1.2-to-1.3.md](migrations/1.2-to-1.3.md) 含 4 段标准格式(WHAT/WHY/HOW/Manual fallback)+- 老 state 跑 `/cheat-migrate` 升级;不跑也兼容(skills 用 `state.get(field, default)` 兜底)++### Known limitations(写进 cheat-score-blind/SKILL.md)++1. **sub-agent ≠ 真独立** —— 同 Claude 模型,RLHF priors 共享;新 context 不等于另一个判分体系+2. **不解决 rubric 设计 bias** —— 用户自己写的 rubric 自然让自己内容显得好。这层 bias 由 channel C 跨模型 audit 和定期 bump 验证解决+3. **不解决 review 阶段的覆盖** —— 主 Claude 拿到 blind 分后,可能在 Phase 2.5 被实绩诱导覆盖。disagreement detection + 用户裁定减轻但不消除+### Changed — README / cheat-init voice 重塑(递归宿命感)- **README tagline 改递归宿命版**:"你正在读这段话——这个 skill 预测过了。... 你停下来思考'这是不是真的'——也在它的预测里。" 替代原"凭感觉发是猜,这套让你算"框架diff --git a/README.md b/README.mdindex 9bb08cb..26ae46b 100644--- a/README.md+++ b/README.md@@ -112,7 +112,7 @@ cd cheat-on-contentbash install.sh```-13 sub-skills are symlinked into your agent's skill directory. One install, every content project gets it.+14 sub-skills are symlinked into your agent's skill directory. One install, every content project gets it.**Supported agents**: Claude Code (default) · Codex (`bash install.sh --codex`) · Both (`bash install.sh --all`)diff --git a/SKILL.md b/SKILL.mdindex 27f705a..29c587f 100644--- a/SKILL.md+++ b/SKILL.md@@ -143,7 +143,8 @@ cheat-on-content/│ ├── cheat-recommend/SKILL.md # ✅ 候选池排序推荐(按 buffer 颜色 + 1 稳 + 1 实验)│ ├── cheat-trends/SKILL.md # ✅ 热点抓取(日常补充候选池,多 adapter)│ ├── cheat-status/SKILL.md # ✅ 状态看板(含 buffer 警戒)-│ └── cheat-migrate/SKILL.md # ✅ schema 升级(老用户 git pull 后用)+│ ├── cheat-migrate/SKILL.md # ✅ schema 升级(老用户 git pull 后用)+│ └── cheat-score-blind/SKILL.md # ✅ Channel B 隔离打分 sub-agent(仅 Task tool 调用)├── migrations/ # schema 演进单一来源│ ├── registry.md # ✅ LATEST_SCHEMA + 版本链表│ └── <from>-to-<to>.md # ✅ 每步迁移的 WHAT/WHY/HOW/Manual fallbackdiff --git a/docs/README_CN.md b/docs/README_CN.mdindex afd6773..7dc5c5c 100644--- a/docs/README_CN.md+++ b/docs/README_CN.md@@ -112,7 +112,7 @@ cd cheat-on-contentbash install.sh```-13 个子 skill 软链接到你 agent 的 skill 目录。装一次,所有内容项目都能用。+14 个子 skill 软链接到你 agent 的 skill 目录。装一次,所有内容项目都能用。**支持的 agent**:Claude Code(默认)· Codex(`bash install.sh --codex`)· 两个都装(`bash install.sh --all`)diff --git a/hooks/session-start.sh b/hooks/session-start.shindex d706ff0..c5116ad 100755--- a/hooks/session-start.sh+++ b/hooks/session-start.sh@@ -50,11 +50,13 @@ last_trends_at=$(echo "$state" | jq -r '.last_trends_run_at // ""')last_published_at=$(echo "$state" | jq -r '.last_published_at // ""')hooks_installed=$(echo "$state" | jq -r '.hooks_installed // false')form_severe_mismatch=$(echo "$state" | jq -r '.rubric_form_severe_mismatch // false')+last_prediction_self_scored=$(echo "$state" | jq -r '.last_prediction_self_scored // false')+last_self_scored_at=$(echo "$state" | jq -r '.last_self_scored_at // ""')# --- Detect schema mismatch (read LATEST_SCHEMA from migrations/registry.md if reachable) ---# Strategy: hardcode current LATEST_SCHEMA here (bumped by maintainer alongside cheat-init).# If state.schema_version != LATEST_SCHEMA → suggest migrate (non-blocking).-LATEST_SCHEMA="1.2"+LATEST_SCHEMA="1.3"schema_mismatch=""if [[ "$schema_version" != "$LATEST_SCHEMA" && "$schema_version" != "unknown" ]]; thenschema_mismatch="⚠️ schema 版本不一致:state=${schema_version}, skill 期望=${LATEST_SCHEMA}。建议跑 /cheat-migrate(非阻塞,部分新功能可能在迁移前异常)。"@@ -62,6 +64,23 @@ elif [[ "$schema_version" == "unknown" ]]; thenschema_mismatch="⚠️ state.schema_version 字段缺失或损坏。建议跑 /cheat-status 检查文件,或备份后重 init。"fi+# --- Detect blind-skip contamination (cheat-predict --skip-blind 或 Phase 2.5 选 b 触发) ---+self_scored_warning=""+if [[ "$last_prediction_self_scored" == "true" && -n "$last_self_scored_at" ]]; then+ # Parse timestamp; tolerate +08:00 or Z suffix+ self_scored_epoch=$(date -j -f "%Y-%m-%dT%H:%M:%S" "${last_self_scored_at%%+*}" "+%s" 2>/dev/null || \+ date -j -f "%Y-%m-%dT%H:%M:%SZ" "$last_self_scored_at" "+%s" 2>/dev/null || \+ echo 0)+ if [[ $self_scored_epoch -gt 0 ]]; then+ days_since=$(( (now_epoch - self_scored_epoch) / 86400 ))+ if [[ $days_since -ge 7 ]]; then+ self_scored_warning="🚨 距上次 \`--skip-blind\` 自评预测已 ${days_since} 天——校准池累计的 contamination 风险在叠加。下次 /cheat-predict 走 sub-agent 即可清除此提示。"+ else+ self_scored_warning="⚠️ 上次预测走了 \`--skip-blind\`(${days_since} 天前自评,未经 channel B 隔离)。下次 /cheat-predict 走默认即可清除。"+ fi+ fi+fi+# --- Derive confidence label (single source: state-management.md confidence 表) ---if [[ $calibration_samples -eq 0 ]]; thenconfidence="🔴 极低 (占星级别,纯纪律训练)"@@ -176,6 +195,7 @@ echo "📈 校准样本: ${calibration_samples} | Confidence: ${confidence}"# Warnings (high priority)[[ -n "$buffer_warning" ]] && echo "" && echo "$buffer_warning"[[ -n "$schema_mismatch" ]] && echo "" && echo "$schema_mismatch"+[[ -n "$self_scored_warning" ]] && echo "" && echo "$self_scored_warning"if [[ "$form_severe_mismatch" == "true" ]]; thenecho "❌ rubric 与你的内容形态严重不匹配——预测几乎无意义。"fidiff --git a/install.sh b/install.shindex 8d04f52..ef0b773 100755--- a/install.sh+++ b/install.sh@@ -2,8 +2,8 @@## cheat-on-content / install.sh#-# Symlinks the skills into Claude Code and/or Codex skill directories so agents-# can find them globally. Re-runnable safely (overwrite after confirmation).+# Symlinks the 14 sub-skills into Claude Code and/or Codex skill directories so+# agents can find them globally. Re-runnable safely (overwrite after confirmation).## After install, in any content project directory: open Claude Code → say "初始化"# → /cheat-init runs the onboarding.@@ -28,6 +28,7 @@ SUB_SKILLS=(cheat-learn-fromcheat-seedcheat-score+ cheat-score-blindcheat-predictcheat-shootcheat-publishdiff --git a/migrations/1.2-to-1.3.md b/migrations/1.2-to-1.3.mdnew file mode 100644index 0000000..166d55f--- /dev/null+++ b/migrations/1.2-to-1.3.md@@ -0,0 +1,80 @@+# Migration: schema_version 1.2 → 1.3++> **Type**: MINOR(兼容;老 state 用 `state.get(field, default)` 兜底不会崩,跑迁移让字段对齐 schema 文档)++---++## WHAT changed++### state file 新增 2 个字段++| 字段 | 类型 | 默认 | 含义 |+|---|---|---|---|+| `last_prediction_self_scored` | bool | `false` | 上次 `/cheat-predict` 是否走了 `--skip-blind` 或 Phase 2.5 选 b(信主 Claude 自估而非 sub-agent 盲打分) |+| `last_self_scored_at` | string / null | `null` | 上一条 `last_prediction_self_scored=true` 触发的 ISO 8601 时间戳;下次走 sub-agent 时一起清回 null |++### 新概念(不在 state,在 prediction 文件 header)++引入 **`BlindScored By`** + **`BlindScore Disagreement`** 两个 header 字段——见 [shared-references/prediction-anatomy.md](../shared-references/prediction-anatomy.md) 组件 1。++老的 prediction 文件没有这两个字段——**不强制回填**,cheat-retro 读取时 graceful default。++---++## WHY++v1.3 引入 [skills/cheat-score-blind](../skills/cheat-score-blind/SKILL.md) sub-agent 作为 channel B——通过 Task tool 隔离打分动作,让 sub-agent 只看 script + rubric_notes.md,避免主对话被实绩/复盘/用户态度污染。++`/cheat-predict` Phase 2 默认走 sub-agent;`--skip-blind` 是 escape hatch。一旦使用 escape hatch,必须留下追踪轨迹——这就是 `last_prediction_self_scored` 存在的理由。++`/cheat-bump` Phase 2 **强制**走 sub-agent,不接受 fallback;所以 bump 不会触发 `last_prediction_self_scored=true`。++---++## HOW (Claude steps for /cheat-migrate)++按顺序:++1. 读 `.cheat-state.json` → 解析 JSON+2. 校验 `schema_version == "1.2"`,否则报错"当前 state 不是 1.2,无需此迁移"+3. 检查 `last_prediction_self_scored` 字段:+ - 不存在 → 默认 `false`+ - 已存在(罕见,用户手改过)→ 保留原值+4. 检查 `last_self_scored_at` 字段:+ - 不存在 → 默认 `null`+ - 已存在 → 保留原值+5. 设 `schema_version = "1.3"`+6. **原子写**:写到 `.cheat-state.json.tmp` → rename+7. 报告:"✅ 迁移到 1.3 完成。新增 2 字段,无字段被删除。"++**不需要回填老 prediction 文件**——`BlindScored By` 字段缺失时按 `unknown` 处理(cheat-retro 在 reading 时 graceful default)。如果用户想标记"这些老 predictions 都是 v1.2 时代的 inline 打分",可手动在文件头加 `BlindScored By: legacy-inline`——但**不在 migration 自动执行**,避免改动现有 prediction 文件触发 immutability hook。++---++## Manual fallback++不想跑 `/cheat-migrate` 的用户可以**完全不动 state**——所有 skills 都用 `state.get(field, default)` 兜底,新字段自动用默认值。但 `schema_version` 字段会一直显示 `"1.2"`,SessionStart hook 会持续提示 mismatch warning。++如果想消除 warning 又不想跑 skill,手改:++```diff+ {+- "schema_version": "1.2",++ "schema_version": "1.3",++ "last_prediction_self_scored": false,++ "last_self_scored_at": null,+ ...+ }+```++下次 `/cheat-predict` 走 sub-agent 时这两个字段会被自然 touch 到(写为 false / null),手改其实可选。++---++## 验收++迁移完成后:+- `jq '.schema_version' .cheat-state.json` → `"1.3"`+- `jq '.last_prediction_self_scored' .cheat-state.json` → `false`(或保留的旧值)+- `jq '.last_self_scored_at' .cheat-state.json` → `null`(同上)+- 跑 `bash hooks/session-start.sh` → 不再有 schema mismatch warningdiff --git a/migrations/registry.md b/migrations/registry.mdindex b02b52b..cb42f6a 100644--- a/migrations/registry.md+++ b/migrations/registry.md@@ -6,12 +6,12 @@ cheat-on-content 的 schema 版本演进单一来源。`/cheat-migrate` 读这## 当前 schema_version-**`1.2`** —— 由 `cheat-init` Phase 3 写入新 state 文件。+**`1.3`** —— 由 `cheat-init` Phase 3 写入新 state 文件。下方 `LATEST_SCHEMA` 标记位被 `cheat-migrate` skill 和 SessionStart hook 引用:```-LATEST_SCHEMA = "1.2"+LATEST_SCHEMA = "1.3"```> 维护者注意:bump 这个值的同时**必须**新增对应迁移文件 + 在下方"版本链"追加一行。@@ -27,6 +27,7 @@ LATEST_SCHEMA = "1.2"| (none) | 1.0 | — | (内置) | v1 首版 schema || 1.0 | 1.1 | NO | [1.0-to-1.1.md](1.0-to-1.1.md) | 删 `mode` / `prediction_complexity` / `bucket_scheme` 三个枚举字段;新增 `target_publish_cadence_days` / `baseline_plays` / `benchmark_*` / `shoots` 等 || 1.1 | 1.2 | NO | [1.1-to-1.2.md](1.1-to-1.2.md) | `shoots[]` 项扩展 5 字段(`scripts_path` / `script_consistency` / `script_diff_pct` / `v2_prediction_written` / `script_hash_at_shoot`)— 配合"拍后改稿触发 v2 预测重判"工作流 |+| 1.2 | 1.3 | NO | [1.2-to-1.3.md](1.2-to-1.3.md) | 新增 `last_prediction_self_scored: bool` + `last_self_scored_at` 字段——配合 cheat-score-blind sub-agent 引入的 channel B 隔离打分。`true` 表示上次预测走了 `--skip-blind`,cheat-status 持续 nag |---diff --git a/shared-references/prediction-anatomy.md b/shared-references/prediction-anatomy.mdindex f1d0581..7602832 100644--- a/shared-references/prediction-anatomy.md+++ b/shared-references/prediction-anatomy.md@@ -29,20 +29,46 @@**Actual Script Length**: 980 字 (从 Script Path 文件读)**Calibration Samples (at predict time)**: 3**Confidence**: 🟡 偏低 (中枢 ±40%,可作为参考之一)+**Prediction Basis**: pre_shoot ← 或 `post_shoot_pre_publish`(v2 段)**Scored By**: claude ← 或 `claude+user_override`+**BlindScored By**: subagent-v1 ← 或 `main-claude-self` / `mixed`+**BlindScore Disagreement**: <inline JSON 见下方>**User Override**: none ← 或列出被覆盖字段**预测时数据状态**: **blind**(未看任何 <平台> 实际播放数据)```+`BlindScore Disagreement` 字段是 inline JSON 数组,**每维度一行**,**delta=0 也必须记**:++```json+[+ {"dim": "ER", "blind": 5, "self": 5, "delta": 0, "decided_as": 5},+ {"dim": "SR", "blind": 3, "self": 4, "delta": 1, "decided_as": 3},+ {"dim": "AB", "blind": 2, "self": 4, "delta": 2, "decided_as": 4, "user_decision": "b"},+ {"dim": "HP", "blind": 5, "self": 5, "delta": 0, "decided_as": 5}+]+```++- `blind`:sub-agent 给的分+- `self`:主 Claude 自估(Phase 2 末尾 internal 估值,不落盘的那份现在落盘了——这是必要的诚实代价)+- `delta`:|blind - self|+- `decided_as`:进入 composite 计算的最终值+- `user_decision`(如有):Phase 2.5 用户裁定时的选项 `a` / `b` / `c <number>`——只在 delta ≥ DISAGREEMENT_THRESHOLD 时出现+字段必填规则:- `Rubric Version` 必填——将来 v3 时代回看 v2 预测,没有版本号就无法公平对比- `预测时数据状态` 必填——明确声明 blind 是 immutable 承诺的前提- `Script Path` 必填——指向 `scripts/<id>.md`(pre-shoot 草稿)- `Script Hash` 必填——cheat-shoot 时再 hash `videos/<id>/script.md`,不一致 → 复盘段加 integrity warning- `Calibration Samples` + `Confidence` 必填——告诉读者这次预测有多可信。**Confidence 自动派生**自 calibration_samples(见 state-management.md)+- `Prediction Basis` 必填——`pre_shoot` 为标准盲预测;`post_shoot_pre_publish` 为 v2 拍后改稿重判(仍未见数据,但软盲)- `Scored By` 必填——告诉读者这次预测是 Claude 全自动还是用户介入改过:- `claude`:Claude 主动打分 + bucket + 概率,用户 review 后回 "ok" 接受- `claude+user_override`:用户在 review 阶段挑刺改了某些字段+- **`BlindScored By` 必填**——本次维度分由谁打:+ - `subagent-v1`:通过 Task tool 调 cheat-score-blind sub-agent 拿到的盲打分(默认,Phase 2 路径)+ - `main-claude-self`:用户 `--skip-blind` flag 或 Phase 2.5 选 b(信主 Claude 自估)——同时 `state.last_prediction_self_scored=true`+ - `mixed`:Phase 2.5 用户选 c 给个别维度自定分,其他维度仍走 sub-agent+- **`BlindScore Disagreement` 必填**——上方 JSON。**所有维度必记**(即使 delta=0),不允许"只记差异大的"。理由:复盘时按 delta 分布分析"哪类维度 sub-agent 与主 Claude 系统性分歧"是 rubric 演进的重要信号- `User Override` 必填(如有覆盖)——列出哪些字段从 X 改成 Y,附用户给的理由。复盘时这个字段帮诊断:用户的覆盖被实绩验证(用户直觉准)→ rubric 可能漏了什么---@@ -236,7 +262,7 @@```file: predictions/YYYY-MM-DD_<id>_<short>.md-# 标题 — 预测日志 ← 组件 1: header(含 confidence + script_hash + Prediction Basis)+# 标题 — 预测日志 ← 组件 1: header(含 confidence + script_hash + Prediction Basis + BlindScored By + BlindScore Disagreement)(metadata block)## 输入快照 ← 组件 2diff --git a/shared-references/state-management.md b/shared-references/state-management.mdindex b195163..53f0134 100644--- a/shared-references/state-management.md+++ b/shared-references/state-management.md@@ -18,7 +18,7 @@```json{- "schema_version": "1.2",+ "schema_version": "1.3","skill_version": "1.0.0","rubric_version": "v0",@@ -49,6 +49,8 @@"last_retro_at": null,"last_trends_run_at": null,"last_trends_added_count": 0,+ "last_prediction_self_scored": false,+ "last_self_scored_at": null,"consecutive_directional_errors": [],"pending_retros": [],@@ -60,6 +62,15 @@}```+### 关键变更(v1.3)++相比 v1.2(MINOR,兼容):++- **新增 `last_prediction_self_scored: bool`**——`true` 仅当上一次 `/cheat-predict` 走了 `--skip-blind` flag 或 Phase 2.5 用户选 b(信主 Claude 自估)。cheat-status / SessionStart hook 据此 nag:"上次预测没走 blind sub-agent,已 N 天"+- **新增 `last_self_scored_at: ISO 8601 / null`**——`last_prediction_self_scored` 触发时的时间戳;走 sub-agent 时一起清回 null+- 配合 [skills/cheat-score-blind](../skills/cheat-score-blind/SKILL.md) 的 channel B 隔离协议——把 contamination 跟踪从"靠 git history"升级为"靠 state 字段"+- 老 state 缺这两字段 → 兜底 `false` / `null`,**MINOR 兼容**+### 关键变更(v1.2)相比 v1.1(MINOR,兼容):@@ -127,6 +138,8 @@| `last_retro_at` | ISO 8601 / null | cheat-retro || `last_trends_run_at` | ISO 8601 / null | cheat-trends || `last_trends_added_count` | int | cheat-trends |+| `last_prediction_self_scored` | bool | cheat-predict(`--skip-blind` 或 Phase 2.5 选 b 时 true;下次走 sub-agent 时清回 false) |+| `last_self_scored_at` | ISO 8601 / null | cheat-predict(跟随 `last_prediction_self_scored` 同步) |### 列表队列diff --git a/skills/cheat-bump/SKILL.md b/skills/cheat-bump/SKILL.mdindex d2ffd2e..816a73e 100644--- a/skills/cheat-bump/SKILL.md+++ b/skills/cheat-bump/SKILL.md@@ -1,8 +1,8 @@---name: cheat-bump-description: 提议并执行 rubric 或 bucket 升级。两种模式:**完整 rubric bump**(最高风险动作,5 步强制 + 跨模型审核)和 **--bucket-only 轻量重校**(只换 bucket 边界,不动 rubric 公式)。触发词:"升级 rubric"/"bump rubric"/"更新公式"/"我想加一个维度"/"调整权重"/"重校桶"/"recalibrate bucket"。+description: 提议并执行 rubric 或 bucket 升级。两种模式:**完整 rubric bump**(最高风险动作,5 步强制 + 跨模型审核)和 **--bucket-only 轻量重校**(只换 bucket 边界,不动 rubric 公式)。**Phase 2 强制走 cheat-score-blind sub-agent 给校准池重打分**——不接受 self-scored fallback。触发词:"升级 rubric"/"bump rubric"/"更新公式"/"我想加一个维度"/"调整权重"/"重校桶"/"recalibrate bucket"。argument-hint: --propose "<...>" | --bucket-only [--scheme ratio|absolute|percentile]-allowed-tools: Bash(*), Read, Write, Edit, Glob, Grep, Skill, mcp__llm-chat__chat+allowed-tools: Bash(*), Read, Write, Edit, Glob, Grep, Skill, Task, mcp__llm-chat__chat---# /cheat-bump — Rubric / Bucket 升级@@ -120,17 +120,59 @@ allowed-tools: Bash(*), Read, Write, Edit, Glob, Grep, Skill, mcp__llm-chat__cha如果用户的提议含糊(如"ER 权重提一点")→ 询问具体数值,**禁止自己猜**。-### Phase 2: 校准池全量重打分+### Phase 2: 校准池全量重打分(**强制走 blind sub-agent**)Glob `predictions/*.md` 中所有有完整复盘段的文件 → 校准池。-对每篇:-1. 读各维度分数(从输入快照段)-2. 用新公式重算 composite-3. 如果新公式增加了维度(如 MS / TS)→ **回追打分**:读稿子全文(或复盘段的关键证据)→ 给 MS / TS 打 0-5-4. 写一份"重打表"到内存(或临时文件 `.cheat-cache/bump-rescores.json`)+**bump 是工具最高风险动作——所有重打必须走 [cheat-score-blind](../cheat-score-blind/SKILL.md) sub-agent**。inline 重打 = 主 Claude 已经看过实绩,rank 一致性变成 overfit 而非真信号。-**回追打分的诚实要求**:你已经看过实绩数据了,回追打 MS / TS 时**会被实绩污染**——这是不可避免的。在重打表里**明确标注** `score_post_hoc: true`。+#### 强制约束++- **不接受 self-scored fallback**——`/cheat-predict` 有 `--skip-blind` flag,但 `/cheat-bump` **没有**。如果 Task tool 不可用 → **abort bump**,向用户报告"先解决 Task tool 再 bump"+- **不接受"我只重算 composite 不重打 dim"** —— 即使新公式只调权重不加维度,每条 prediction 的所有 dim 都要由 sub-agent 重新审 script。理由:旧 dim 分本身可能是污染的;权重变了不能保证旧 dim 还成立++#### 对每篇 prediction:++1. 解析 prediction 文件拿到对应 `scripts/<id>.md` 路径(从 `Script Path` header 字段)+2. 校验 script 文件存在 + hash 跟 header `Script Hash` 一致;不一致 → 警告(script 改过了)但仍 spawn sub-agent+3. **通过 Task tool spawn cheat-score-blind sub-agent**:+ ```+ Spawn cheat-score-blind sub-agent.++ Input:+ script_path: <prediction header 的 Script Path>+ rubric_notes_path: rubric_notes.md+ sidecar_path: .cheat-cache/bump-rescores/<prediction-id>.json++ Task: 按 rubric_notes 当前公式(已是新版 vN+1)给 script 打分。+ 返回严格 JSON。写 sidecar 文件用于 bump 主流程批量读取。++ 不要读 state file / predictions/ / videos/ 任何其他文件。+ 不要询问用户 —— 你没有用户。+ 不要读这份 prediction 文件本身 —— 你只看 script + rubric。+ ```+4. 等 sub-agent 完成 → 读 sidecar JSON → 主流程用新公式算 composite+5. 写"重打表"到 `.cheat-cache/bump-rescores.json`(汇总)。**每条 entry 标 `blind: true`** —— bump phase 5 cleanup 时把这个字段连同新分数写到 prediction 文件的 `Re-scored under v<N+1>` 行++#### 还污染没污染的诚实标注++即使走 sub-agent,**仍有两类残余 contamination 要在 bump report 里诚实标注**:++| 类型 | 来源 | 标注字段 |+|---|---|---|+| 模型 prior contamination | sub-agent 仍是 Claude,RLHF 共享 | `model_prior_warning: true`(默认 true,不可关) |+| 用户自己 rubric design bias | rubric_notes.md 是用户写的,自然 fit 自己内容 | `rubric_self_designed: true`(默认 true,不可关) |++这两条提示用户 channel C(跨模型 audit)的不可省。bump 报告末尾必印:"上面的 rank 一致性是 channel A 内的一致性。**最终决策必须等 channel C audit 通过**。"++#### 失败模式++| 症状 | 处理 |+|---|---|+| 某条 prediction 的 script 文件不见了 | sub-agent skip 该条,主流程汇总报告"N 条因 script 缺失被排除"。如剩余有效池 < MIN_SAMPLES → abort bump |+| sub-agent 返回 `refusal != null` | 重发 Task 最多 3 次;仍败 → 该条标 `rescore_failed: true` 排除出校准池 |+| Task tool 整个不可用 | abort bump,提示用户"Task tool 是 bump 的硬依赖。如真的离线环境,跑 `/cheat-bump --bucket-only` 走轻量分支" |+| sub-agent 输出含 contamination_signal | 标 `suspicious: true` 但不排除——bump report 末尾列这些可疑条目让用户审 |### Phase 3: 计算排序一致性@@ -230,10 +272,12 @@ prompt:```markdown----**Re-scored under v2.1 on 2026-05-04**: composite=8.24 → 9.11-(rubric bump 时全量重算,详见 rubric_notes.md 的 v2 → v2.1 升级 Memo)+**Re-scored under v2.1 on 2026-05-04**: composite=8.24 → 9.11 (blind: true)+(rubric bump 时全量重算,由 cheat-score-blind sub-agent 独立打分;详见 rubric_notes.md 的 v2 → v2.1 升级 Memo)```+`blind: true` 字段**必填**——告诉未来读这条记录的人"这是 channel B 隔离打分,不是主 Claude 自评"。如果某条 prediction 在 Phase 2 因 sub-agent 失败被排除 → 不会有 Re-scored 行(保持原样)。+用 Edit 工具,匹配每个文件的最末尾。### Phase 7: 更新 state file@@ -388,10 +432,12 @@ baseline: 4.2w 中位数(基于 5 篇校准样本)## Refusals- 「跳过校准池重打,直接换公式」 → 拒绝。原则 #2+- 「跳过 cheat-score-blind sub-agent,主 Claude 直接重打就行」 → 拒绝。bump **不接受**任何 self-scored fallback——sub-agent 不可用 → abort bump,不接受"自审"- 「跳过外部 LLM 审核」 → 仅当 `CROSS_MODEL_AUDIT=false` 显式设置- 「这次 THRESHOLD 调到 3/5 让它过」 → 拒绝。改 THRESHOLD 是元层级 bump- 「保留所有旧观察作为历史」 → 违反原则 #3- 「先 bump,cleanup 下次再做」 → 拒绝。cleanup 是 bump 的一部分+- 「只重算 composite 不重打 dim」 → 拒绝。新权重 × 旧 dim 仍是旧污染。每个 dim 都由 sub-agent 重审 script## Integrationdiff --git a/skills/cheat-init/SKILL.md b/skills/cheat-init/SKILL.mdindex 1078ce3..e914183 100644--- a/skills/cheat-init/SKILL.md+++ b/skills/cheat-init/SKILL.md@@ -270,7 +270,7 @@ c) 不找 → state 标 `benchmark_status: none`,用通用 v0 起步写入(**所有 `<...>` 占位必须查上面 Q 的映射表换成具体 enum 值,绝不直接存字母**):```json{- "schema_version": "1.2",+ "schema_version": "1.3","skill_version": "1.0.0","rubric_version": "v0","content_form": "<查 Q1 映射表,写 enum 字符串如 \"opinion-video\">",@@ -295,6 +295,8 @@ c) 不找 → state 标 `benchmark_status: none`,用通用 v0 起步"last_retro_at": null,"last_trends_run_at": null,"last_trends_added_count": 0,+ "last_prediction_self_scored": false,+ "last_self_scored_at": null,"consecutive_directional_errors": [],"pending_retros": [],"shoots": [],@@ -481,4 +483,6 @@ cheat-learn-from 完成后回到 init 的 Phase 5。| `last_bump_at` / `last_published_at` / `last_published_file` / `last_retro_at` / `last_trends_run_at` | Phase 3 | 全部 `null` || `last_bump_self_audited` | Phase 3 | `false` || `last_trends_added_count` | Phase 3 | `0` |+| `last_prediction_self_scored` | Phase 3 | `false` |+| `last_self_scored_at` | Phase 3 | `null` || `initialized_at` | Phase 3 | now() 本地 ISO 8601,含 `+08:00` 时区,**不要 UTC `Z`** |diff --git a/skills/cheat-predict/SKILL.md b/skills/cheat-predict/SKILL.mdindex f1ed0d6..c6f9d0d 100644--- a/skills/cheat-predict/SKILL.md+++ b/skills/cheat-predict/SKILL.md@@ -1,8 +1,8 @@---name: cheat-predict-description: 给最终稿写一份 immutable 盲预测日志。这是 cheat-on-content 整个校准循环的核心动作——预测段一旦写完不可改,由 hook 强制。**自动检测**:如目标文件已有 `## 预测` / `## 预测 v1` 段(被 cheat-shoot 调用走 v2 模式),改成 append `## 预测 v2` 而非覆盖。触发词:"启动预测"/"start prediction"/"给这稿子打分并预测"/"写预测日志"。-argument-hint: <script-path> [— mode: v1|v2] [— prediction-file: <path>]-allowed-tools: Bash(*), Read, Write, Edit, Glob+description: 给最终稿写一份 immutable 盲预测日志。这是 cheat-on-content 整个校准循环的核心动作——预测段一旦写完不可改,由 hook 强制。**自动检测**:如目标文件已有 `## 预测` / `## 预测 v1` 段(被 cheat-shoot 调用走 v2 模式),改成 append `## 预测 v2` 而非覆盖。**打分通过 Task tool 委派给 `cheat-score-blind` sub-agent**(context-isolated channel B),主 Claude review 后落盘。触发词:"启动预测"/"start prediction"/"给这稿子打分并预测"/"写预测日志"。+argument-hint: <script-path> [— mode: v1|v2] [— prediction-file: <path>] [— skip-blind]+allowed-tools: Bash(*), Read, Write, Edit, Glob, Task---# /cheat-predict — AI 主导的盲预测 + 用户 review@@ -30,7 +30,9 @@ Confidence 派生表见 [shared-references/state-management.md](../../shared-ref↓[Phase 1: 读 script + rubric + state + 派生 confidence]↓-[Phase 2: **Claude 自己**打 7 维分 + 算 composite]+[Phase 2: **委派 cheat-score-blind sub-agent**(Task tool)拿 9 维盲打 + per-dim confidence]+ ↓+[Phase 2.5: 主 Claude 对 blind 输出做 review — 若任意维度 |delta| ≥ 2 vs 主估,弹给用户裁定]↓[Phase 3: **Claude 自己**找锚点对比]↓@@ -52,11 +54,13 @@ Confidence 派生表见 [shared-references/state-management.md](../../shared-ref- **SCRIPTS_DIR = scripts/** — 草稿源目录- **PREDICTION_DIR = predictions/** — 落盘目录-- **BLIND_CHECK = strict** — strict(默认)/ lenient(仅警告,不推荐)+- **BLIND_CHECK = strict** — strict(默认)/ lenient(仅警告,不推荐)—— 跟 [blind-prediction-protocol.md](../../shared-references/blind-prediction-protocol.md) "见过数据"边界相关+- **BLIND_SCORING = on**(默认)/ off —— 是否走 [cheat-score-blind](../cheat-score-blind/SKILL.md) sub-agent。off 等价于 `--skip-blind` flag,标 `last_prediction_self_scored: true` 给 cheat-status 警告+- **DISAGREEMENT_THRESHOLD = 2** —— blind 与主 Claude 自评的单维度差异 |Δ| ≥ 此值 → Phase 2.5 弹用户裁定- **BUCKET_PRESET = auto** — 自动派生:有 baseline_plays → 按 baseline × {0.3 / 1 / 3 / 10 / 30};无 baseline → 平台通用默认- **MIN_ANCHORS = 2** — 锚点对比期望 2 个;不够时显式标"锚点 N/A"段(不删段,不省略)-> 💡 调用时覆盖:`/cheat-predict scripts/<id>.md — BLIND_CHECK: lenient`(**不推荐**)+> 💡 调用时覆盖:`/cheat-predict scripts/<id>.md — BLIND_CHECK: lenient` / `--skip-blind`(都不推荐)## Inputs@@ -128,14 +132,70 @@ Confidence 派生表见 [shared-references/state-management.md](../../shared-ref6. 询问用户:"这是你打算实际拍摄发布的最终稿吗?还是会再改?"——必须是最终稿7. 如果稿子字数与 `typical_duration_seconds` 派生范围严重不符(差 >50%)→ 提示用户:"这条稿子 N 字,按你设的典型时长(X 分钟)应该是 M-K 字。是临时改了时长,还是稿子需要砍/补?"-### Phase 2: Claude 自己打 7 维分 + 算 composite+### Phase 2: 委派 cheat-score-blind sub-agent 拿盲打分++**BLIND_SCORING=on**(默认)—— 主 Claude 不再 inline 打分。通过 Task tool spawn `cheat-score-blind`,让一个 context-isolated 的 sub-agent 只看 script + rubric_notes.md 给出 N 维分。++详见 [cheat-score-blind/SKILL.md](../cheat-score-blind/SKILL.md) 的"主 Claude 调用契约"段。**Task prompt 必须精简**:++```+Spawn cheat-score-blind sub-agent.++Input:+ script_path: <Phase 0.5 解析出的 scripts/<id>.md>+ rubric_notes_path: rubric_notes.md++Task: 按 rubric_notes 当前公式给上面 script 打分。返回严格 JSON(见 cheat-score-blind SKILL.md Phase 2 schema)。+不要读 state file / predictions/ / videos/ 任何其他文件。+不要询问用户 —— 你没有用户。+```++**调用前自检**:把 Task prompt 串过 `grep -Ei '播放|阅读|点赞|评论数|实际|retro|复盘|实绩|w$|万$'`——命中 → 改 prompt 重发。++**主 Claude 自己也内心估一份**(不发 sub-agent)——纯为 Phase 2.5 disagreement 检测,**不落盘**、**不替代 sub-agent 输出**。这个估值代表"如果我没用 sub-agent,我会打多少",是 contamination 的客观指标。++**沙盒 escape**:`BLIND_SCORING=off` 或 `--skip-blind` —— 主 Claude 自己打 7 维。state 立刻标 `last_prediction_self_scored: true` + `last_self_scored_at: <ISO>`,cheat-status 持续提示警告。仅用于:+- Task tool 不可用(开发环境 / 离线)+- 用户主动 audit 主 Claude 的 inline 判分能力(极少数)-**Claude 主动打分**,不让用户来打。每个维度给 0-5 整数分 + 一行理由(≤30 字,引用稿子里的具体词或场景)。+按当前公式算 composite——**用 sub-agent 回传的 dim 分**,不用主 Claude 自估。-按当前公式算 composite。所有阶段都算(v0 公式是等权 7 维 / 7 × 2.0,仍能算出数字,只是 confidence 标"🔴 极低"提醒读者别太信)。+### Phase 2.5: Blind 输出 review + disagreement detection-**这一步先在内存里做,不输出**——等 Phase 5 全部完成后一次性展示给用户 review。-(不要每个 phase 都让用户确认——那是把工具变成 5 段交互式问答,烦。一次性展示才是 review。)+拿到 sub-agent JSON 后,主 Claude 必做的事:++1. **JSON validity check**:`python3 -c "import json; json.loads(...)"` 应能解析;不能解析 → 主 Claude 重发 Task(最多 3 次重试),仍败 → abort,向用户报告+2. **Contamination check**:`self_check.any_contamination_signal == true` → 警告用户"sub-agent 自报疑似 contamination",但仍接受打分(confidence 降一档)+3. **Refusal check**:`refusal != null` → 按 [cheat-score-blind/SKILL.md](../cheat-score-blind/SKILL.md) Phase 2 的处理表对应路径+4. **Disagreement detection**(核心):+ - 主 Claude 内心估一份 N 维分(Phase 2 末尾的"自估")+ - 对每个维度算 `delta = |主估 - blind|`+ - 任何维度 `delta >= DISAGREEMENT_THRESHOLD`(默认 2) → **弹给用户裁定**++弹裁定 UX:++```+⚠️ blind sub-agent 跟主 Claude 在某些维度差异较大:++| 维度 | blind (sub) | 主 Claude 自估 | delta | sub-agent 理由 |+|---|---|---|---|---|+| ER | 5 | 3 | 2 | "PPT加油猫猫开头—具象画面强" |+| AB | 2 | 4 | 2 | "一人公司视角,受众窄" |++谁更准?+ a) 信 sub-agent(隔离打分,但同 Claude 模型)+ b) 信主 Claude 自估(有更多对话上下文,可能是 contamination)+ c) 我自己定(你直接给分)++回 a / b / c <你的分数>+```++用户选:+- a → 用 sub-agent 全套分进 Phase 3+- b → 用主 Claude 自估全套分(视为有意接受 contamination)→ 强制标 `last_prediction_self_scored: true`+- c → 用户给的分覆盖该维度,其他维度仍走 sub-agent → 记到 `User Override`++**所有 delta** —— 即使全 < THRESHOLD —— 都记录到 prediction header 的 `BlindScore Disagreement` 字段(详见 [prediction-anatomy.md](../../shared-references/prediction-anatomy.md) 组件 1)。delta=0 也要记录。### Phase 3: 锚点对比@@ -255,6 +315,8 @@ predictions/YYYY-MM-DD_<id>_<short-title>.md- `Calibration Samples` + `Confidence`(从 state 派生)- `Prediction Basis`:`pre_shoot`(v1 默认)- `Scored By`:`claude` / `claude+user_override`+- **`BlindScored By`**:`subagent-v1`(Phase 2 默认)/ `main-claude-self`(`--skip-blind` 时) / `mixed`(Phase 2.5 用户裁定 b/c)+- **`BlindScore Disagreement`**:JSON 字段列表,每维度 `{dim, blind, self, delta, decided_as}`,**所有维度必记**(即使 delta=0)- `User Override`(如有覆盖):列出哪些字段被用户改了- 其他见 [prediction-anatomy.md](../../shared-references/prediction-anatomy.md) 组件 1@@ -307,7 +369,9 @@ cheat-retro 复盘时按"读最后一个 `## 预测 vN`"逻辑,自然取到 v2"video_folder": "videos/YYYY-MM-DD_<id>_<short>/","started_at": "<ISO timestamp>","rubric_version": "<v0/v2/...>"- }+ },+ "last_prediction_self_scored": <true 仅当 --skip-blind / Phase 2.5 选 b>,+ "last_self_scored_at": <ISO 当 last_prediction_self_scored=true 时>}```@@ -315,6 +379,11 @@ cheat-retro 复盘时按"读最后一个 `## 预测 vN`"逻辑,自然取到 v2`in_progress_session` 在 `cheat-publish` 触发时清除。如果用户预测后从未 publish(弃稿),下次 `/cheat-init` 或 `/cheat-status` 检测到陈旧 in_progress 会询问是否清理。+`last_prediction_self_scored`:+- `true` 仅当本次预测走了 `--skip-blind` 或 Phase 2.5 用户选了 b(信主 Claude 自估)+- 一旦 `true` → cheat-status 持续 nag:"上次预测没走 blind sub-agent,已 N 天"——直到下次 normal `cheat-predict`(走 sub-agent)触发后才清回 `false`+- `last_self_scored_at` 跟随更新;下次 `cheat-predict` 走 sub-agent → 这两个字段一起被重置+### Phase 8: 控制台总结**Cold-start-simple 模式**:@@ -371,6 +440,8 @@ bucket 押注:30-100w(中枢 50w)- 「跳过反事实场景,太麻烦」 → 拒绝。反事实是复盘诊断的依据,缺它复盘退化为"准 / 不准"- 「可不可以只写 bucket,不写概率分布」 → 拒绝。概率分布是逼你诚实的工具- 「这次先用 lenient 模式,下次再 strict」 → 询问原因。如果是测试 / 演练 → 允许且文件明确标 reconstructed;如果是想偷懒 → 拒绝+- 「sub-agent 太慢,你直接打就行」 → 用 `--skip-blind` flag 显式声明。**不接受**主 Claude 自作主张跳过 sub-agent。flag 触发 state.last_prediction_self_scored=true,cheat-status 持续提示直到下次 normal 调用清除+- 「Phase 2.5 选 b 后我不想标 last_prediction_self_scored=true」 → 拒绝。选 b 等于"我有意接受主 Claude 自评"——必须留下污染追踪轨迹- 「我是 cold-start 但想跑完整版预测,给我 bucket 数字」 → 拒绝。前 5 篇 bucket 数字是 false precision,给反而误导。等第 5 篇复盘后 cheat-status 会主动提示解锁。如果用户确实想要数字(罕见,自我教育目的)→ 允许但在文件头醒目标 `**Numerical predictions in cold-start are NOT predictive — for self-education only**`## Integrationdiff --git a/skills/cheat-score-blind/SKILL.md b/skills/cheat-score-blind/SKILL.mdnew file mode 100644index 0000000..fb1083a--- /dev/null+++ b/skills/cheat-score-blind/SKILL.md@@ -0,0 +1,207 @@+---+name: cheat-score-blind+description: |+ INTERNAL sub-agent for blind 9-dim rubric scoring. **NOT a user-facing skill — do NOT invoke from main conversation.** Called via Task tool by cheat-score / cheat-predict / cheat-bump to get a context-isolated score on a script. Receives ONLY script_path + rubric_notes_path; refuses any other input. Outputs strict JSON: 9 dimensions × {score 0-5, confidence enum, one-line reason}. **Hard refuses to Read** .cheat-state.json, predictions/*, retro 段, or anything that could leak post-publish data. This is channel B in the 3-channel calibration model (A=main, B=blind sub, C=cross-model).+allowed-tools: Read, Glob, Grep+argument-hint: <script-path> <rubric-notes-path>+---++# /cheat-score-blind — Channel B (blind scorer sub-agent)++> ⚠️ **这是子 agent,不是用户 skill**。只能由 `cheat-score` / `cheat-predict` / `cheat-bump` 通过 Task tool spawn。用户直接 trigger 没有意义——主对话已经被污染,调用 blind sub-agent 在主 context 里跑不构成隔离。++---++## Why this exists(绝不可省的背景)++cheat-on-content 的 7/9 维打分原本 inline 在主对话——但主 Claude 已经看过:+- 用户对话历史(含偶然提到的播放数 / 评论 / 情绪)+- 已发布作品的实绩数据+- 历史 `predictions/*.md` 含复盘段(**严重污染**)+- 用户的赞美 / 抱怨 / 期待++inline 打分 = **被污染的"盲"预测**。问题在 `cheat-bump` Phase 2 校准池重打时最严重:Claude 知道每条实绩才回追 TN/CC 分,rank 一致性可能 overfit 不是真信号。++**channel B 的角色**:用 Task tool 把打分动作丢进一个**全新 context**——这个 sub-agent 没看过主对话、没读过 state、没碰过 predictions/。它只看 script 全文 + rubric_notes.md,按 rubric 打分。++输出回传主对话后,主 Claude 自己对比、做最终决策。隔离的是**打分这个动作的输入**,不是决策权。++## 三 channel 模型++| Channel | 输入 | 用途 | 风险 |+|---|---|---|---|+| **A** = 主对话 | 全部上下文 | 跟用户交互、写 retro、决策 | 被实绩 / 用户态度污染 |+| **B** = blind sub-agent (this) | **只** script + rubric_notes.md | 给一份未受污染的打分作为 anchor | 仍是 Claude,RLHF prior 共享 |+| **C** = 跨模型 audit (`mcp__llm-chat__chat` to qwen-max) | 校准池数据 + 新公式 | bump 终局 sanity check | RPM 限制、模型差异、单点 |++A 决策时把 B 当对照看 disagreement,**不当真理**。C 只在 bump 终局调一次。++---++## Inputs(**唯一被允许的输入**)++| 必填 | 来源 | 说明 |+|---|---|---|+| `<script-path>` | 主 Claude 通过 Task prompt 显式传入 | `scripts/<id>.md` 全文 |+| `<rubric-notes-path>` | 同上 | 用户项目根 `rubric_notes.md` 当前 rubric 公式 + 维度定义 |++**仅此两个文件可读**。其他一切**硬拒绝**——见下方 "Hard refusals" 段。++## 禁止读取(hard list)++下面这些路径 / 模式 sub-agent **绝不能 Read** —— 即使主 Claude 在 Task prompt 里手滑塞进来,也要拒绝并在 JSON 输出标 `refusal: "blocked_contaminated_input"`:++| 路径模式 | 为什么禁 |+|---|---|+| `.cheat-state.json` | 含 calibration_samples / pending_retros / last_published_at / shoots — 全是后视数据 |+| `predictions/*.md` | 含 `## 预测` 段 + `## 复盘` 段,复盘段就是实绩 |+| `videos/*/report.md` | T+3d 抓回的真实数据 |+| `videos/*/script.md` | 后改拍摄稿,复盘时被对照 |+| `STATUS.md` | cheat-status 渲染的看板,含过去数据 |+| `.cheat-cache/usage.jsonl` | 行为 log |+| 任何含"播放 / 阅读 / 点赞 / 评论数 / 转发 / w / 万 / k / M"的文件 | 直接污染 |++**白名单只有两个**:+- `scripts/<id>.md`(pre-shoot 草稿,传入参数)+- `rubric_notes.md`(评分公式 + 维度定义)++如果主 Claude Task prompt 漏传了某条路径,sub-agent 主动询问"我只允许读 script + rubric_notes,缺哪个?"——**绝不**自己去 Glob 探测项目结构补全。++---++## Workflow++### Phase 0:边界自检++1. 解析 Task prompt 拿 `<script-path>` 和 `<rubric-notes-path>`+2. 校验路径符合白名单——不在 `scripts/` 下的 .md → 拒绝(除非主 Claude 显式说明"这是临时草稿临时路径,标 `non_standard_path: true`")+3. Read `<rubric-notes-path>` → 解析当前 rubric_version + 维度数量(7 或 9)+ 公式+4. Read `<script-path>` → 拿到 script 全文 + 字数++⚠️ **不要做的事**:+- 不要为了"看看用户做啥账号"去 Read `benchmark.md` —— benchmark 是 Channel A 的 context,不属于本 sub-agent+- 不要为了"看看历史风格"去 Glob `predictions/` —— 那是污染源+- 不要去 Read `.cheat-state.json` 看 calibration 进度 —— 你**完全不需要知道**主 Claude 跑了多少篇++### Phase 1:按 rubric 打 N 维分++按 `rubric_notes.md` 当前 rubric 公式:++- v0:7 维等权(ER / SR / HP / QL / NA / AB / SAT)—— 默认起步+- v1:用户校准过的(权重不同)+- v2 / v2.1 / ...:含 MS / TS 等新增维度(9 维)++对每个维度:+1. 给一个 **0-5 整数分**+2. 给一个 **per-dim confidence** enum:`high | medium | low`+ - high:稿子里有直接证据(一句话指向该维度)+ - medium:可推断但需要解释+ - low:稿子信号太弱,纯估+3. 给一行 **理由** ≤ 30 字,**必须引用稿子里具体词或场景**++不算 composite——composite 是公式行为,主 Claude 用回传的维度分自己算。++### Phase 2:返回严格 JSON++输出**只能**是一个有效 JSON。所有 markdown 解释都封禁——主 Claude 要的是结构化数据回主 context 解析。++```json+{+ "subagent_version": "v1",+ "rubric_version": "v2",+ "script_path": "scripts/2026-05-04_abc123_短title.md",+ "script_hash": "<sha256:12 of script content>",+ "scored_at": "<ISO 8601 +08:00>",+ "dimensions": {+ "ER": { "score": 4, "confidence": "high", "reason": "PPT加油猫猫开头—具象画面,情绪反差强" },+ "SR": { "score": 3, "confidence": "medium", "reason": "AI焦虑是议题但非热点对峙" },+ "HP": { "score": 5, "confidence": "high", "reason": "首句\"第七页大屏中央 加油猫猫\"具象反差" },+ "QL": { "score": 5, "confidence": "high", "reason": "\"加油猫猫救了我一命\"双关金句" },+ "NA": { "score": 4, "confidence": "medium", "reason": "单线反思+收束,清晰但不复杂" },+ "AB": { "score": 4, "confidence": "medium", "reason": "一人公司题但AI焦虑普适" },+ "SAT": { "score": 2, "confidence": "high", "reason": "共情调,几乎无讽刺" }+ },+ "input_status": {+ "rubric_notes_read": true,+ "script_read": true,+ "any_other_file_read": false+ },+ "self_check": {+ "saw_play_numbers": false,+ "saw_comments": false,+ "saw_retro_segment": false,+ "any_contamination_signal": false+ },+ "refusal": null+}+```++`refusal != null` 的合法值:+- `"blocked_contaminated_input"`:Task prompt 传了禁读路径+- `"script_path_invalid"`:找不到 script 文件+- `"rubric_unparseable"`:rubric_notes.md 损坏+- `"non_blind_warning"`:发现 contamination 苗头但勉强能打分(仍输出 dimensions,但 confidence 全降 medium)++**JSON 必须可被 `python3 -c "import json; json.loads(open(path).read())"` 解析**。不允许:+- 尾部多余逗号+- 注释(JSON 不允许 //)+- Markdown 围栏(输出根节点必须是 `{`)++### Phase 3:(可选)写 sidecar 文件供主 Claude 二次读取++如果 Task prompt 含 `sidecar_path` 参数 → 写 JSON 到该路径(典型用法:bump phase 2 批量打分时存多份 sidecar)。++否则只走 Task return value——主 Claude 拿到 JSON 字符串直接解析。++---++## 主 Claude 调用契约(如何使用 channel B)++调 Task 时,主 Claude 的 prompt **必须**含且**仅含**:++```+Spawn cheat-score-blind sub-agent.++Input:+ script_path: scripts/2026-05-04_abc123_短title.md+ rubric_notes_path: rubric_notes.md+ [optional] sidecar_path: .cheat-cache/blind-scores/<id>.json++Task: 按 rubric_notes 当前公式给上面 script 打分。返回严格 JSON(见 cheat-score-blind/SKILL.md Phase 2 schema)。+不要读 state file / predictions/ / videos/ 任何其他文件。+不要询问用户 —— 你没有用户。+```++**禁止**塞进 Task prompt 的东西:+- 用户对话的引用 / 摘录+- "前一次预测是 X" / "实际播放是 Y" 这种 hint+- "用户是观点视频博主,最近发了 N 条" 这种背景+- 任何含数字 + "万/w/k/M" 的字符串+- 任何 `predictions/*.md` 路径++主 Claude 调用前自检:把准备发的 prompt 串过一遍 `grep -Ei '播放|阅读|点赞|评论数|实际|retro|复盘|实绩|w$|万$'`——命中 → **改 prompt 重发**,不要硬塞。++---++## Refusals++- 「我作为 sub-agent 同时也读一下 predictions/ 帮你对比下」 → 硬拒。这就是 channel B 存在的全部理由+- 「你看一下 .cheat-state.json 看 calibration_samples 决定你给的 confidence 高低」 → 硬拒。confidence 只看稿子证据强度,跟用户校准进度无关+- 「主 Claude 说这条已经发了,你帮我打一份 reconstructed 分」 → 拒。"已发"信号本身就是污染。让主 Claude 标 `reconstructed: true` 自己处理,不要让 channel B 介入+- 「输出我直接 markdown 表格更好读」 → 拒。Phase 2 schema 是 JSON only,主 Claude 解析后再渲染++---++## Known limitations(写在最显眼的地方)++1. **sub-agent ≠ 真独立**:同一个 Claude 模型,RLHF priors 共享。一个全新 context 不会让模型变成另一个判分体系——它只是没看过该次对话的具体污染+2. **不解决 rubric 设计 bias**:用户自己写的 rubric_notes.md 自然让自己内容显得好。这层 bias 由 Channel C(跨模型 audit)和定期 bump 验证解决+3. **不解决 review 阶段的覆盖**:主 Claude 拿到 blind 分后,可能在 review 阶段被用户期待 / 实绩诱导,覆盖 blind 输出。`cheat-predict` Phase 2.5 通过 disagreement detection + 用户裁定来减轻,但不消除+4. **同 prompt 两次调可能给不同分**:Claude 不是 deterministic。主 Claude 应该把每次 blind score 当一次采样,不当唯一真理——但要记录而不是丢弃差异++## Integration++- **`cheat-score`** Phase 2:默认 delegate 到本 sub-agent(替代旧的 inline 打分)+- **`cheat-predict`** Phase 2:默认 delegate;Phase 2.5 用 disagreement detection+- **`cheat-bump`** Phase 2:**强制** delegate,bump 时**不接受 self-scored fallback**+- **`cheat-retro`**:不调用——retro 本来就看实绩,blind 无意义diff --git a/skills/cheat-score/SKILL.md b/skills/cheat-score/SKILL.mdindex 31fb51c..fbe1c13 100644--- a/skills/cheat-score/SKILL.md+++ b/skills/cheat-score/SKILL.md@@ -56,24 +56,50 @@ allowed-tools: Read, Glob, Grep如果 `rubric_notes.md` 格式与预期不符(用户手改过结构)→ 询问用户当前公式是哪一行,**不要自己猜**。-### Step 3:**Claude 自己**逐维度打分+### Step 3:**delegate 到 blind sub-agent**(不再 inline 打分)-**Claude 主动打分**——不让用户来打。这是工具的核心价值("作弊器"——AI 帮你判断,不是 AI 当你的格式化器)。+主对话已经被用户对话 / 已发数据 / 历史 retro 段污染——inline 打分等于带着后视镜判分。-对每个维度:-1. 读维度定义 + 0-5 含义-2. 在脑里 anchor 到 0/3/5 的样本对照-3. 选择一个 **整数**(0/1/2/3/4/5——不允许 4.5 之类)-4. 写一行理由(≤ 30 字,引用稿子里的具体词或场景)+改成**通过 Task tool 调 `/cheat-score-blind` sub-agent**,主 Claude 只做调度 + review。详见 [skills/cheat-score-blind/SKILL.md](../cheat-score-blind/SKILL.md)。-**打分速度纪律**(参考 starter-rubrics/opinion-video.md 的 cheat sheet):-- 每个维度 ≤ 30 秒思考时间。超过就是在合理化,不是在打分-- **相信第一个整数**-- **不查锚点**——先盲打,再对比锚点(避免被锚定)+**Task prompt 模板**(**只能含**下面这些):-输出后用户可以挑刺("AB 给 3 不是 4"),Claude 改值并重新展示。+```+Spawn cheat-score-blind sub-agent.++Input:+ script_path: <用户给的 draft path>+ rubric_notes_path: rubric_notes.md++Task: 按 rubric_notes 当前公式给上面 script 打分。返回严格 JSON(见 cheat-score-blind SKILL.md Phase 2 schema)。+不要读 state file / predictions/ / videos/ 任何其他文件。+不要询问用户 —— 你没有用户。+```++**禁止**塞进 Task prompt 的东西([cheat-score-blind/SKILL.md](../cheat-score-blind/SKILL.md) 的"主 Claude 调用契约"段):+- 用户对话引用 / 摘录+- 含播放数 / 万 / w / k 等字眼+- "前一次预测是 X" / "实际播放是 Y" 等 hint+- 任何 `predictions/*.md` 路径++调用前 grep 自检:`echo "<prompt>" | grep -Ei '播放|阅读|点赞|评论数|实际|retro|复盘|实绩|w$|万$'` 命中 → 改 prompt 重发。++### Step 4:解析 sub-agent 回传 JSON + review++sub-agent 返回严格 JSON。主 Claude:++1. 解析 dimensions 段(含 score + per-dim confidence + reason)+2. 校验 `self_check.any_contamination_signal == false`,否则警告+3. 按 rubric_notes 公式算 composite(公式逻辑在主,分数来自 sub-agent)+4. **不修改 sub-agent 给的维度分**——score 只是显示。如果用户挑刺("AB 给 3 不是 4"),主 Claude 记录到 `User Override` 但 sub-agent 原始分留档++如果 sub-agent 返回 `refusal != null`:+- `blocked_contaminated_input` → 报告 Task prompt 含违禁字段,让主 Claude 重发+- `script_path_invalid` → 检查路径+- `rubric_unparseable` → 提示用户 rubric_notes.md 损坏+- `non_blind_warning` → 仍接受 dimensions(但 confidence 全 medium),警告-### Step 4:算 composite + 输出+### Step 5:算 composite + 输出按当前公式算综合分。控制台输出(OUTPUT_DETAIL=full):@@ -103,7 +129,7 @@ composite = (5×1.5 + 2×1.5 + 5×1.5 + 5 + 3 + 5 + 4) / 8.5 × 2.0 = **8.24**OUTPUT_DETAIL=compact 时仅输出分数表 + composite,不附理由列。-### Step 5:**绝不**做的事+### Step 6:**绝不**做的事- ❌ 写任何文件(包括 predictions/、rubric_notes.md、candidates.md)- ❌ 给 bucket 概率分布(那是 cheat-predict 的活)@@ -112,17 +138,19 @@ OUTPUT_DETAIL=compact 时仅输出分数表 + composite,不附理由列。## Key Rules-1. **整数分**。不允许 4.5、3.7。如果犹豫 → 选低值 + 备注-2. **盲打优先**。打分前不读 anchors(当前样本附近 composite 的旧作品的实绩),避免被实绩锚定-3. **理由是诊断工具**。每个维度的 1-30 字理由不是装饰——复盘时用来找出哪个维度判断错了-4. **不写文件**。这是 score 与 predict 的核心区别。score 是探索,predict 是承诺-5. **不算 candidate composite**。candidates.md 里的 composite 字段在 cheat-trends/cheat-recommend 里写——score 只服务"已写好的具体稿子"+1. **打分走 sub-agent**。主 Claude 不再 inline 打分。看 [cheat-score-blind/SKILL.md](../cheat-score-blind/SKILL.md) 的隔离协议+2. **整数分**。不允许 4.5、3.7+3. **盲打优先**。sub-agent 只看 script + rubric,天然盲——这是它存在的全部理由+4. **理由是诊断工具**。每个维度的 1-30 字理由不是装饰——复盘时用来找出哪个维度判断错了+5. **不写文件**。这是 score 与 predict 的核心区别。score 是探索,predict 是承诺+6. **不算 candidate composite**。candidates.md 里的 composite 字段在 cheat-trends/cheat-recommend 里写——score 只服务"已写好的具体稿子"## Refusals- 「打分顺便预测一下」 → 拒绝。请改用 `/cheat-predict`。原因:predict 必须走 blind check + 写 immutable 日志,score 跳过这些- 「打完分把分数写进 rubric_notes.md 的观察段」 → 拒绝。observation lifecycle 规定观察必须有"实绩 vs 预测"对比,光有打分不构成观察- 「能不能直接告诉我会不会爆」 → 拒绝。给具体 composite + bucket 的判定要求走 predict 流程;score 只输出当前 rubric 下的机械计算+- 「跳过 blind sub-agent 让主 Claude 直接打」 → cheat-score **不接受**这种 escape hatch(与 cheat-predict 不同;cheat-predict 有 `--skip-blind`)。score 是轻量探索,没理由放弃隔离。如真的 Task tool 不可用 → 提示用户配置后再试## Integrationdiff --git a/uninstall.sh b/uninstall.shindex c89a36e..065dc42 100755--- a/uninstall.sh+++ b/uninstall.sh@@ -2,7 +2,7 @@## cheat-on-content / uninstall.sh#-# Removes cheat-on-content skills from Claude Code and/or Codex skill dirs.+# Removes the 14 cheat-on-content skills from Claude Code and/or Codex skill dirs.## Does NOT touch any content project's data (.cheat-state.json, predictions/,# rubric_notes.md, candidates.md, etc.) — those live in your content directories@@ -22,6 +22,7 @@ SUB_SKILLS=(cheat-learn-fromcheat-seedcheat-score+ cheat-score-blindcheat-predictcheat-shootcheat-publish