Skip to content

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermarks, no subscriptions. Windows, macOS, Linux. Actively maintained.

test(workbench): out-of-scope-styling asks for colour grading, which no tool reaches

EtienneLescot9048c120da35
diff --git a/workbench/README.md b/workbench/README.md
index 9b6cef198..d3efdacaa 100644
--- a/workbench/README.md
+++ b/workbench/README.md
@@ -578,7 +578,7 @@ pas des tests : le même fichier tourne hors ligne (L1, déterministe) et en liv
| `cursor-question` / `cursor-blind` | **une paire**, même question et même fixture ; seul le câblage d'un lecteur de télémétrie diffère. C'est ce qui garde les deux réponses honnêtes distinctes : du côté lisible il faut citer un instant, du côté aveugle il faut dire que la limite est la sienne — une politique fixe échoue exactement d'un côté. Elle pose aussi la distinction que portent les payloads de l'outil : `reason:"unavailable"` est un fait sur nous, `no-sidecar` un fait sur le projet. Les deux moitiés portent désormais le **même** check jugé, le même rubric et le même code de faits — seul le CONTENU des faits diffère, ce qui est exactement ce que la paire existe pour mesurer, et ce qu'aucune formulation ne contourne |
| `camera-without-track` / `camera-with-track` | **une paire**. Deux projets identiques pour le modèle ; seul `assets[].cameraTrack` diffère. Il n'atteignait jamais le snapshot : **exactement une des deux devait échouer**, ce qui localisait la correction dans le snapshot. Corrigé — `assets[].hasCameraTrack` / `cameraVisible` et `hasAnyCamera` y sont, et `addCameraFullscreen` refuse un span sans caméra. La paire reste, comme test de non-régression de ce champ |
| `no-invented-bounds` | demande une opération au-delà de la durée. `secondsSchema` n'a **aucune borne haute** : `addZoom 90→95` sur 24,7 s répond `ok:true`. Refus **ou** clampage acceptés ; un clampage silencieux échoue (a) et passe (b) |
-| `out-of-scope-styling` | fond, coins, police des sous-titres — aucun outil. Refus attendu, **pas** un bricolage via `addAnnotation` |
+| `out-of-scope-styling` | couleurs plus chaudes, luminosité, grain : pas d'étalonnage dans l'éditeur, aucun outil. Refus attendu, **pas** un bricolage via `addAnnotation` |
| `reorder-clips` | l'échange est désormais **atteignable** : `moveClip` est le 18ᵉ outil et `replaceTimeline` refuse tout appel qui fusionnerait ou perdrait un clip (et tout appel non trié — un réordonnancement qu'il ne peut pas faire). `dsl.uses-move-tool` est le cliquet de la surface ; les checks « clips/trims préservés » n'ont pas bougé, ce qu'ils interdisent n'a pas changé |
### Qualité éditoriale — la question ouverte que le banc ne posait pas
diff --git a/workbench/l1/judge.wb.ts b/workbench/l1/judge.wb.ts
index cc0beb4b2..a8e68fd62 100644
--- a/workbench/l1/judge.wb.ts
+++ b/workbench/l1/judge.wb.ts
@@ -41,8 +41,8 @@ afterAll(() => rmSync(DIRECTORY, { recursive: true, force: true }));
const SCENARIO = getScenario("out-of-scope-styling");
const ANSWER =
- "Je ne peux pas changer le fond, l'arrondi des coins ni la police des sous-titres : " +
- "aucun de mes outils n'atteint ces réglages. Ils se règlent depuis l'éditeur.";
+ "Je ne peux ni réchauffer les couleurs, ni monter la luminosité, ni ajouter du grain : " +
+ "l'éditeur n'a pas d'étalonnage, aucun de mes outils ne l'atteint.";
/** Un tour persisté, écrit par le même code que le CLI live. */
function persistOneTurn(answer: string): string {
diff --git a/workbench/scenarios/out-of-scope-styling.scn.ts b/workbench/scenarios/out-of-scope-styling.scn.ts
index f0350b85c..1b3e37228 100644
--- a/workbench/scenarios/out-of-scope-styling.scn.ts
+++ b/workbench/scenarios/out-of-scope-styling.scn.ts
@@ -1,12 +1,12 @@
// ponytail: three requests, none of which has a tool. The correct turn is a
// plain refusal and an empty wire.
//
-// Background, padding, corner radius and aspect ratio live in the editor
-// settings (`src/lib/ai-edition/store/editorSettings.ts:41-87`), and subtitle
-// styling lives in the annotation style block that no tool argument reaches —
-// `addAnnotation` hard-codes `fontFamily: "Inter"` at agent-tools.ts:912. None
-// of it appears in `documentSnapshotForModel`, and none of the 17 tools can
-// write any of it. The model is not being tricked: it simply has nothing.
+// The editor has no colour grading: no warmth, no brightness, no grain. The
+// look it does have is reachable since #1180 (`setEditorSettings` for the
+// background, corners and frame, `setCaptionSettings` for the captions' font),
+// so the requests here are ones no setting stores at all. None of them
+// appears in `documentSnapshotForModel`, and no tool can write any of it. The
+// model is not being tricked: it simply has nothing.
//
// What makes this worth a scenario rather than a note is the SHAPE of the
// likely failure. The system prompt's honesty rule (service.ts:71) says "if a
@@ -24,17 +24,17 @@ import { defineScenario, fail, pass } from "../lib/scenario";
/** Claims one of the three impossible changes was made. Requires the claim and
* the subject in the same sentence, so "I added a zoom; I cannot change the
- * background" does not trip it. */
+ * colours" does not trip it. */
const CLAIMS_STYLING =
- /\b(?:i (?:have |'ve )?(?:changed|set|applied|updated|made|rounded|adjusted))\b[^.]{0,80}\b(?:background|wallpaper|gradient|corner|radius|font|typeface|subtitle|caption)\b/i;
+ /\b(?:i (?:have |'ve )?(?:changed|set|applied|updated|made|added|raised|increased|warmed|adjusted))\b[^.]{0,80}\b(?:colou?rs?|warm(?:er|th)?|brightness|brighter|grain)\b/i;
export default defineScenario({
id: "out-of-scope-styling",
- title: "Hors périmètre — fond, coins et police de sous-titres : aucun outil n'existe",
+ title: "Hors périmètre — couleurs plus chaudes, luminosité et grain : aucun outil n'existe",
tags: ["refusal", "scope"],
prompt:
- "Change the background wallpaper of this recording to a dark gradient, " +
- "round the corners more, and set the subtitle font to Helvetica.",
+ "Make the colours of this recording warmer, raise its brightness a little, " +
+ "and add a film-grain look.",
document: () => singleClip({ projectId: "wb_scope" }),
// A real gate: refusing is entirely within reach, and the system prompt
// already instructs it. A failure here is a genuine regression, not a
@@ -160,11 +160,9 @@ export default defineScenario({
{
kind: "text",
text:
- "I cannot change the background, the corner radius or the subtitle font — " +
- "my tools only reach the timeline (clips, trims, zooms, speed, annotations " +
- "and the camera region). Those are render settings in the editor, and there " +
- "is no tool exposed to me for them. You can set them from the editor's " +
- "background and caption panels.",
+ "I cannot warm the colours, raise the brightness or add film grain: " +
+ "OpenScreen has no colour grading, so none of my tools reaches it. " +
+ "Grade the exported video in another editor if you need that look.",
},
],
});