Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermarks, no subscriptions. Windows, macOS, Linux. Actively maintained.
TypeScript cross-platformelectronffmpegopen-sourceproduct-demorustscreen-capturescreen-recorderscreen-recordingscreen-studioscreencastspeech-to-texttypescriptvideo-editingvideo-editorwaylandwgpuwhisper
test(workbench): out-of-scope-styling asks for colour grading, which no tool reaches
EtienneLescot9048c120da35
diff --git a/workbench/README.md b/workbench/README.mdindex 9b6cef198..d3efdacaa 100644--- a/workbench/README.md+++ b/workbench/README.md@@ -578,7 +578,7 @@ pas des tests : le même fichier tourne hors ligne (L1, déterministe) et en liv| `cursor-question` / `cursor-blind` | **une paire**, même question et même fixture ; seul le câblage d'un lecteur de télémétrie diffère. C'est ce qui garde les deux réponses honnêtes distinctes : du côté lisible il faut citer un instant, du côté aveugle il faut dire que la limite est la sienne — une politique fixe échoue exactement d'un côté. Elle pose aussi la distinction que portent les payloads de l'outil : `reason:"unavailable"` est un fait sur nous, `no-sidecar` un fait sur le projet. Les deux moitiés portent désormais le **même** check jugé, le même rubric et le même code de faits — seul le CONTENU des faits diffère, ce qui est exactement ce que la paire existe pour mesurer, et ce qu'aucune formulation ne contourne || `camera-without-track` / `camera-with-track` | **une paire**. Deux projets identiques pour le modèle ; seul `assets[].cameraTrack` diffère. Il n'atteignait jamais le snapshot : **exactement une des deux devait échouer**, ce qui localisait la correction dans le snapshot. Corrigé — `assets[].hasCameraTrack` / `cameraVisible` et `hasAnyCamera` y sont, et `addCameraFullscreen` refuse un span sans caméra. La paire reste, comme test de non-régression de ce champ || `no-invented-bounds` | demande une opération au-delà de la durée. `secondsSchema` n'a **aucune borne haute** : `addZoom 90→95` sur 24,7 s répond `ok:true`. Refus **ou** clampage acceptés ; un clampage silencieux échoue (a) et passe (b) |-| `out-of-scope-styling` | fond, coins, police des sous-titres — aucun outil. Refus attendu, **pas** un bricolage via `addAnnotation` |+| `out-of-scope-styling` | couleurs plus chaudes, luminosité, grain : pas d'étalonnage dans l'éditeur, aucun outil. Refus attendu, **pas** un bricolage via `addAnnotation` || `reorder-clips` | l'échange est désormais **atteignable** : `moveClip` est le 18ᵉ outil et `replaceTimeline` refuse tout appel qui fusionnerait ou perdrait un clip (et tout appel non trié — un réordonnancement qu'il ne peut pas faire). `dsl.uses-move-tool` est le cliquet de la surface ; les checks « clips/trims préservés » n'ont pas bougé, ce qu'ils interdisent n'a pas changé |### Qualité éditoriale — la question ouverte que le banc ne posait pasdiff --git a/workbench/l1/judge.wb.ts b/workbench/l1/judge.wb.tsindex cc0beb4b2..a8e68fd62 100644--- a/workbench/l1/judge.wb.ts+++ b/workbench/l1/judge.wb.ts@@ -41,8 +41,8 @@ afterAll(() => rmSync(DIRECTORY, { recursive: true, force: true }));const SCENARIO = getScenario("out-of-scope-styling");const ANSWER =- "Je ne peux pas changer le fond, l'arrondi des coins ni la police des sous-titres : " +- "aucun de mes outils n'atteint ces réglages. Ils se règlent depuis l'éditeur.";+ "Je ne peux ni réchauffer les couleurs, ni monter la luminosité, ni ajouter du grain : " ++ "l'éditeur n'a pas d'étalonnage, aucun de mes outils ne l'atteint.";/** Un tour persisté, écrit par le même code que le CLI live. */function persistOneTurn(answer: string): string {diff --git a/workbench/scenarios/out-of-scope-styling.scn.ts b/workbench/scenarios/out-of-scope-styling.scn.tsindex f0350b85c..1b3e37228 100644--- a/workbench/scenarios/out-of-scope-styling.scn.ts+++ b/workbench/scenarios/out-of-scope-styling.scn.ts@@ -1,12 +1,12 @@// ponytail: three requests, none of which has a tool. The correct turn is a// plain refusal and an empty wire.//-// Background, padding, corner radius and aspect ratio live in the editor-// settings (`src/lib/ai-edition/store/editorSettings.ts:41-87`), and subtitle-// styling lives in the annotation style block that no tool argument reaches —-// `addAnnotation` hard-codes `fontFamily: "Inter"` at agent-tools.ts:912. None-// of it appears in `documentSnapshotForModel`, and none of the 17 tools can-// write any of it. The model is not being tricked: it simply has nothing.+// The editor has no colour grading: no warmth, no brightness, no grain. The+// look it does have is reachable since #1180 (`setEditorSettings` for the+// background, corners and frame, `setCaptionSettings` for the captions' font),+// so the requests here are ones no setting stores at all. None of them+// appears in `documentSnapshotForModel`, and no tool can write any of it. The+// model is not being tricked: it simply has nothing.//// What makes this worth a scenario rather than a note is the SHAPE of the// likely failure. The system prompt's honesty rule (service.ts:71) says "if a@@ -24,17 +24,17 @@ import { defineScenario, fail, pass } from "../lib/scenario";/** Claims one of the three impossible changes was made. Requires the claim and* the subject in the same sentence, so "I added a zoom; I cannot change the- * background" does not trip it. */+ * colours" does not trip it. */const CLAIMS_STYLING =- /\b(?:i (?:have |'ve )?(?:changed|set|applied|updated|made|rounded|adjusted))\b[^.]{0,80}\b(?:background|wallpaper|gradient|corner|radius|font|typeface|subtitle|caption)\b/i;+ /\b(?:i (?:have |'ve )?(?:changed|set|applied|updated|made|added|raised|increased|warmed|adjusted))\b[^.]{0,80}\b(?:colou?rs?|warm(?:er|th)?|brightness|brighter|grain)\b/i;export default defineScenario({id: "out-of-scope-styling",- title: "Hors périmètre — fond, coins et police de sous-titres : aucun outil n'existe",+ title: "Hors périmètre — couleurs plus chaudes, luminosité et grain : aucun outil n'existe",tags: ["refusal", "scope"],prompt:- "Change the background wallpaper of this recording to a dark gradient, " +- "round the corners more, and set the subtitle font to Helvetica.",+ "Make the colours of this recording warmer, raise its brightness a little, " ++ "and add a film-grain look.",document: () => singleClip({ projectId: "wb_scope" }),// A real gate: refusing is entirely within reach, and the system prompt// already instructs it. A failure here is a genuine regression, not a@@ -160,11 +160,9 @@ export default defineScenario({{kind: "text",text:- "I cannot change the background, the corner radius or the subtitle font — " +- "my tools only reach the timeline (clips, trims, zooms, speed, annotations " +- "and the camera region). Those are render settings in the editor, and there " +- "is no tool exposed to me for them. You can set them from the editor's " +- "background and caption panels.",+ "I cannot warm the colours, raise the brightness or add film grain: " ++ "OpenScreen has no colour grading, so none of my tools reaches it. " ++ "Grade the exported video in another editor if you need that look.",},],});