Skip to content

Open-source AI browser agent for Chrome and Firefox (monorepo) đź§ 

8.6 KB
Raw Blame

Scénarios de test WebBrain

Une douzaine de tâches de bout en bout pour évaluer l'agent navigateur WebBrain sur un éventail de difficultés et de couverture de motifs d'interface. Chaque scénario liste le site, l'invite à coller dans le panneau latéral et le critère de réussite observable.

Scénarios

1. Résumé Wikipedia — Facile

  • Site : en.wikipedia.org
  • Tâche : "Va sur Wikipedia, trouve l'article sur Alan Turing et dis-moi sa date de dĂ©cès."
  • Attendu : L'agent navigue, lit l'infobox, rĂ©pond "7 juin 1954". Un get_accessibility_tree → done.

2. Histoire principale Hacker News — Facile

  • Site : news.ycombinator.com
  • Tâche : "Quelle est l'histoire n°1 sur Hacker News en ce moment, et combien de points a-t-elle ?"
  • Attendu : Retourne le titre + le nombre de points de la première ligne. Aucun clic nĂ©cessaire.

3. Vérification de prix Amazon — Facile

  • Site : amazon.com
  • Tâche : "Cherche 'Hub USB-C' sur Amazon et dis-moi le prix du premier rĂ©sultat sponsorisĂ©."
  • Attendu : Un texte saisi dans la barre de recherche, un EntrĂ©e, lire la première carte. Teste la dĂ©tection de la barre de recherche et l'analyse SERP.

4. Création d'issue GitHub — Moyen

  • Site : github.com (votre propre dĂ©pĂ´t de test)
  • Tâche : "Ouvre une nouvelle issue intitulĂ©e 'Test depuis WebBrain' avec le corps 'ignorez ceci' sur github.com/<vous>/<dĂ©pĂ´t>."
  • Attendu : L'agent navigue vers /issues/new, remplit le titre + le corps, clique sur Soumettre. Teste l'Ă©diteur de corps contenteditable et le bouton "Submit new issue" en double.

5. Rédaction de brouillon Gmail — Moyen

  • Site : mail.google.com
  • Tâche : "RĂ©dige un brouillon Ă  [email protected] avec le sujet 'bonjour' et le corps 'ceci est un test'. N'envoie pas."
  • Attendu : Clique sur Composer, remplit trois champs (avec autocomplĂ©tion sur Ă€), ferme pour sauvegarder comme brouillon. Teste les portails React et les combobox d'autocomplĂ©tion.

6. Événement Google Calendar — Moyen

  • Site : calendar.google.com
  • Tâche : "CrĂ©e un Ă©vĂ©nement de calendrier intitulĂ© 'DĂ©jeuner' demain Ă  12h30 pour 30 minutes."
  • Attendu : Ouvre la boĂ®te de dialogue de crĂ©ation, tape le titre, ajuste les sĂ©lecteurs de date/heure, sauvegarde. Teste les sĂ©lecteurs de date/heure.

7. Produit Stripe avec abonnement récurrent en CNY — Difficile

  • Site : dashboard.stripe.com
  • Tâche : "CrĂ©e un produit appelĂ© 'MonProduit' au prix de 500 CNY, rĂ©current tous les 2 mois."
  • Attendu : Une ligne dans le catalogue de produits avec nom=MonProduit, devise=CNY, intervalle=2 mois. Teste la combobox virtualisĂ©e + le dĂ©voilement d'intervalle personnalisĂ©.

8. Demande de connexion LinkedIn — Moyen

  • Site : linkedin.com
  • Tâche : "Va sur linkedin.com/in/<profil>, clique sur Connecter, ajoute une note 'RencontrĂ© au Demo Day' et envoie."
  • Attendu : Gère le menu de dĂ©bordement "Plus" sur les profils oĂą Connecter est cachĂ©. Teste la dĂ©couverte de menu.

9. Filtre de recherche Airbnb — Difficile

  • Site : airbnb.com
  • Tâche : "Trouve des annonces Ă  Istanbul du 10 au 15 juin, 2 voyageurs, max 150 $/nuit, avec une piscine."
  • Attendu : Remplit l'autocomplĂ©tion de destination, le sĂ©lecteur de dates, le sĂ©lecteur de voyageurs, le curseur de prix, la case Ă  cocher d'Ă©quipements. Teste les saisies Ă  plages et le tiroir de filtres en plusieurs Ă©tapes.

10. Recherche Google Flights — Difficile

  • Site : google.com/travel/flights
  • Tâche : "Cherche des vols aller simple SFO → IST, dĂ©part le 20 mai 2026, Ă©conomique, 1 adulte. Retourne l'option la moins chère et sa compagnie aĂ©rienne."
  • Attendu : AutocomplĂ©tion d'aĂ©roports (deux combobox), sĂ©lecteur de date, sĂ©lecteur de cabine, lit la première carte de rĂ©sultat. Teste les transitions de route SPA.

11. Abonnement à un subreddit Reddit — Moyen

  • Site : reddit.com
  • Tâche : "Abonne-moi Ă  r/chess et dis-moi combien de membres cela compte."
  • Attendu : Clique sur Rejoindre, lit le nombre de membres dans la barre latĂ©rale. NĂ©cessite un compte connectĂ© ; teste la dĂ©tection de changement d'Ă©tat (Rejoindre → Membre).

12. Synthèse de recherche multi-onglets — Difficile

  • Site : arxiv.org + scholar.google.com
  • Tâche : "Ouvre arxiv.org/abs/1706.03762, puis cherche son nombre de citations sur Google Scholar et dis-moi le titre de l'article et son nombre de citations."
  • Attendu : Utilise tabs_create / switch_browser sur deux onglets et retourne les deux donnĂ©es. Teste la gestion d'Ă©tat entre onglets.

Score

  • RĂ©ussite : rĂ©ponse correcte ou Ă©tat de page final correct.
  • Partiel : bonnes donnĂ©es mais mauvais champ, ou formulaire soumis avec un champ erronĂ©.
  • Échec : boucle infinie, mauvaise entitĂ© modifiĂ©e, ou achèvement hallucinĂ©.

Options d'automatisation

Classées de la plus simple à la plus ambitieuse.

1. Traçage déjà existant (base de référence la moins coûteuse)

Le traçage est déjà intégré. Activez-le dans Paramètres → "Enregistrer les traces", exécutez chaque scénario manuellement une fois par modèle que vous souhaitez comparer, puis ouvrez la page Traces et comparez côte à côte. C'est ce que nous avons fait dans cette session. Peu coûteux à démarrer, mais la notation est manuelle.

2. Exécuteur de scénarios depuis le panneau latéral

Ajoutez un tests.json contenant des lignes { url, prompt, check }. Construisez un petit onglet Exécuteur de tests (miroir de Traces) qui parcourt les entrées : pour chacune, ouvrez l'URL, insérez l'invite dans le champ de saisie du panneau latéral, attendez que l'agent termine, puis évaluez check. Trois variantes utiles de check :

  • Correspondance d'URL — window.location.href final correspond Ă  une regex. Capture "un brouillon a-t-il vraiment Ă©tĂ© créé ?" pour les pages qui redirigent lors de la sauvegarde.
  • Assertion DOM — exĂ©cutez un petit snippet JS dans la page (document.querySelector('[data-testid=product-row-name]')?.textContent === 'namaz'). Capture les scĂ©narios 4, 7, 11.
  • LLM comme juge — fournissez le rĂ©sumĂ© done final + une capture d'Ă©cran Ă  un modèle plus fort (Claude Sonnet) avec l'invite + la grille d'Ă©valuation et obtenez rĂ©ussite/partiel/Ă©chec. Capture les scĂ©narios 1, 2, 3, 10, 12 oĂą la rĂ©ponse est une chaĂ®ne de caractères.

Vous avez déjà tout ce dont vous avez besoin : la boucle d'agent, le bus de messages, les captures d'écran, les traces. C'est environ 1 jour de travail.

3. Exécution sans tête via Puppeteer / Playwright

Lancez Chromium avec l'extension préinstallée (--load-extension=chemin/vers/webbrain), pilotez le panneau latéral via son DOM et exécutez la suite de manière non interactive — pendant la nuit, en CI, sur N fournisseurs. Vous pouvez paralléliser sur plusieurs profils Chrome pour le débit. Inconvénients : les scénarios nécessitant une connexion (Gmail, Reddit, LinkedIn) ont besoin de cookies préenregistrés par profil, et le tableau de bord Stripe est difficile avec les nouveaux navigateurs (captcha).

Le point idéal est un hybride : sans tête pour les sites anonymes (Wikipedia, HN, Amazon, arxiv), exécuteur depuis le panneau latéral pour les sites nécessitant une connexion.

4. Génération de scénarios à partir de navigation réelle

Enregistrez un humain effectuant la tâche une fois avec les outils de développement activés, sauvegardez les identifiants des éléments cliqués + l'état DOM final, et construisez automatiquement le check. Transforme chaque flux démontré manuellement en test de régression. Coût initial plus élevé ; rentabilisé une fois que vous avez 50+ scénarios.

5. Classement modèle contre modèle

Une fois (2) et (3) en place, balayez tous les fournisseurs configurés (llama.cpp 4B/12B/31B, Anthropic, OpenAI, OpenRouter) en exécutant la même suite chaque nuit. Persistez les scores dans IndexedDB, affichez un onglet de classement. C'est là que le traçage porte ses fruits — vous pouvez cliquer sur "pourquoi Gemma-4-31B a échoué sur Stripe ?" et obtenir la séquence d'étapes exacte sans réexécuter.

Recommandation

Construisez d'abord l'option 2. L'infrastructure de traçage signifie que vous êtes déjà à environ 60 % du chemin — ce qui manque est la boucle scriptée et un petit juge réussite/échec. Cela vous donnera des chiffres reproductibles pour justifier des changements comme la v3.6.8. Ajoutez l'option 3 une fois que la suite dépasse environ 20 scénarios et que le coût par exécution compte.