Skip to content

🕷️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

7.4 KB
Raw Blame

title: "Référence de l’API du serveur MCP de Scrapling" description: "Consultez les outils du serveur MCP et ses modèles de requêtes, réponses et sessions pour extraire des données par HTTP ou navigateur."

Référence du serveur MCP {#mcp-server-api-reference}

Le serveur MCP de Scrapling propose seize outils pour extraire des données et interagir avec le navigateur via le Model Context Protocol (MCP). Intégrez Scrapling aux assistants et agents IA pour extraire des données par la conversation, avec des fonctions contre la détection des bots.

DĂ©marrez le serveur MCP avec cette commande :

scrapling mcp

Ou importez directement la classe du serveur :

from scrapling.core.ai import ScraplingMCPServer

server = ScraplingMCPServer()
server.serve(http=False, host="127.0.0.1", port=8000)

Pour utiliser votre propre exĂ©cutable de navigateur compatible avec Chromium, passez executable_path :

server = ScraplingMCPServer(executable_path="/path/to/chromium")

Modèle de réponse {#response-model}

Les outils de récupération de pages et de requêtes HTTP renvoient cette structure, avec une réponse par appel. Les outils de gestion des sessions utilisent les modèles suivants. browser_screenshot renvoie une image de la page ou d’un élément, avec l’URL actuelle, sous forme de blocs image et texte. browser_extract et browser_actions renvoient du texte brut. Les deux outils réseau renvoient du JSON structuré avec les modèles suivants. browser_evaluate renvoie le résultat en JSON dans un bloc texte.

::: scrapling.core.ai.server.ResponseModel

handler: python
:docstring:

Modèles des requêtes réseau {#network-request-models}

browser_network_requests renvoie NetworkRequestsModel avec requests, next_cursor, has_more et dropped_count. Chaque NetworkRequestInfo contient id, url, method, resource_type et status. Pour continuer, passez next_cursor comme after_id. has_more indique s’il reste des résultats dans l’historique actuel.

browser_network_request renvoie NetworkRequestModel avec request_id, part, data et note. Les résumés et les en-têtes sont des objets. Le contenu complet enregistré est renvoyé comme une chaîne, même si la réponse contient du JSON. note explique si des données du contenu manquent ou si les en-têtes sont incomplets.

::: scrapling.core.ai._network_formatting.NetworkRequestInfo

handler: python
:docstring:

::: scrapling.core.ai.server.NetworkRequestsModel

handler: python
:docstring:

::: scrapling.core.ai._network_formatting.NetworkRequestModel

handler: python
:docstring:

Modèles des sessions {#session-models}

Classes de modèles pour gĂ©rer les sessions :

::: scrapling.core.ai.server.SessionInfo

handler: python
:docstring:

::: scrapling.core.ai.server.SessionCreatedModel

handler: python
:docstring:

::: scrapling.core.ai.server.SessionClosedModel

handler: python
:docstring:

Classe du serveur MCP {#mcp-server-class}

La classe principale du serveur MCP propose les outils suivants :

  • make_request : RĂ©cupère une URL par HTTP avec imitation du navigateur et fermeture automatique du client. Accepte GET, POST, PUT et DELETE.

  • browser_fetch_once : RĂ©cupère une URL avec un navigateur furtif, exĂ©cute JavaScript, gère Cloudflare et ferme le navigateur. Utilisez une session persistante si vous devez agir ensuite ou consulter l’historique rĂ©seau.

  • browser_extract : Lit la page actuelle ou un Ă©lĂ©ment sous forme de vue structurĂ©e pour l’IA, de HTML, de Markdown ou de texte, sans recharger. Conserve les rĂ©sultats des formulaires et des actions. Les vues structurĂ©es incluent les rĂ´les, noms, rĂ©fĂ©rences, positions et tailles des Ă©lĂ©ments. La recherche par expression rĂ©gulière renvoie les lignes correspondantes, le contexte proche et les nĹ“uds parents.

  • browser_actions : EnchaĂ®ne les mouvements de souris, survols, clics, dĂ©filements, saisies, raccourcis clavier, rĂ©ponses aux boĂ®tes de dialogue et attentes dans un appel. Acceptez ou fermez les alertes et confirmations, ou saisissez du texte dans une boĂ®te de dialogue. Vous pouvez saisir une recherche, l’envoyer, attendre et ouvrir un rĂ©sultat sans faire un appel par Ă©tape.

    Les mouvements et clics acceptent des sélecteurs, des références de vues structurées ou des coordonnées. L’outil attend les éléments et les amène dans la zone visible. Il accepte les mouvements par étapes, les clics gauche, droit et central, le double-clic et le défilement dans des panneaux imbriqués.

    Sélectionnez les champs par sélecteur ou référence de vue structurée. Saisissez du texte, cochez ou décochez des cases, sélectionnez des boutons radio et choisissez une ou plusieurs options de listes natives par leur libellé. Remplacez ou effacez le texte, ou écrivez à la position du curseur. Les raccourcis utilisent le focus actuel. Le mode lent ajoute des pauses aléatoires entre les caractères et les actions.

    Attendez le contenu ou la disparition des indicateurs de chargement avec des sélecteurs ou des références de vues structurées. Vous pouvez aussi attendre des événements de chargement, la fin de l’activité réseau ou une durée fixe.

  • browser_evaluate : ExĂ©cute du JavaScript dans la page actuelle pour extraire des donnĂ©es personnalisĂ©es, faire des calculs, lire l’état de l’application ou modifier le contenu. Accepte les scripts asynchrones et renvoie leurs rĂ©sultats en JSON.

  • browser_network_requests : Recherche les requĂŞtes du navigateur terminĂ©es entre les onglets, navigations et actions. Trouvez les appels API, erreurs HTTP et redirections enregistrĂ©s. Masque les ressources statiques par dĂ©faut pour rĂ©duire les rĂ©sultats. Ignore les requĂŞtes en Ă©chec ou incomplètes. Renvoie des donnĂ©es structurĂ©es avec pagination.

  • browser_network_request : Lit le rĂ©sumĂ©, les en-tĂŞtes, les donnĂ©es envoyĂ©es ou le contenu textuel d’une requĂŞte enregistrĂ©e sous forme de JSON structurĂ©, sans la rĂ©pĂ©ter. Renvoie toute la partie choisie. Les rĂ©ponses enregistrĂ©es restent disponibles après un changement de page, y compris les rĂ©ponses HTTP 4xx et 5xx. Les entrĂ©es apparaissent quand la capture se termine. Consulter l’historique ou fermer la session n’attend pas les captures en cours, qui peuvent ĂŞtre perdues lors de la navigation ou de la fermeture. Les octets viennent de Playwright et peuvent diffĂ©rer de ceux envoyĂ©s par le serveur. Le texte utilise le dĂ©codage UTF-8 de Playwright lorsqu’il est valide, sinon l’encodage dĂ©clarĂ©. Seul le contenu avec un Content-Type textuel compatible est lu et enregistrĂ©. Pour les types binaires, absents ou inconnus, les mĂ©tadonnĂ©es et les en-tĂŞtes sont conservĂ©s sans lire le contenu. Cela ne change pas le chargement de la page. L’historique a des limites de taille. Une note facultative explique si le contenu n’est pas du texte, est trop grand ou ne peut pas ĂŞtre lu. Lisez les donnĂ©es nĂ©cessaires avant de fermer la session MCP.

  • browser_fetch : RĂ©cupère une page dans une session ouverte de navigateur furtif et extrait du HTML, du Markdown, du texte ou une vue structurĂ©e. Ces vues peuvent couvrir toute la page ou un Ă©lĂ©ment et incluent des rĂ©fĂ©rences, positions et tailles pour agir ensuite.

::: scrapling.core.ai.server.ScraplingMCPServer

handler: python
:docstring: