đ·ïž The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev
title: "Choisissez des requĂȘtes HTTP ou un navigateur pour le web scraping" description: "Choisissez Fetcher ou StealthyFetcher selon votre tĂąche. DĂ©couvrez quand utiliser HTTP directement, exĂ©cuter JavaScript et rĂ©utiliser des sessions."
Les bases des fetchers {#fetchers-basics}
Introduction {#introduction}
Les fetchers sont des classes qui envoient des requĂȘtes ou rĂ©cupĂšrent des pages en une ligne de code, puis renvoient un objet Response. Depuis la v0.3, des classes de session distinctes permettent de garder la session ouverte. Par exemple, une session de navigateur garde le navigateur ouvert jusquâĂ la fin de toutes vos requĂȘtes, au lieu dâen ouvrir plusieurs. Choisissez selon vos besoins.
Ces fonctions ont Ă©tĂ© ajoutĂ©es parce quâavant la v0.2, Scrapling servait uniquement Ă analyser des pages. Lâobjectif est de couvrir peu Ă peu tous les besoins du web scraping.
Les fetchers ne sont pas de simples enveloppes autour dâautres bibliothĂšques. Ils les utilisent comme moteurs pour envoyer des requĂȘtes et rĂ©cupĂ©rer des pages, mais ajoutent des fonctions absentes de ces moteurs. Ils tirent aussi parti de leurs capacitĂ©s et les optimisent pour le web scraping.
Comparaison des fetchers {#fetchers-overview}
Scrapling propose des fetchers HTTP (Fetcher et AsyncFetcher) et un fetcher de navigateur (StealthyFetcher), avec des classes de session pour les requĂȘtes rĂ©pĂ©tĂ©es.
Ce tableau vous aide Ă comparer et Ă choisir :
| Fonction | Fetcher | StealthyFetcher |
|---|---|---|
| Vitesse relative | đđđđđ | đđđ |
| DiscrĂ©tion | ââ | âââââ |
| Options contre la dĂ©tection de bots | ââ | âââââ |
| ExĂ©cution de JavaScript | â | â |
| Utilisation de la mĂ©moire | â | âââ |
| Usage conseillĂ© | Extraction simple quand les requĂȘtes HTTP suffisent | - Sites chargĂ©s dynamiquement - Petites automatisations - Protections simples ou complexes |
| Navigateurs | â | Chromium et Google Chrome |
| API de navigateur utilisĂ©e | â | Playwright |
| Difficulté de configuration | Simple | Simple |
Nous détaillerons chaque outil dans les pages suivantes.
Configurer le parser de tous les fetchers {#parser-configuration-in-all-fetchers}
Tous les fetchers sâimportent de la mĂȘme façon :
from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher
Vous pouvez ensuite les utiliser directement, sans crĂ©er dâobjet. Les rĂ©glages par dĂ©faut du parser sont appliquĂ©s :
page = StealthyFetcher.fetch('https://example.com')
Pour configurer le parser, câest-Ă -dire la classe Selector, qui traite la rĂ©ponse avant de vous la renvoyer, faites dâabord ceci :
from scrapling.fetchers import Fetcher
Fetcher.configure(adaptive=True, keep_comments=False) # and the rest
Ou :
from scrapling.fetchers import Fetcher
Fetcher.adaptive=True
Fetcher.keep_comments=False
Continuez ensuite votre code normalement.
Les arguments disponibles sont adaptive, adaptive_domain, huge_tree, keep_comments, storage et storage_args. Ce sont les mĂȘmes que ceux de Selector. Vous pouvez afficher la configuration actuelle avec <fetcher_class>.display_config().
!!! info "Information"
`adaptive` est dĂ©sactivĂ© par dĂ©faut. Vous devez lâactiver pour utiliser cette fonction.
Configurer le parser pour chaque requĂȘte {#set-parser-config-per-request}
Les rĂ©glages prĂ©cĂ©dents sâappliquent Ă toutes les requĂȘtes envoyĂ©es par cette classe pour simplifier lâutilisation.
Si vous avez besoin de rĂ©glages diffĂ©rents pour chaque requĂȘte, passez un dictionnaire Ă lâargument selector_config de la mĂ©thode utilisĂ©e (fetch/get/post/...).
Objet Response {#response-object}
Response fonctionne comme Selector, mais ajoute des informations sur la rĂ©ponse, comme les en-tĂȘtes, le statut et les cookies :
from scrapling.fetchers import Fetcher
page = Fetcher.get('https://example.com')
page.status # HTTP status code
page.reason # Status message
page.cookies # Response cookies as a dictionary
page.headers # Response headers
page.request_headers # Request headers
page.history # Response history of redirections, if any
page.body # Raw response body as bytes
page.encoding # Response encoding
page.meta # Response metadata dictionary (e.g., proxy used). Mainly helpful with the spiders system.
Tous les fetchers renvoient Response. Les sessions de navigateur avec record_requests=True renvoient aussi des objets Response enregistrĂ©s via session.network.search(limit=None) et session.network.get(request_id). Consultez lâhistorique rĂ©seau pour utiliser les rĂ©ponses dâAPI enregistrĂ©es et migrer vers la v5.
Response peut aussi convertir la page en Markdown propre, prĂȘt pour les modĂšles de langage, en une ligne :
markdown = Fetcher.get('https://example.com').markdown(main_content_only=True)
Avant la conversion, les scripts, les styles, le contenu cachĂ© et les tentatives dâinjection dâinstructions sont toujours supprimĂ©s. Vous pouvez passer css_selector pour ne convertir que certains Ă©lĂ©ments. Cela nĂ©cessite lâextra rag, Ă©galement inclus dans ai/shell/all. La page CrĂ©er des systĂšmes RAG donne plus de dĂ©tails.
!!! note "Note"
Contrairement Ă [Selector](../parsing/main_classes.md#selector), le corps de `Response` est toujours en octets depuis la v0.4.