Skip to content

đŸ•·ïž The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

5.8 KB
Raw Blame

title: "Choisissez des requĂȘtes HTTP ou un navigateur pour le web scraping" description: "Choisissez Fetcher ou StealthyFetcher selon votre tĂąche. DĂ©couvrez quand utiliser HTTP directement, exĂ©cuter JavaScript et rĂ©utiliser des sessions."

Les bases des fetchers {#fetchers-basics}

Introduction {#introduction}

Les fetchers sont des classes qui envoient des requĂȘtes ou rĂ©cupĂšrent des pages en une ligne de code, puis renvoient un objet Response. Depuis la v0.3, des classes de session distinctes permettent de garder la session ouverte. Par exemple, une session de navigateur garde le navigateur ouvert jusqu’à la fin de toutes vos requĂȘtes, au lieu d’en ouvrir plusieurs. Choisissez selon vos besoins.

Ces fonctions ont Ă©tĂ© ajoutĂ©es parce qu’avant la v0.2, Scrapling servait uniquement Ă  analyser des pages. L’objectif est de couvrir peu Ă  peu tous les besoins du web scraping.

Les fetchers ne sont pas de simples enveloppes autour d’autres bibliothĂšques. Ils les utilisent comme moteurs pour envoyer des requĂȘtes et rĂ©cupĂ©rer des pages, mais ajoutent des fonctions absentes de ces moteurs. Ils tirent aussi parti de leurs capacitĂ©s et les optimisent pour le web scraping.

Comparaison des fetchers {#fetchers-overview}

Scrapling propose des fetchers HTTP (Fetcher et AsyncFetcher) et un fetcher de navigateur (StealthyFetcher), avec des classes de session pour les requĂȘtes rĂ©pĂ©tĂ©es.

Ce tableau vous aide Ă  comparer et Ă  choisir :

Fonction Fetcher StealthyFetcher
Vitesse relative 🐇🐇🐇🐇🐇 🐇🐇🐇
Discrétion ⭐⭐ ⭐⭐⭐⭐⭐
Options contre la détection de bots ⭐⭐ ⭐⭐⭐⭐⭐
ExĂ©cution de JavaScript ❌ ✅
Utilisation de la mémoire ⭐ ⭐⭐⭐
Usage conseillĂ© Extraction simple quand les requĂȘtes HTTP suffisent - Sites chargĂ©s dynamiquement
- Petites automatisations
- Protections simples ou complexes
Navigateurs ❌ Chromium et Google Chrome
API de navigateur utilisĂ©e ❌ Playwright
Difficulté de configuration Simple Simple

Nous détaillerons chaque outil dans les pages suivantes.

Configurer le parser de tous les fetchers {#parser-configuration-in-all-fetchers}

Tous les fetchers s’importent de la mĂȘme façon :

from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher

Vous pouvez ensuite les utiliser directement, sans crĂ©er d’objet. Les rĂ©glages par dĂ©faut du parser sont appliquĂ©s :

page = StealthyFetcher.fetch('https://example.com') 

Pour configurer le parser, c’est-Ă -dire la classe Selector, qui traite la rĂ©ponse avant de vous la renvoyer, faites d’abord ceci :

from scrapling.fetchers import Fetcher
Fetcher.configure(adaptive=True, keep_comments=False)  # and the rest

Ou :

from scrapling.fetchers import Fetcher
Fetcher.adaptive=True
Fetcher.keep_comments=False

Continuez ensuite votre code normalement.

Les arguments disponibles sont adaptive, adaptive_domain, huge_tree, keep_comments, storage et storage_args. Ce sont les mĂȘmes que ceux de Selector. Vous pouvez afficher la configuration actuelle avec <fetcher_class>.display_config().

!!! info "Information"

`adaptive` est dĂ©sactivĂ© par dĂ©faut. Vous devez l’activer pour utiliser cette fonction.

Configurer le parser pour chaque requĂȘte {#set-parser-config-per-request}

Les rĂ©glages prĂ©cĂ©dents s’appliquent Ă  toutes les requĂȘtes envoyĂ©es par cette classe pour simplifier l’utilisation.

Si vous avez besoin de rĂ©glages diffĂ©rents pour chaque requĂȘte, passez un dictionnaire Ă  l’argument selector_config de la mĂ©thode utilisĂ©e (fetch/get/post/...).

Objet Response {#response-object}

Response fonctionne comme Selector, mais ajoute des informations sur la rĂ©ponse, comme les en-tĂȘtes, le statut et les cookies :

from scrapling.fetchers import Fetcher
page = Fetcher.get('https://example.com')

page.status          # HTTP status code
page.reason          # Status message
page.cookies         # Response cookies as a dictionary
page.headers         # Response headers
page.request_headers # Request headers
page.history         # Response history of redirections, if any
page.body            # Raw response body as bytes
page.encoding        # Response encoding
page.meta            # Response metadata dictionary (e.g., proxy used). Mainly helpful with the spiders system.

Tous les fetchers renvoient Response. Les sessions de navigateur avec record_requests=True renvoient aussi des objets Response enregistrĂ©s via session.network.search(limit=None) et session.network.get(request_id). Consultez l’historique rĂ©seau pour utiliser les rĂ©ponses d’API enregistrĂ©es et migrer vers la v5.

Response peut aussi convertir la page en Markdown propre, prĂȘt pour les modĂšles de langage, en une ligne :

markdown = Fetcher.get('https://example.com').markdown(main_content_only=True)

Avant la conversion, les scripts, les styles, le contenu cachĂ© et les tentatives d’injection d’instructions sont toujours supprimĂ©s. Vous pouvez passer css_selector pour ne convertir que certains Ă©lĂ©ments. Cela nĂ©cessite l’extra rag, Ă©galement inclus dans ai/shell/all. La page CrĂ©er des systĂšmes RAG donne plus de dĂ©tails.

!!! note "Note"

Contrairement Ă  [Selector](../parsing/main_classes.md#selector), le corps de `Response` est toujours en octets depuis la v0.4.