đ·ïž The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev
title: "Scrapling : framework de web scraping pour Python" description: "Scrapling : extrayez simplement les données du web moderne."
Extrayez simplement les données du web moderne
Scrapling est un framework de web scraping pour Python. Il rĂ©unit des requĂȘtes HTTP rapides, des navigateurs furtifs, lâanalyse de pages et lâexploration simultanĂ©e de sites dans une seule bibliothĂšque.
Extrayez les donnĂ©es de pages statiques, exĂ©cutez JavaScript, interagissez avec les sites et accĂ©dez aux API quâils utilisent. CrĂ©ez des crawlers avec des sessions rĂ©utilisables, la rotation des proxies, de nouvelles tentatives automatiques, la pause et la reprise, et des exports intĂ©grĂ©s.
Utilisez Scrapling depuis Python, le terminal ou votre agent IA grĂące au serveur MCP et Ă lâAgent Skill. Il couvre tout le processus, de lâextraction de quelques champs Ă lâenregistrement dâun site entier en fichiers Markdown propres.
Ce que vous pouvez faire avec Scrapling {#what-you-can-do-with-scrapling}
- RĂ©cupĂ©rer des pages et interagir : RequĂȘtes HTTP rapides, navigateurs furtifs, exĂ©cution de JavaScript, gestion de Cloudflare Turnstile et Interstitial, sessions persistantes et capture des rĂ©ponses des API en arriĂšre-plan.
- Analyser et extraire : Recherche par CSS, XPath, texte et expressions rĂ©guliĂšres, suivi des Ă©lĂ©ments aprĂšs un changement de page, recherche dâĂ©lĂ©ments similaires et sortie en Markdown propre.
- Explorer et exporter : Spiders simultanĂ©s, rotation des proxies, nouvelles tentatives, AutoThrottle, pause et reprise, rĂ©sultats en streaming, modĂšles prĂȘts Ă lâemploi et exports en JSON, JSONL, CSV et XML.
- Extraire avec lâIA ou depuis le terminal : Un serveur MCP pour que les agents IA naviguent et extraient des donnĂ©es, une Agent Skill, des commandes CLI et un shell interactif.
Commencez par une seule page :
from scrapling.fetchers import Fetcher
page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
print(quotes)
Ou extrayez plus de données avec un spider :
from scrapling.spiders import Spider, Response
class QuotesSpider(Spider):
name = "quotes"
start_urls = ["https://quotes.toscrape.com/"]
async def parse(self, response: Response):
for quote in response.css('.quote'):
yield {
"text": quote.css('.text::text').get(),
"author": quote.css('.author::text').get(),
}
result = QuotesSpider().start()
print(len(result.items))
result.items.to_json("quotes.json")
Cet exemple affiche 10 et enregistre les citations et leurs auteurs dans quotes.json.
Sponsors principaux {#top-sponsors}
--8<-- "sponsors.html"
Vous souhaitez afficher votre publicité ici� Cliquez ici, choisissez une offre et profitez de ses avantages.
Fonctions principales {#key-features}
Spiders : un framework complet dâexploration de sites {#spiders-a-full-crawling-framework}
- đ·ïž API de Spider proche de Scrapy : DĂ©finissez des spiders avec
start_urls, des callbacksparseasynchrones et des objetsRequestetResponse. - ⥠Exploration simultanĂ©e : RĂ©glez le nombre de requĂȘtes simultanĂ©es, les limites par domaine et le dĂ©lai entre les tĂ©lĂ©chargements.
- đ Plusieurs sessions : Utilisez des requĂȘtes HTTP et des navigateurs furtifs sans interface graphique dans le mĂȘme spider. Dirigez les requĂȘtes vers diffĂ©rentes sessions grĂące Ă leur ID.
- đŸ Pause et reprise : Enregistrez les requĂȘtes en attente et les URL visitĂ©es avec
crawldir. Appuyez sur Ctrl+C pour arrĂȘter proprement, puis relancez avec le mĂȘme dossier. - đĄ RĂ©sultats en streaming : Recevez les Ă©lĂ©ments dĂšs leur extraction avec
async for item in spider.stream(), avec des statistiques en temps rĂ©el. Utile pour les interfaces, les traitements de donnĂ©es et les explorations longues. - đĄïž DĂ©tection des requĂȘtes bloquĂ©es : DĂ©tectez et relancez les requĂȘtes bloquĂ©es automatiquement. Vous pouvez adapter ce comportement.
- đŠ AutoThrottle : Le spider ajuste le dĂ©lai de chaque domaine selon la vitesse de rĂ©ponse du site. Si le site bloque ou limite les requĂȘtes, il double le dĂ©lai ou respecte la durĂ©e indiquĂ©e par
Retry-After. Il accĂ©lĂšre Ă nouveau quand la limitation prend fin. - đ€ Respect de robots.txt : Activez
robots_txt_obeypour respecter les directivesDisallow,Crawl-delayetRequest-rate, avec un cache par domaine. - đ§Ș Mode dĂ©veloppement : Enregistrez les rĂ©ponses sur disque lors de la premiĂšre exĂ©cution et rĂ©utilisez-les ensuite. Vous pouvez ainsi ajuster
parse()sans envoyer de nouvelles requĂȘtes aux serveurs. - đ§© ModĂšles de spider prĂȘts Ă lâemploi : Utilisez
CrawlSpiderpour suivre les liens selon des rĂšgles,SitemapSpiderpour explorer Ă partir de sitemaps ou de robots.txt,XMLFeedSpideretCSVFeedSpiderpour lire des flux XML, RSS et CSV, etShopifySpiderpour collecter les produits des boutiques Shopify publiques, avec un Ă©lĂ©ment par variante. - đ Extraction de liens :
LinkExtractorpermet dâaccepter ou de refuser des liens selon des motifs, de filtrer les domaines et les extensions, de limiter la recherche avec CSS ou XPath et de normaliser les URL. Utilisez-le avec les modĂšles ou seul. - đŠ Export intĂ©grĂ© : Exportez les rĂ©sultats avec des hooks et votre propre traitement de donnĂ©es, ou utilisez les formats JSON, JSONL, CSV et XML intĂ©grĂ©s :
result.items.to_json(),to_jsonl(),to_csv()etto_xml().
Récupération de pages avec des sessions {#advanced-websites-fetching-with-session-support}
- RequĂȘtes HTTP : Envoyez des requĂȘtes HTTP rapides et furtives avec
Fetcher. Vous pouvez imiter lâempreinte TLS et les en-tĂȘtes dâun navigateur, et utiliser HTTP/3. - Chargement dynamique : RĂ©cupĂ©rez les sites dynamiques avec une automatisation complĂšte du navigateur grĂące Ă
StealthyFetcher, compatible avec le Chromium de Playwright et Google Chrome. - Contournement des systĂšmes antibot :
StealthyFetchermasque lâautomatisation et imite les empreintes du navigateur. Il peut franchir automatiquement les diffĂ©rents types de Cloudflare Turnstile et Interstitial. - Gestion des sessions :
FetcherSessionetStealthySessionconservent les cookies et lâĂ©tat entre les requĂȘtes. - Rotation des proxies :
ProxyRotatorpermet une rotation cyclique ou personnalisĂ©e dans tous les types de sessions. Vous pouvez aussi choisir un proxy pour une requĂȘte prĂ©cise. - Blocage des domaines et des publicitĂ©s : Bloquez les requĂȘtes vers certains domaines et leurs sous-domaines, ou activez le blocage des publicitĂ©s des fetchers de navigateur. Il couvre environ 3âŻ500 domaines connus de publicitĂ© et de suivi.
- PrĂ©vention des fuites DNS : Activez DNS-over-HTTPS pour envoyer les requĂȘtes DNS par le service DoH de Cloudflare et Ă©viter les fuites lorsque vous utilisez des proxies.
- Navigateurs distants : Connectez-vous par CDP à un navigateur déjà ouvert avec
cdp_url, sur votre ordinateur, un autre serveur ou un service de navigateurs. Vous pouvez aussi utiliser votre propre version de Chromium avec tout fetcher de navigateur grĂące Ăexecutable_path. - Capture des API en arriĂšre-plan : Activez
record_requests=Truedans une session de navigateur et cherchez les rĂ©ponses enregistrĂ©es avecsession.network.search(limit=None). Lisez les donnĂ©es des API et les erreurs HTTP de plusieurs chargements sans rĂ©pĂ©ter les requĂȘtes. Lâhistorique a une taille limitĂ©e et conserve le contenu des rĂ©ponses textuelles. - Mode asynchrone : Tous les fetchers peuvent fonctionner en mode asynchrone, avec des classes de session propres Ă ce mode.
Analyse de pages et extraction de données {#parsing-and-data-extraction}
- đ Suivi des Ă©lĂ©ments : Retrouvez les Ă©lĂ©ments aprĂšs un changement du site grĂące Ă des algorithmes de similaritĂ©.
- đŻ SĂ©lection souple : Utilisez CSS, XPath, les filtres, le texte, les expressions rĂ©guliĂšres et plus encore.
- đ ĂlĂ©ments similaires : Trouvez automatiquement des Ă©lĂ©ments proches de ceux que vous avez dĂ©jĂ trouvĂ©s.
Fonctions pour lâIA {#ai-features}
- đ€ Serveur MCP : Permet aux assistants et agents IA, comme Claude et Cursor, dâextraire des donnĂ©es avec Scrapling par des requĂȘtes HTTP, des actions du navigateur, des captures dâĂ©cran, un Ă©tat de connexion enregistrĂ© et des rĂ©ponses dâAPI en arriĂšre-plan. Il utilise notre navigateur furtif et des outils qui aident les modĂšles adaptĂ©s Ă rĂ©soudre les CAPTCHA, en plus du solveur Cloudflare. Il rĂ©duit le contenu envoyĂ© au modĂšle, bloque les publicitĂ©s et protĂšge contre les injections de prompts. Il permet aussi dâutiliser des navigateurs distants par CDP et des connexions HTTP avec des options dâauthentification. (VidĂ©o de dĂ©monstration)
- đ§ Agent Skill : Une Agent Skill prĂȘte Ă installer qui enseigne la bibliothĂšque aux agents de programmation pour quâils Ă©crivent du code conforme Ă lâAPI actuelle.
- đ Markdown prĂȘt pour le RAG : Convertissez une page en Markdown propre et adaptĂ© aux modĂšles de langage avec une ligne (
page.markdown()), ou enregistrez un site entier en fichiers Markdown avec le modĂšleContentSpider. Le processus ne demande aucun modĂšle de langage. (Documentation)
Performances et usage réel {#high-performance-battle-tested-architecture}
- đ Grande vitesse : Des performances optimisĂ©es qui dĂ©passent la plupart des bibliothĂšques de web scraping pour Python.
- đ Faible usage de la mĂ©moire : Des structures de donnĂ©es optimisĂ©es et un chargement Ă la demande.
- ⥠Conversion rapide en JSON : 10 fois plus rapide que la bibliothÚque standard.
- đïž TestĂ© en pratique : Les tests couvrent 92âŻ% de Scrapling et tout le code a des annotations de type. Des centaines de personnes lâont utilisĂ© chaque jour pour extraire des donnĂ©es pendant lâannĂ©e passĂ©e.
Outils pour développer et extraire des données {#developerweb-scraper-friendly-experience}
- đŻ Shell interactif : Un shell IPython en option, intĂ©grĂ© Ă Scrapling, avec des raccourcis et des outils pour crĂ©er des scripts plus vite. Convertissez les requĂȘtes curl en requĂȘtes Scrapling et consultez les rĂ©sultats dans votre navigateur.
- đ Usage depuis le terminal : Extrayez les donnĂ©es dâune URL sans Ă©crire de code.
- đ ïž Navigation dans le DOM : AccĂ©dez aux Ă©lĂ©ments parents, frĂšres et enfants.
- 𧏠Traitement du texte : Expressions réguliÚres, nettoyage du texte et opérations optimisées sur les chaßnes.
- đ CrĂ©ation de sĂ©lecteurs : GĂ©nĂ©rez des sĂ©lecteurs CSS et XPath fiables pour tout Ă©lĂ©ment.
- đ API familiĂšre : Proche de Scrapy et BeautifulSoup, avec les mĂȘmes pseudo-Ă©lĂ©ments que Scrapy et Parsel.
- đ€ IntĂ©gration directe avec Scrapy : Ajoutez le dĂ©corateur
scrapling_responseĂ un callback pour analyser les rĂ©ponses que vous rĂ©cupĂ©rez dĂ©jĂ avec le parser de Scrapling, sans réécrire votre programme. - đ Annotations de type complĂštes : Elles aident lâĂ©diteur Ă vĂ©rifier et Ă complĂ©ter le code. Tout le code est vĂ©rifiĂ© automatiquement par PyRight et MyPy Ă chaque changement.
- đ Image Docker prĂȘte Ă lâemploi : Une image Docker avec tous les navigateurs est créée et publiĂ©e automatiquement Ă chaque version.
Historique des étoiles {#star-history}
Le nombre dâĂ©toiles de Scrapling sur GitHub augmente depuis son lancement, comme le montre le graphique.
Installation {#installation}
Scrapling demande Python 3.10 ou une version plus récente :
pip install scrapling
!!! warning "Attention"
Cette commande installe seulement le parser et ses dĂ©pendances, sans fetchers ni outils en ligne de commande. Avec cette seule installation, importer depuis `scrapling.fetchers` ou `scrapling.spiders`, comme dans les exemples prĂ©cĂ©dents, provoque `ModuleNotFoundError`. Pour utiliser les fetchers ou les spiders, installez dâabord les dĂ©pendances des fetchers comme indiquĂ© ci-dessous.
Dépendances facultatives {#optional-dependencies}
Pour utiliser les fetchers, leurs classes ou les fonctions supplémentaires suivantes, installez les dépendances des fetchers et des navigateurs :
pip install "scrapling[fetchers]" scrapling install # normal install scrapling install --force # force reinstallCette commande télécharge tous les navigateurs, leurs dépendances systÚme et les outils de modification des empreintes du navigateur.
Vous pouvez aussi les installer depuis Python, au lieu de lancer une commande :
from scrapling.cli import install install([], standalone_mode=False) # normal install install(["--force"], standalone_mode=False) # force reinstallFonctions supplémentaires :
- Installer le serveur MCP :
pip install "scrapling[ai]" - Installer les dépendances pour créer des systÚmes RAG :
pip install "scrapling[rag]" - Installer le shell interactif et la commande
extract:pip install "scrapling[shell]" - Tout installer :
pip install "scrapling[all]"
Lancez
scrapling installpour utiliser les fetchers de navigateur. Les requĂȘtes HTTP ne demandent pas de navigateur.- Installer le serveur MCP :
Docker {#docker}
Vous pouvez aussi télécharger depuis DockerHub une image Docker avec tous les extras et navigateurs :
docker pull pyd4vinci/scrapling
Ou la télécharger depuis le registre GitHub :
docker pull ghcr.io/d4vinci/scrapling:latest
Lâimage est créée Ă partir de la branche principale du dĂ©pĂŽt et publiĂ©e automatiquement par GitHub Actions.
Organisation de la documentation {#how-the-documentation-is-organized}
La documentation de Scrapling est vaste. Nous suivons donc le modĂšle de documentation DiĂĄtaxis.
Soutien {#support}
Si vous aimez Scrapling et souhaitez soutenir son développement :
- â Ajoutez une Ă©toile au dĂ©pĂŽt GitHub.
- đ Suivez-nous sur Twitter et rejoignez le serveur Discord.
- đ Vous pouvez sponsoriser le projet ou mâoffrir un cafĂ©. :wink:
- đ Signalez les bugs et proposez des fonctions sur GitHub Issues.
Licence {#license}
Ce projet utilise la licence BSD-3. Consultez le fichier LICENSE pour en savoir plus.