Skip to content

đŸ•·ïž The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

16.5 KB
Raw Blame

title: "Scrapling : framework de web scraping pour Python" description: "Scrapling : extrayez simplement les donnĂ©es du web moderne."


Extrayez simplement les données du web moderne


Scrapling est un framework de web scraping pour Python. Il rĂ©unit des requĂȘtes HTTP rapides, des navigateurs furtifs, l’analyse de pages et l’exploration simultanĂ©e de sites dans une seule bibliothĂšque.

Extrayez les donnĂ©es de pages statiques, exĂ©cutez JavaScript, interagissez avec les sites et accĂ©dez aux API qu’ils utilisent. CrĂ©ez des crawlers avec des sessions rĂ©utilisables, la rotation des proxies, de nouvelles tentatives automatiques, la pause et la reprise, et des exports intĂ©grĂ©s.

Utilisez Scrapling depuis Python, le terminal ou votre agent IA grñce au serveur MCP et à l’Agent Skill. Il couvre tout le processus, de l’extraction de quelques champs à l’enregistrement d’un site entier en fichiers Markdown propres.

Ce que vous pouvez faire avec Scrapling {#what-you-can-do-with-scrapling}

  • RĂ©cupĂ©rer des pages et interagir : RequĂȘtes HTTP rapides, navigateurs furtifs, exĂ©cution de JavaScript, gestion de Cloudflare Turnstile et Interstitial, sessions persistantes et capture des rĂ©ponses des API en arriĂšre-plan.
  • Analyser et extraire : Recherche par CSS, XPath, texte et expressions rĂ©guliĂšres, suivi des Ă©lĂ©ments aprĂšs un changement de page, recherche d’élĂ©ments similaires et sortie en Markdown propre.
  • Explorer et exporter : Spiders simultanĂ©s, rotation des proxies, nouvelles tentatives, AutoThrottle, pause et reprise, rĂ©sultats en streaming, modĂšles prĂȘts Ă  l’emploi et exports en JSON, JSONL, CSV et XML.
  • Extraire avec l’IA ou depuis le terminal : Un serveur MCP pour que les agents IA naviguent et extraient des donnĂ©es, une Agent Skill, des commandes CLI et un shell interactif.

Commencez par une seule page :

from scrapling.fetchers import Fetcher

page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
print(quotes)

Ou extrayez plus de donnĂ©es avec un spider :

from scrapling.spiders import Spider, Response

class QuotesSpider(Spider):
    name = "quotes"
    start_urls = ["https://quotes.toscrape.com/"]

    async def parse(self, response: Response):
        for quote in response.css('.quote'):
            yield {
                "text": quote.css('.text::text').get(),
                "author": quote.css('.author::text').get(),
            }

result = QuotesSpider().start()
print(len(result.items))
result.items.to_json("quotes.json")

Cet exemple affiche 10 et enregistre les citations et leurs auteurs dans quotes.json.

Sponsors principaux {#top-sponsors}

--8<-- "sponsors.html"

Vous souhaitez afficher votre publicitĂ© ici ? Cliquez ici, choisissez une offre et profitez de ses avantages.

Fonctions principales {#key-features}

Spiders : un framework complet d’exploration de sites {#spiders-a-full-crawling-framework}

  • đŸ•·ïž API de Spider proche de Scrapy : DĂ©finissez des spiders avec start_urls, des callbacks parse asynchrones et des objets Request et Response.
  • ⚡ Exploration simultanĂ©e : RĂ©glez le nombre de requĂȘtes simultanĂ©es, les limites par domaine et le dĂ©lai entre les tĂ©lĂ©chargements.
  • 🔄 Plusieurs sessions : Utilisez des requĂȘtes HTTP et des navigateurs furtifs sans interface graphique dans le mĂȘme spider. Dirigez les requĂȘtes vers diffĂ©rentes sessions grĂące Ă  leur ID.
  • đŸ’Ÿ Pause et reprise : Enregistrez les requĂȘtes en attente et les URL visitĂ©es avec crawldir. Appuyez sur Ctrl+C pour arrĂȘter proprement, puis relancez avec le mĂȘme dossier.
  • 📡 RĂ©sultats en streaming : Recevez les Ă©lĂ©ments dĂšs leur extraction avec async for item in spider.stream(), avec des statistiques en temps rĂ©el. Utile pour les interfaces, les traitements de donnĂ©es et les explorations longues.
  • đŸ›Ąïž DĂ©tection des requĂȘtes bloquĂ©es : DĂ©tectez et relancez les requĂȘtes bloquĂ©es automatiquement. Vous pouvez adapter ce comportement.
  • 🚩 AutoThrottle : Le spider ajuste le dĂ©lai de chaque domaine selon la vitesse de rĂ©ponse du site. Si le site bloque ou limite les requĂȘtes, il double le dĂ©lai ou respecte la durĂ©e indiquĂ©e par Retry-After. Il accĂ©lĂšre Ă  nouveau quand la limitation prend fin.
  • đŸ€– Respect de robots.txt : Activez robots_txt_obey pour respecter les directives Disallow, Crawl-delay et Request-rate, avec un cache par domaine.
  • đŸ§Ș Mode dĂ©veloppement : Enregistrez les rĂ©ponses sur disque lors de la premiĂšre exĂ©cution et rĂ©utilisez-les ensuite. Vous pouvez ainsi ajuster parse() sans envoyer de nouvelles requĂȘtes aux serveurs.
  • đŸ§© ModĂšles de spider prĂȘts Ă  l’emploi : Utilisez CrawlSpider pour suivre les liens selon des rĂšgles, SitemapSpider pour explorer Ă  partir de sitemaps ou de robots.txt, XMLFeedSpider et CSVFeedSpider pour lire des flux XML, RSS et CSV, et ShopifySpider pour collecter les produits des boutiques Shopify publiques, avec un Ă©lĂ©ment par variante.
  • 🔗 Extraction de liens : LinkExtractor permet d’accepter ou de refuser des liens selon des motifs, de filtrer les domaines et les extensions, de limiter la recherche avec CSS ou XPath et de normaliser les URL. Utilisez-le avec les modĂšles ou seul.
  • 📩 Export intĂ©grĂ© : Exportez les rĂ©sultats avec des hooks et votre propre traitement de donnĂ©es, ou utilisez les formats JSON, JSONL, CSV et XML intĂ©grĂ©s : result.items.to_json(), to_jsonl(), to_csv() et to_xml().

Récupération de pages avec des sessions {#advanced-websites-fetching-with-session-support}

  • RequĂȘtes HTTP : Envoyez des requĂȘtes HTTP rapides et furtives avec Fetcher. Vous pouvez imiter l’empreinte TLS et les en-tĂȘtes d’un navigateur, et utiliser HTTP/3.
  • Chargement dynamique : RĂ©cupĂ©rez les sites dynamiques avec une automatisation complĂšte du navigateur grĂące Ă  StealthyFetcher, compatible avec le Chromium de Playwright et Google Chrome.
  • Contournement des systĂšmes antibot : StealthyFetcher masque l’automatisation et imite les empreintes du navigateur. Il peut franchir automatiquement les diffĂ©rents types de Cloudflare Turnstile et Interstitial.
  • Gestion des sessions : FetcherSession et StealthySession conservent les cookies et l’état entre les requĂȘtes.
  • Rotation des proxies : ProxyRotator permet une rotation cyclique ou personnalisĂ©e dans tous les types de sessions. Vous pouvez aussi choisir un proxy pour une requĂȘte prĂ©cise.
  • Blocage des domaines et des publicitĂ©s : Bloquez les requĂȘtes vers certains domaines et leurs sous-domaines, ou activez le blocage des publicitĂ©s des fetchers de navigateur. Il couvre environ 3 500 domaines connus de publicitĂ© et de suivi.
  • PrĂ©vention des fuites DNS : Activez DNS-over-HTTPS pour envoyer les requĂȘtes DNS par le service DoH de Cloudflare et Ă©viter les fuites lorsque vous utilisez des proxies.
  • Navigateurs distants : Connectez-vous par CDP Ă  un navigateur dĂ©jĂ  ouvert avec cdp_url, sur votre ordinateur, un autre serveur ou un service de navigateurs. Vous pouvez aussi utiliser votre propre version de Chromium avec tout fetcher de navigateur grĂące Ă  executable_path.
  • Capture des API en arriĂšre-plan : Activez record_requests=True dans une session de navigateur et cherchez les rĂ©ponses enregistrĂ©es avec session.network.search(limit=None). Lisez les donnĂ©es des API et les erreurs HTTP de plusieurs chargements sans rĂ©pĂ©ter les requĂȘtes. L’historique a une taille limitĂ©e et conserve le contenu des rĂ©ponses textuelles.
  • Mode asynchrone : Tous les fetchers peuvent fonctionner en mode asynchrone, avec des classes de session propres Ă  ce mode.

Analyse de pages et extraction de données {#parsing-and-data-extraction}

  • 🔄 Suivi des Ă©lĂ©ments : Retrouvez les Ă©lĂ©ments aprĂšs un changement du site grĂące Ă  des algorithmes de similaritĂ©.
  • 🎯 SĂ©lection souple : Utilisez CSS, XPath, les filtres, le texte, les expressions rĂ©guliĂšres et plus encore.
  • 🔍 ÉlĂ©ments similaires : Trouvez automatiquement des Ă©lĂ©ments proches de ceux que vous avez dĂ©jĂ  trouvĂ©s.

Fonctions pour l’IA {#ai-features}

  • đŸ€– Serveur MCP : Permet aux assistants et agents IA, comme Claude et Cursor, d’extraire des donnĂ©es avec Scrapling par des requĂȘtes HTTP, des actions du navigateur, des captures d’écran, un Ă©tat de connexion enregistrĂ© et des rĂ©ponses d’API en arriĂšre-plan. Il utilise notre navigateur furtif et des outils qui aident les modĂšles adaptĂ©s Ă  rĂ©soudre les CAPTCHA, en plus du solveur Cloudflare. Il rĂ©duit le contenu envoyĂ© au modĂšle, bloque les publicitĂ©s et protĂšge contre les injections de prompts. Il permet aussi d’utiliser des navigateurs distants par CDP et des connexions HTTP avec des options d’authentification. (VidĂ©o de dĂ©monstration)
  • 🧠 Agent Skill : Une Agent Skill prĂȘte Ă  installer qui enseigne la bibliothĂšque aux agents de programmation pour qu’ils Ă©crivent du code conforme Ă  l’API actuelle.
  • 📚 Markdown prĂȘt pour le RAG : Convertissez une page en Markdown propre et adaptĂ© aux modĂšles de langage avec une ligne (page.markdown()), ou enregistrez un site entier en fichiers Markdown avec le modĂšle ContentSpider. Le processus ne demande aucun modĂšle de langage. (Documentation)

Performances et usage réel {#high-performance-battle-tested-architecture}

  • 🚀 Grande vitesse : Des performances optimisĂ©es qui dĂ©passent la plupart des bibliothĂšques de web scraping pour Python.
  • 🔋 Faible usage de la mĂ©moire : Des structures de donnĂ©es optimisĂ©es et un chargement Ă  la demande.
  • ⚡ Conversion rapide en JSON : 10 fois plus rapide que la bibliothĂšque standard.
  • đŸ—ïž TestĂ© en pratique : Les tests couvrent 92 % de Scrapling et tout le code a des annotations de type. Des centaines de personnes l’ont utilisĂ© chaque jour pour extraire des donnĂ©es pendant l’annĂ©e passĂ©e.

Outils pour développer et extraire des données {#developerweb-scraper-friendly-experience}

  • 🎯 Shell interactif : Un shell IPython en option, intĂ©grĂ© Ă  Scrapling, avec des raccourcis et des outils pour crĂ©er des scripts plus vite. Convertissez les requĂȘtes curl en requĂȘtes Scrapling et consultez les rĂ©sultats dans votre navigateur.
  • 🚀 Usage depuis le terminal : Extrayez les donnĂ©es d’une URL sans Ă©crire de code.
  • đŸ› ïž Navigation dans le DOM : AccĂ©dez aux Ă©lĂ©ments parents, frĂšres et enfants.
  • 🧬 Traitement du texte : Expressions rĂ©guliĂšres, nettoyage du texte et opĂ©rations optimisĂ©es sur les chaĂźnes.
  • 📝 CrĂ©ation de sĂ©lecteurs : GĂ©nĂ©rez des sĂ©lecteurs CSS et XPath fiables pour tout Ă©lĂ©ment.
  • 🔌 API familiĂšre : Proche de Scrapy et BeautifulSoup, avec les mĂȘmes pseudo-Ă©lĂ©ments que Scrapy et Parsel.
  • đŸ€ IntĂ©gration directe avec Scrapy : Ajoutez le dĂ©corateur scrapling_response Ă  un callback pour analyser les rĂ©ponses que vous rĂ©cupĂ©rez dĂ©jĂ  avec le parser de Scrapling, sans réécrire votre programme.
  • 📘 Annotations de type complĂštes : Elles aident l’éditeur Ă  vĂ©rifier et Ă  complĂ©ter le code. Tout le code est vĂ©rifiĂ© automatiquement par PyRight et MyPy Ă  chaque changement.
  • 🔋 Image Docker prĂȘte Ă  l’emploi : Une image Docker avec tous les navigateurs est créée et publiĂ©e automatiquement Ă  chaque version.

Historique des étoiles {#star-history}

Le nombre d’étoiles de Scrapling sur GitHub augmente depuis son lancement, comme le montre le graphique.

Installation {#installation}

Scrapling demande Python 3.10 ou une version plus rĂ©cente :

pip install scrapling

!!! warning "Attention"

Cette commande installe seulement le parser et ses dĂ©pendances, sans fetchers ni outils en ligne de commande. Avec cette seule installation, importer depuis `scrapling.fetchers` ou `scrapling.spiders`, comme dans les exemples prĂ©cĂ©dents, provoque `ModuleNotFoundError`. Pour utiliser les fetchers ou les spiders, installez d’abord les dĂ©pendances des fetchers comme indiquĂ© ci-dessous.

Dépendances facultatives {#optional-dependencies}

  1. Pour utiliser les fetchers, leurs classes ou les fonctions supplĂ©mentaires suivantes, installez les dĂ©pendances des fetchers et des navigateurs :

    pip install "scrapling[fetchers]"
    
    scrapling install           # normal install
    scrapling install  --force  # force reinstall
    

    Cette commande télécharge tous les navigateurs, leurs dépendances systÚme et les outils de modification des empreintes du navigateur.

    Vous pouvez aussi les installer depuis Python, au lieu de lancer une commande :

    from scrapling.cli import install
    
    install([], standalone_mode=False)          # normal install
    install(["--force"], standalone_mode=False) # force reinstall
    
  2. Fonctions supplĂ©mentaires :

    • Installer le serveur MCP :
      pip install "scrapling[ai]"
      
    • Installer les dĂ©pendances pour crĂ©er des systĂšmes RAG :
      pip install "scrapling[rag]"
      
    • Installer le shell interactif et la commande extract :
      pip install "scrapling[shell]"
      
    • Tout installer :
      pip install "scrapling[all]"
      

    Lancez scrapling install pour utiliser les fetchers de navigateur. Les requĂȘtes HTTP ne demandent pas de navigateur.

Docker {#docker}

Vous pouvez aussi tĂ©lĂ©charger depuis DockerHub une image Docker avec tous les extras et navigateurs :

docker pull pyd4vinci/scrapling

Ou la tĂ©lĂ©charger depuis le registre GitHub :

docker pull ghcr.io/d4vinci/scrapling:latest

L’image est créée Ă  partir de la branche principale du dĂ©pĂŽt et publiĂ©e automatiquement par GitHub Actions.

Organisation de la documentation {#how-the-documentation-is-organized}

La documentation de Scrapling est vaste. Nous suivons donc le modĂšle de documentation DiĂĄtaxis.

Soutien {#support}

Si vous aimez Scrapling et souhaitez soutenir son dĂ©veloppement :

Licence {#license}

Ce projet utilise la licence BSD-3. Consultez le fichier LICENSE pour en savoir plus.