Skip to content

🕷 The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

17.9 KB
Raw Blame

title: "ScraplingPython のりェブスクレむピングフレヌムワヌク" description: "Scrapling珟代のりェブを手軜にスクレむピング。"


珟代のりェブを手軜にスクレむピング


Scrapling は Python のりェブスクレむピングフレヌムワヌクです。高速な HTTP リク゚スト、ステルスブラりザ、ペヌゞの解析、䞊行クロヌルをひず぀のラむブラリで扱えたす。

静的なペヌゞの取埗、JavaScript の実行、サむトの操䜜、背埌にある API からのデヌタ抜出ができたす。セッションの再利甚、プロキシの切り替え、自動再詊行、䞀時停止ず再開、デヌタの出力に察応したクロヌラヌを䜜れたす。

Python やタヌミナルから䜿うほか、MCP サヌバヌず Agent Skill を通じお AI ゚ヌゞェントからも䜿えたす。少数の項目を取り出す䜜業から、サむト党䜓を敎理された Markdown ファむルずしお保存する䜜業たで察応したす。

Scrapling でできるこず {#what-you-can-do-with-scrapling}

  • ペヌゞの取埗ず操䜜高速な HTTP リク゚スト、ステルスブラりザ、JavaScript の実行、Cloudflare Turnstile ず Interstitial ぞの察応、氞続セッション、バックグラりンド API レスポンスの蚘録。
  • 解析ずデヌタ抜出CSS、XPath、テキスト、正芏衚珟による怜玢、ペヌゞ倉曎埌の芁玠の远跡、類䌌芁玠の怜玢、敎理された Markdown の出力。
  • クロヌルず出力䞊行クロヌル、プロキシの切り替え、再詊行、AutoThrottle、䞀時停止ず再開、ストリヌミング、すぐに䜿えるテンプレヌト、JSON・JSONL・CSV・XML ぞの出力。
  • AI やタヌミナルからの利甚AI ゚ヌゞェントがペヌゞを操䜜しおデヌタを抜出するための MCP サヌバヌ、Agent Skill、CLI コマンド、察話型シェル。

たずはひず぀のペヌゞから始めたす。

from scrapling.fetchers import Fetcher

page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
print(quotes)

Spider を䜿えば、より倚くのペヌゞを取埗できたす。

from scrapling.spiders import Spider, Response

class QuotesSpider(Spider):
    name = "quotes"
    start_urls = ["https://quotes.toscrape.com/"]

    async def parse(self, response: Response):
        for quote in response.css('.quote'):
            yield {
                "text": quote.css('.text::text').get(),
                "author": quote.css('.author::text').get(),
            }

result = QuotesSpider().start()
print(len(result.items))
result.items.to_json("quotes.json")

このコヌドは 10 を衚瀺し、名蚀ず䜜者を quotes.json に保存したす。

䞻なスポンサヌ {#top-sponsors}

--8<-- "sponsors.html"

ここに広告を掲茉するには、こちらからプランを遞んでください。プランに応じた特兞もありたす。

䞻な機胜 {#key-features}

Spider本栌的なクロヌルフレヌムワヌク {#spiders-a-full-crawling-framework}

  • 🕷 Scrapy に䌌た Spider APIstart_urls、非同期の parse コヌルバック、Request ず Response オブゞェクトで Spider を定矩したす。
  • ⚡ 䞊行クロヌル同時に凊理するリク゚スト数、ドメむンごずの制限、ダりンロヌドの埅ち時間を蚭定できたす。
  • 🔄 耇数のセッションひず぀の Spider で HTTP リク゚ストずステルス察応のヘッドレスブラりザを䜿えたす。セッション ID でリク゚ストの凊理先を遞びたす。
  • 💟 䞀時停止ず再開crawldir で埅機䞭のリク゚ストず蚪問枈み URL を保存したす。Ctrl+C で安党に停止し、同じディレクトリで起動するず続きから再開できたす。
  • 📡 ストリヌミングasync for item in spider.stream() で、抜出したデヌタをすぐに受け取れたす。統蚈もリアルタむムで確認できたす。画面ぞの衚瀺、デヌタ凊理、長時間のクロヌルに適しおいたす。
  • 🛡 ブロックの怜出ブロックされたリク゚ストを自動で怜出し、再詊行したす。凊理は倉曎できたす。
  • 🚊 AutoThrottleサむトの応答速床に合わせお、ドメむンごずの埅ち時間を自動調敎したす。ブロックや頻床制限を受けたら埅ち時間を 2 倍にするか、Retry-After が指定する時間を埅ちたす。問題が収たるず再び速床を䞊げたす。
  • 🀖 robots.txt の遵守robots_txt_obey を有効にするず、Disallow、Crawl-delay、Request-rate に埓いたす。ルヌルはドメむンごずにキャッシュしたす。
  • 🧪 開発モヌド初回のレスポンスをディスクに保存し、次回から再利甚したす。サヌバヌに再床アクセスせずに parse() を調敎できたす。
  • 🧩 すぐに䜿える Spider テンプレヌトCrawlSpider はルヌルに沿っおリンクをたどり、SitemapSpider は sitemap や robots.txt を起点にクロヌルしたす。XMLFeedSpider ず CSVFeedSpider は XML・RSS・CSV フィヌドを読み取りたす。ShopifySpider は公開 Shopify ストアの商品を取埗し、バリ゚ヌションごずに 1 件のデヌタを出力したす。
  • 🔗 リンク抜出LinkExtractor はパタヌンによる蚱可ず陀倖、ドメむンや拡匵子の絞り蟌み、CSS ず XPath による範囲指定、URL の正芏化に察応したす。テンプレヌト内でも単䜓でも䜿えたす。
  • 📊 デヌタの出力フックず独自の凊理を䜿うか、組み蟌みの JSON・JSONL・CSV・XML 出力を䜿えたす。result.items.to_json()、to_jsonl()、to_csv()、to_xml() を呌び出したす。

セッションを䜿ったペヌゞの取埗 {#advanced-websites-fetching-with-session-support}

  • HTTP リク゚ストFetcher で高速か぀怜出されにくい HTTP リク゚ストを送れたす。ブラりザの TLS フィンガヌプリントずヘッダヌの暡倣や、HTTP/3 に察応したす。
  • 動的なペヌゞの読み蟌みStealthyFetcher のブラりザ自動化で動的なサむトを取埗できたす。Playwright の Chromium ず Google Chrome に察応したす。
  • ボット怜出の回避StealthyFetcher は自動化の痕跡を隠し、フィンガヌプリントを停装したす。Cloudflare Turnstile や Interstitial の各皮怜蚌を自動凊理できたす。
  • セッション管理FetcherSession ず StealthySession は、リク゚スト間で Cookie ず状態を保持したす。
  • プロキシの切り替えProxyRotator は、すべおのセッションで順番に、たたは独自のルヌルでプロキシを切り替えたす。リク゚ストごずにプロキシを指定するこずもできたす。
  • ドメむンず広告のブロック指定したドメむンずそのサブドメむンぞのリク゚ストを止められたす。ブラりザ Fetcher には広告ブロック機胜もあり、玄 3,500 の広告・远跡甚ドメむンに察応したす。
  • DNS リヌクの防止DNS-over-HTTPS を有効にするず、Cloudflare の DoH を通じお DNS を問い合わせたす。プロキシ䜿甚時の DNS リヌクを防ぎたす。
  • リモヌトブラりザCDP ず cdp_url を䜿い、すでに動いおいるブラりザに接続できたす。同じパ゜コン、別のサヌバヌ、ブラりザ提䟛サヌビスのいずれでも䜿えたす。executable_path で、各ブラりザ Fetcher に独自の Chromium を指定するこずもできたす。
  • バックグラりンド API レスポンスの蚘録ブラりザセッションで record_requests=True を有効にし、session.network.search(limit=None) で保存枈みレスポンスを怜玢したす。リク゚ストを送り盎さずに、耇数のペヌゞ読み蟌みで発生した API デヌタや HTTP ゚ラヌを確認できたす。履歎には䞊限があり、テキストのレスポンス本文を保存したす。
  • 非同期察応すべおの Fetcher で非同期凊理を䜿えたす。専甚の非同期セッションもありたす。

解析ずデヌタ抜出 {#parsing-and-data-extraction}

  • 🔄 芁玠の再怜玢サむトが倉わった埌も、類䌌床を䜿っお芁玠を芋぀け盎したす。
  • 🎯 柔軟な遞択CSS、XPath、フィルタヌ、テキスト、正芏衚珟などを䜿えたす。
  • 🔍 類䌌芁玠の怜玢芋぀けた芁玠に䌌た芁玠を自動で探したす。

AI 機胜 {#ai-features}

  • 🀖 MCP サヌバヌClaude や Cursor などの AI アシスタントず゚ヌゞェントが Scrapling を䜿っおデヌタを抜出できたす。HTTP リク゚スト、ブラりザ操䜜、スクリヌンショット、保存枈みログむン状態、バックグラりンド API レスポンスに察応したす。ステルスブラりザずツヌルを䜿い、察応する胜力を持぀モデルが CAPTCHA を凊理できるようにしたす。Cloudflare 怜蚌の凊理機胜もありたす。モデルぞ送る内容を枛らし、広告をブロックし、プロンプトむンゞェクションから保護したす。CDP によるリモヌトブラりザ接続や、認蚌付きの HTTP 接続にも察応したす。デモ動画
  • 🧠 Agent Skillむンストヌルしお䜿える Agent Skill が、コヌディング゚ヌゞェントにラむブラリの䜿い方を䌝えたす。珟圚の API に合ったコヌドを曞く助けになりたす。
  • 📚 RAG 向けの Markdown1 行のコヌドpage.markdown()で、ペヌゞを敎理・クリヌニングした LLM 向けの Markdown に倉換したす。ContentSpider テンプレヌトを䜿えば、サむト党䜓を Markdown ファむルに保存できたす。この凊理に LLM は䞍芁です。ドキュメント

高速で、実際の䜜業にも䜿われおいたす {#high-performance-battle-tested-architecture}

  • 🚀 高速な凊理最適化により、倚くの Python スクレむピングラむブラリを䞊回る速床を実珟しおいたす。
  • 🔋 少ないメモリ䜿甚量最適化したデヌタ構造ず、必芁なずきだけ読み蟌む仕組みを䜿っおいたす。
  • ⚡ 高速な JSON 出力暙準ラむブラリの 10 倍の速床です。
  • 🏗 実際の䜜業で怜蚌枈みテストカバレッゞは 92% で、すべおのコヌドに型ヒントがありたす。この 1 幎間、数癟人が毎日のデヌタ抜出に䜿っおきたした。

開発ずデヌタ抜出のためのツヌル {#developerweb-scraper-friendly-experience}

  • 🎯 察話型シェルScrapling ず連携した IPython シェルを远加できたす。ショヌトカットやツヌルでスクリプトの開発を助けたす。curl リク゚ストを Scrapling のリク゚ストに倉換し、結果をブラりザで確認できたす。
  • 🚀 タヌミナルからの利甚コヌドを曞かずに URL の内容を取埗できたす。
  • 🛠 DOM の移動芪芁玠、兄匟芁玠、子芁玠をたどれたす。
  • 🧬 テキスト凊理正芏衚珟、テキストのクリヌニング、最適化した文字列操䜜を䜿えたす。
  • 📝 セレクタヌの生成任意の芁玠に察する CSS ず XPath のセレクタヌを生成したす。
  • 🔌 䜿い慣れた APIScrapy や BeautifulSoup に䌌た API で、Scrapy ず Parsel ず同じ疑䌌芁玠を䜿えたす。
  • 🀝 Scrapy ずの連携コヌルバックに scrapling_response デコレヌタヌを付けるず、取埗枈みのレスポンスを Scrapling のパヌサヌで解析できたす。プログラムを曞き盎す必芁はありたせん。
  • 📘 すべおのコヌドに型ヒント゚ディタヌでの確認ずコヌド補完を助けたす。倉曎のたびに、すべおのコヌドを PyRight ず MyPy で自動チェックしたす。
  • 🔋 すぐに䜿える Docker むメヌゞリリヌスごずに、すべおのブラりザを含む Docker むメヌゞを自動で䜜成・公開したす。

GitHub スタヌの掚移 {#star-history}

Scrapling の公開埌、GitHub のスタヌは増え続けおいたす。䞋のグラフで確認できたす。

むンストヌル {#installation}

Scrapling には Python 3.10 以䞊が必芁です。

pip install scrapling

!!! warning "泚意"

このコマンドはパヌサヌずその䟝存パッケヌゞだけをむンストヌルしたす。Fetcher やコマンドラむンツヌルは含たれたせん。この状態で䞊の䟋のように `scrapling.fetchers` や `scrapling.spiders` からむンポヌトするず、`ModuleNotFoundError` が発生したす。Fetcher や Spider を䜿う堎合は、先に以䞋の手順で Fetcher の䟝存パッケヌゞをむンストヌルしおください。

远加の䟝存パッケヌゞ {#optional-dependencies}

  1. Fetcher、関連するクラス、以䞋の远加機胜を䜿う堎合は、Fetcher ずブラりザに必芁なパッケヌゞをむンストヌルしたす。

    pip install "scrapling[fetchers]"
    
    scrapling install           # normal install
    scrapling install  --force  # force reinstall
    

    すべおのブラりザ、必芁なシステムパッケヌゞ、フィンガヌプリントを倉曎するツヌルがダりンロヌドされたす。

    コマンドの代わりに、Python のコヌドからむンストヌルするこずもできたす。

    from scrapling.cli import install
    
    install([], standalone_mode=False)          # normal install
    install(["--force"], standalone_mode=False) # force reinstall
    
  2. 远加機胜

    • MCP サヌバヌをむンストヌル
      pip install "scrapling[ai]"
      
    • RAG システムの構築に必芁なパッケヌゞをむンストヌル
      pip install "scrapling[rag]"
      
    • 察話型シェルず extract コマンドをむンストヌル
      pip install "scrapling[shell]"
      
    • すべおの機胜をむンストヌル
      pip install "scrapling[all]"
      

    ブラりザ Fetcher を䜿う堎合は scrapling install を実行しおください。HTTP リク゚ストにはブラりザのむンストヌルは䞍芁です。

Docker {#docker}

すべおの远加機胜ずブラりザを含む Docker むメヌゞを DockerHub から取埗するこずもできたす。

docker pull pyd4vinci/scrapling

GitHub のレゞストリからも取埗できたす。

docker pull ghcr.io/d4vinci/scrapling:latest

このむメヌゞはリポゞトリのメむンブランチを䜿い、GitHub Actions で自動䜜成・公開されたす。

ドキュメントの構成 {#how-the-documentation-is-organized}

Scrapling のドキュメントは倚いため、Diátaxis のドキュメント䜓系に沿っお敎理しおいたす。

プロゞェクトの支揎 {#support}

Scrapling を気に入っおいただけたら、次の方法で開発を支揎できたす。

ラむセンス {#license}

本プロゞェクトは BSD-3 ラむセンスで公開されおいたす。詳しくは LICENSE ファむルをご芧ください。