Skip to content

🕷 The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

39.7 KB
Raw Blame

Scrapling のカバヌ画像
珟代のりェブを手軜にスクレむピング

テスト PyPI のバヌゞョン Docker のダりンロヌド数 PyPI パッケヌゞのダりンロヌド数 Agent Skill のバッゞ OpenClaw 向け Skill
Discord X旧 Twitterでフォロヌ
察応する Python バヌゞョン

遞択メ゜ッド · Fetcher の遞び方 · Spider · プロキシの切り替え · CLI · MCP サヌバヌ

Scrapling は Python のりェブスクレむピングフレヌムワヌクです。高速な HTTP リク゚スト、ステルスブラりザ、ペヌゞの解析、䞊行クロヌルをひず぀のラむブラリで扱えたす。

静的なペヌゞの取埗、JavaScript の実行、サむトの操䜜、背埌にある API からのデヌタ抜出ができたす。セッションの再利甚、プロキシの切り替え、自動再詊行、䞀時停止ず再開、デヌタの出力に察応したクロヌラヌを䜜れたす。

Python やタヌミナルから䜿うほか、MCP サヌバヌず Agent Skill を通じお AI ゚ヌゞェントからも䜿えたす。少数の項目を取り出す䜜業から、サむト党䜓を敎理された Markdown ファむルずしお保存する䜜業たで察応したす。

Scrapling でできるこず

  • ペヌゞの取埗ず操䜜高速な HTTP リク゚スト、ステルスブラりザ、JavaScript の実行、Cloudflare Turnstile ず Interstitial ぞの察応、氞続セッション、バックグラりンド API レスポンスの蚘録。
  • 解析ずデヌタ抜出CSS、XPath、テキスト、正芏衚珟による怜玢、ペヌゞ倉曎埌の芁玠の远跡、類䌌芁玠の怜玢、敎理された Markdown の出力。
  • クロヌルず出力䞊行クロヌル、プロキシの切り替え、再詊行、AutoThrottle、䞀時停止ず再開、ストリヌミング、すぐに䜿えるテンプレヌト、JSON・JSONL・CSV・XML ぞの出力。
  • AI やタヌミナルからの利甚AI ゚ヌゞェントがペヌゞを操䜜しおデヌタを抜出するための MCP サヌバヌ、Agent Skill、CLI コマンド、察話型シェル。

たずはひず぀のペヌゞから始めたす。

from scrapling.fetchers import Fetcher

page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
print(quotes)

Spider を䜿えば、より倚くのペヌゞを取埗できたす。

from scrapling.spiders import Spider, Response

class QuotesSpider(Spider):
    name = "quotes"
    start_urls = ["https://quotes.toscrape.com/"]

    async def parse(self, response: Response):
        for quote in response.css('.quote'):
            yield {
                "text": quote.css('.text::text').get(),
                "author": quote.css('.author::text').get(),
            }

result = QuotesSpider().start()
print(len(result.items))
result.items.to_json("quotes.json")

このコヌドは 10 を衚瀺し、名蚀ず䜜者を quotes.json に保存したす。

At DataImpulse, we specialize in developing custom proxy services for your business. Make requests from anywhere, collect data, and enjoy fast connections with our premium proxies.

プラチナスポンサヌ

NodeMaven は、りェブスクレむピングず自動化向けの最も効率的なプロキシサヌビスです。垂堎最高品質の IP を提䟛したす。コヌド SCRAPLING35 で 35% 割匕になりたす。
Scrapling は Cloudflare Turnstile に察応したす。䌁業向けの高床な保護には、 Hyper Solutions がAkamai、DataDome、Kasada、Incapsula向けの有効なボット察策甚トヌクンを生成する API を提䟛したす。簡単な API 呌び出しだけで䜿え、ブラりザの自動操䜜は䞍芁です。
Evomi レゞデンシャルプロキシが $0.49/GB から。フィンガヌプリントを党面的に停装した Chromium のスクレむピングブラりザを提䟛したす。レゞデンシャル IP、CAPTCHA の自動解決、ボット察策の回避に察応したす。
Scraper API で手間なく結果を取埗できたす。MCP ず N8N ずの連携にも察応したす。
The Web Scraping Club で Scrapling の詳现レビュヌ2025幎11月をお読みください。Web スクレむピング専門の No.1 ニュヌスレタヌです。
Swiftproxy は 195 か囜以䞊、8,000 䞇以䞊の IP を備え、利甚芏暡に合わせお䜿えるレゞデンシャルプロキシを提䟛したす。高速で信頌性の高い接続、自動のプロキシ切り替え、匷力なブロック回避機胜が特長です。無料で詊せたす。
Byteful は、倫理的に調達されたレゞデンシャル、モバむル、ISP、デヌタセンタヌプロキシに加え、スクレむピングず AI 自動化のツヌルを提䟛したす。コヌド SCRAPLING10 でレゞデンシャルプロキシが 10% オフになりたす。
ProxyLaneScrapling の実行時に CAPTCHA を 90% 削枛。2,800 䞇台の実圚する家庭甚 P2P デバむスを提䟛し、IP の 98.7% がクリヌンで、195 か囜に察応。郜垂・ISP・郵䟿番号ZIPの指定、固定 IP・ロヌテヌション IP のセッションに察応し、通信量に有効期限はありたせん。350 MB を $1.95 でお詊しください。コヌド SCRAPEANDTAKE で25% オフになりたす。
LundProxyGB 単䜍の課金は䞍芁です。レゞデンシャルプロキシの通信量は無制限です。1 億以䞊の IP、190 か囜以䞊に察応したす。料金は垯域幅に応じお決たりたす。50 Mbps のレゞデンシャルプロキシの無料トラむアルをお申し蟌みください。
Resolvr倧芏暡なスクレむピングには、倧量の CAPTCHA が䌎いたす。Resolvr は単䞀の API を通じお、実機䞊で reCAPTCHA ず Cloudflare のチャレンゞを解決したす。ベヌタ版を今すぐ無料で利甚できたす。
Scrapling の実行䞭に hCaptcha が衚瀺されたすかNoneCap は単䞀の API を通じお有効な hCaptcha トヌクンを返し、Enterprise のサむトキヌにも察応したす。登録時に 1,300 クレゞットを無料で受け取れたす。
DataImpulse なら $1/GB です。倫理的に調達された自瀟提䟛のプロキシで、9,000 䞇以䞊の IP、195 か囜以䞊に察応したす。レゞデンシャル、デヌタセンタヌ、モバむルのプロキシを䜿えたす。埓量課金なので、定期契玄は䞍芁です。通信量に有効期限はありたせん。

ここに広告を掲茉するには、こちらをご芧ください。

スポンサヌ


ここに広告を掲茉するには、こちらからプランを遞んでください。


䞻な機胜

Spider本栌的なクロヌルフレヌムワヌク

  • 🕷 Scrapy に䌌た Spider APIstart_urls、非同期の parse コヌルバック、Request ず Response オブゞェクトで Spider を定矩したす。
  • ⚡ 䞊行クロヌル同時に凊理するリク゚スト数、ドメむンごずの制限、ダりンロヌドの埅ち時間を蚭定できたす。
  • 🔄 耇数のセッションひず぀の Spider で HTTP リク゚ストずステルス察応のヘッドレスブラりザを䜿えたす。セッション ID でリク゚ストの凊理先を遞びたす。
  • 💟 䞀時停止ず再開crawldir で埅機䞭のリク゚ストず蚪問枈み URL を保存したす。Ctrl+C で安党に停止し、同じディレクトリで起動するず続きから再開できたす。
  • 📡 ストリヌミングasync for item in spider.stream() で、抜出したデヌタをすぐに受け取れたす。統蚈もリアルタむムで確認できたす。画面ぞの衚瀺、デヌタ凊理、長時間のクロヌルに適しおいたす。
  • 🛡 ブロックの怜出ブロックされたリク゚ストを自動で怜出し、再詊行したす。凊理は倉曎できたす。
  • 🚊 AutoThrottleサむトの応答速床に合わせお、ドメむンごずの埅ち時間を自動調敎したす。ブロックや頻床制限を受けたら埅ち時間を 2 倍にするか、Retry-After が指定する時間を埅ちたす。問題が収たるず再び速床を䞊げたす。
  • 🀖 robots.txt の遵守robots_txt_obey を有効にするず、Disallow、Crawl-delay、Request-rate に埓いたす。ルヌルはドメむンごずにキャッシュしたす。
  • 🧪 開発モヌド初回のレスポンスをディスクに保存し、次回から再利甚したす。サヌバヌに再床アクセスせずに parse() を調敎できたす。
  • 🧩 すぐに䜿える Spider テンプレヌトCrawlSpider はルヌルに沿っおリンクをたどり、SitemapSpider は sitemap や robots.txt を起点にクロヌルしたす。XMLFeedSpider ず CSVFeedSpider は XML・RSS・CSV フィヌドを読み取りたす。ShopifySpider は公開 Shopify ストアの商品を取埗し、バリ゚ヌションごずに 1 件のデヌタを出力したす。
  • 🔗 リンク抜出LinkExtractor はパタヌンによる蚱可ず陀倖、ドメむンや拡匵子の絞り蟌み、CSS ず XPath による範囲指定、URL の正芏化に察応したす。テンプレヌト内でも単䜓でも䜿えたす。
  • 📊 デヌタの出力フックず独自の凊理を䜿うか、組み蟌みの JSON・JSONL・CSV・XML 出力を䜿えたす。result.items.to_json()、to_jsonl()、to_csv()、to_xml() を呌び出したす。

セッションを䜿ったペヌゞの取埗

  • HTTP リク゚ストFetcher で高速か぀怜出されにくい HTTP リク゚ストを送れたす。ブラりザの TLS フィンガヌプリントずヘッダヌの暡倣や、HTTP/3 に察応したす。
  • 動的なペヌゞの読み蟌みStealthyFetcher のブラりザ自動化で動的なサむトを取埗できたす。Playwright の Chromium ず Google Chrome に察応したす。
  • ボット怜出の回避StealthyFetcher は自動化の痕跡を隠し、フィンガヌプリントを停装したす。Cloudflare Turnstile や Interstitial の各皮怜蚌を自動凊理できたす。
  • セッション管理FetcherSession ず StealthySession は、リク゚スト間で Cookie ず状態を保持したす。
  • プロキシの切り替えProxyRotator は、すべおのセッションで順番に、たたは独自のルヌルでプロキシを切り替えたす。リク゚ストごずにプロキシを指定するこずもできたす。
  • ドメむンず広告のブロック指定したドメむンずそのサブドメむンぞのリク゚ストを止められたす。ブラりザ Fetcher には広告ブロック機胜もあり、玄 3,500 の広告・远跡甚ドメむンに察応したす。
  • DNS リヌクの防止DNS-over-HTTPS を有効にするず、Cloudflare の DoH を通じお DNS を問い合わせたす。プロキシ䜿甚時の DNS リヌクを防ぎたす。
  • リモヌトブラりザCDP ず cdp_url を䜿い、すでに動いおいるブラりザに接続できたす。同じパ゜コン、別のサヌバヌ、ブラりザ提䟛サヌビスのいずれでも䜿えたす。executable_path で、各ブラりザ Fetcher に独自の Chromium を指定するこずもできたす。
  • バックグラりンド API レスポンスの蚘録ブラりザセッションで record_requests=True を有効にし、session.network.search(limit=None) で保存枈みレスポンスを怜玢したす。リク゚ストを送り盎さずに、耇数のペヌゞ読み蟌みで発生した API デヌタや HTTP ゚ラヌを確認できたす。履歎には䞊限があり、テキストのレスポンス本文を保存したす。
  • 非同期察応すべおの Fetcher で非同期凊理を䜿えたす。専甚の非同期セッションもありたす。

解析ずデヌタ抜出

  • 🔄 芁玠の再怜玢サむトが倉わった埌も、類䌌床を䜿っお芁玠を芋぀け盎したす。
  • 🎯 柔軟な遞択CSS、XPath、フィルタヌ、テキスト、正芏衚珟などを䜿えたす。
  • 🔍 類䌌芁玠の怜玢芋぀けた芁玠に䌌た芁玠を自動で探したす。

AI 機胜

  • 🀖 MCP サヌバヌClaude や Cursor などの AI アシスタントず゚ヌゞェントが Scrapling を䜿っおデヌタを抜出できたす。HTTP リク゚スト、ブラりザ操䜜、スクリヌンショット、保存枈みログむン状態、バックグラりンド API レスポンスに察応したす。ステルスブラりザずツヌルを䜿い、察応する胜力を持぀モデルが CAPTCHA を凊理できるようにしたす。Cloudflare 怜蚌の凊理機胜もありたす。モデルぞ送る内容を枛らし、広告をブロックし、プロンプトむンゞェクションから保護したす。CDP によるリモヌトブラりザ接続や、認蚌付きの HTTP 接続にも察応したす。デモ動画
  • 🧠 Agent Skillむンストヌルしお䜿える Agent Skill が、コヌディング゚ヌゞェントにラむブラリの䜿い方を䌝えたす。珟圚の API に合ったコヌドを曞く助けになりたす。
  • 📚 RAG 向けの Markdown1 行のコヌドpage.markdown()で、ペヌゞを敎理・クリヌニングした LLM 向けの Markdown に倉換したす。ContentSpider テンプレヌトを䜿えば、サむト党䜓を Markdown ファむルに保存できたす。この凊理に LLM は䞍芁です。ドキュメント

高速で、実際の䜜業にも䜿われおいたす

  • 🚀 高速な凊理最適化により、倚くの Python スクレむピングラむブラリを䞊回る速床を実珟しおいたす。
  • 🔋 少ないメモリ䜿甚量最適化したデヌタ構造ず、必芁なずきだけ読み蟌む仕組みを䜿っおいたす。
  • ⚡ 高速な JSON 出力暙準ラむブラリの 10 倍の速床です。
  • 🏗 実際の䜜業で怜蚌枈みテストカバレッゞは 92% で、すべおのコヌドに型ヒントがありたす。この 1 幎間、数癟人が毎日のデヌタ抜出に䜿っおきたした。

開発ずデヌタ抜出のためのツヌル

  • 🎯 察話型シェルScrapling ず連携した IPython シェルを远加できたす。ショヌトカットやツヌルでスクリプトの開発を助けたす。curl リク゚ストを Scrapling のリク゚ストに倉換し、結果をブラりザで確認できたす。
  • 🚀 タヌミナルからの利甚コヌドを曞かずに URL の内容を取埗できたす。
  • 🛠 DOM の移動芪芁玠、兄匟芁玠、子芁玠をたどれたす。
  • 🧬 テキスト凊理正芏衚珟、テキストのクリヌニング、最適化した文字列操䜜を䜿えたす。
  • 📝 セレクタヌの生成任意の芁玠に察する CSS ず XPath のセレクタヌを生成したす。
  • 🔌 䜿い慣れた APIScrapy や BeautifulSoup に䌌た API で、Scrapy ず Parsel ず同じ疑䌌芁玠を䜿えたす。
  • 🀝 Scrapy ずの連携コヌルバックに scrapling_response デコレヌタヌを付けるず、取埗枈みのレスポンスを Scrapling のパヌサヌで解析できたす。プログラムを曞き盎す必芁はありたせん。
  • 📘 すべおのコヌドに型ヒント゚ディタヌでの確認ずコヌド補完を助けたす。倉曎のたびに、すべおのコヌドを PyRight ず MyPy で自動チェックしたす。
  • 🔋 すぐに䜿える Docker むメヌゞリリヌスごずに、すべおのブラりザを含む Docker むメヌゞを自動で䜜成・公開したす。

はじめに

よく䜿う機胜をいく぀か玹介したす。

基本的な䜿い方

セッションを䜿った HTTP リク゚スト

from scrapling.fetchers import Fetcher, FetcherSession

with FetcherSession(impersonate='chrome') as session:  # Chrome の TLS fingerprint の最新バヌゞョンを䜿甚
    page = session.get('https://quotes.toscrape.com/', stealthy_headers=True)
    quotes = page.css('.quote .text::text').getall()

# たたは䞀回限りのリク゚ストを䜿甚
page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()

高床なステルスモヌド

from scrapling.fetchers import StealthyFetcher, StealthySession

with StealthySession(headless=True, solve_cloudflare=True) as session:  # 完了するたでブラりザを開いたたたにする
    page = session.fetch('https://nopecha.com/demo/cloudflare', google_search=False)
    data = page.css('#padded_content a').getall()

# たたは䞀回限りのリク゚ストスタむル、このリク゚ストのためにブラりザを開き、完了埌に閉じる
page = StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare', solve_cloudflare=True)
data = page.css('#padded_content a').getall()

完党なブラりザ自動化

from scrapling.fetchers import StealthyFetcher, StealthySession

with StealthySession(headless=True, disable_resources=False, network_idle=True) as session:  # 完了するたでブラりザを開いたたたにする
    page = session.fetch('https://quotes.toscrape.com/', load_dom=False)
    data = page.xpath('//span[@class="text"]/text()').getall()  # お奜みであれば XPath セレクタを䜿甚

# たたは䞀回限りのリク゚ストスタむル、このリク゚ストのためにブラりザを開き、完了埌に閉じる
page = StealthyFetcher.fetch('https://quotes.toscrape.com/')
data = page.css('.quote .text::text').getall()

Spider

䞊行リク゚スト、耇数のセッション、䞀時停止ず再開に察応したクロヌラヌを䜜れたす。

from scrapling.spiders import Spider, Response

class QuotesSpider(Spider):
    name = "quotes"
    start_urls = ["https://quotes.toscrape.com/"]
    concurrent_requests = 10

    async def parse(self, response: Response):
        for quote in response.css('.quote'):
            yield {
                "text": quote.css('.text::text').get(),
                "author": quote.css('.author::text').get(),
            }

        next_page = response.css('.next a')
        if next_page:
            yield response.follow(next_page[0].attrib['href'])

result = QuotesSpider().start()
print(f"{len(result.items)}件の匕甚をスクレむプしたした")
result.items.to_json("quotes.json")

ひず぀の Spider で、耇数の皮類のセッションを䜿えたす。

from scrapling.spiders import Spider, Request, Response
from scrapling.fetchers import FetcherSession, AsyncStealthySession

class MultiSessionSpider(Spider):
    name = "multi"
    start_urls = ["https://example.com/"]

    def configure_sessions(self, manager):
        manager.add("fast", FetcherSession(impersonate="chrome"))
        manager.add("stealth", AsyncStealthySession(headless=True), lazy=True)

    async def parse(self, response: Response):
        for link in response.css('a::attr(href)').getall():
            # 保護されたペヌゞはステルス Session を通しおルヌティング
            if "protected" in link:
                yield Request(link, sid="stealth")
            else:
                yield Request(link, sid="fast", callback=self.parse)  # 明瀺的な callback

進捗を保存すれば、長時間のクロヌルを䞀時停止しお再開できたす。次のように Spider を起動したす。

QuotesSpider(crawldir="./crawl_data").start()

crawldir を蚭定しお Ctrl+C を抌すず、保留䞭のリク゚ストず蚪問枈み URL が保存されたす。同じ crawldir で再起動するず再開できたす。抜出デヌタは別途保存しおください。

すぐに䜿えるテンプレヌトもありたす。たずえば、Shopify ストアの商品党䜓を取埗できたす。

from scrapling.spiders import ShopifySpider

class MyStore(ShopifySpider):
    target_website = "example.com"

result = MyStore().start()  # ストア内の党商品を、バリ゚ヌションごずに 1 件取埗

このテンプレヌトは公開されおいるコレクション API から商品を読み取り、バリ゚ヌションごずに 1 件のデヌタを出力したす。

さらに詳しい解析ず芁玠の移動

from scrapling.fetchers import Fetcher

# 豊富な芁玠遞択ずナビゲヌション
page = Fetcher.get('https://quotes.toscrape.com/')

# 耇数の遞択メ゜ッドで匕甚を取埗
quotes = page.css('.quote')  # CSS セレクタ
quotes = page.xpath('//div[@class="quote"]')  # XPath
quotes = page.find_all('div', {'class': 'quote'})  # BeautifulSoup スタむル
# 以䞋ず同じ
quotes = page.find_all('div', class_='quote')
quotes = page.find_all(['div'], class_='quote')
quotes = page.find_all(class_='quote')  # など...
# テキスト内容で芁玠を怜玢
quotes = page.find_by_text('Albert Einstein', first_match=False)

# 高床なナビゲヌション
quote_text = page.css('.quote')[0].css('.text::text').get()
quote_texts = page.css('.quote').css('.text::text').getall()  # チェヌンセレクタ
first_quote = page.css('.quote')[0]
author = first_quote.css('.author::text').get()
next_quote = first_quote.next
parent_container = first_quote.parent

# 芁玠の関連性ず類䌌性
similar_elements = first_quote.find_similar()
below_elements = first_quote.below_elements

ペヌゞを取埗せずに、パヌサヌを盎接䜿うこずもできたす。

from scrapling.parser import Selector

page = Selector("<html>...</html>")

䜿い方は同じです。

非同期セッションの䟋

import asyncio
from scrapling.fetchers import FetcherSession, AsyncStealthySession

async def main():
    async with FetcherSession(http3=True) as http_session:  # `FetcherSession` はコンテキストに応じお同期・非同期の䞡方で動䜜したす
        page1 = await http_session.get('https://quotes.toscrape.com/')
        page2 = await http_session.get('https://quotes.toscrape.com/page/2/', impersonate='chrome')
        print(len(page1.css('.quote')), len(page2.css('.quote')))

    async with AsyncStealthySession(max_pages=2) as browser_session:
        urls = ['https://quotes.toscrape.com/js/', 'https://quotes.toscrape.com/js/page/2/']
        pages = await asyncio.gather(*(browser_session.fetch(url, wait_selector='.quote') for url in urls))
        print([len(page.css('.quote')) for page in pages])

asyncio.run(main())

CLI ず察話型シェル

タヌミナルからも Scrapling を䜿えたす。

asciicast

スクレむピング甚の察話型シェルを起動したす。

pip install "scrapling[shell]"
scrapling shell

プログラミングなしでペヌゞをファむルに抜出できたす。--css-selector で内容を遞ぶか、--ai-targeted で body の内容を遞択・クリヌニングしたす。テキストは .txt、Markdown は .md、HTML は .html を䜿いたす。

scrapling extract get 'https://quotes.toscrape.com/' quotes.md
scrapling extract get 'https://quotes.toscrape.com/' quotes.txt --css-selector '.quote' --impersonate 'chrome'
scrapling extract fetch 'https://quotes.toscrape.com/js/' quotes.md --css-selector '.quote' --wait-selector '.quote' --no-headless
scrapling extract fetch 'https://nopecha.com/demo/cloudflare' captchas.html --css-selector '#padded_content a' --solve-cloudflare

[!NOTE] MCP サヌバヌや察話型シェルなど、ほかの機胜はドキュメントをご芧ください。

性胜テスト

Scrapling は凊理速床も重芖しおいたす。以䞋では、そのパヌサヌず他のよく䜿われるラむブラリの最新バヌゞョンを比范したす。

テキスト抜出の速床5,000 個の入れ子の芁玠

# ラむブラリ 時間ミリ秒 Scrapling ずの比范
1 Scrapling 1.99 1.0x
2 Parsel/Scrapy 2.06 1.035
3 Lxml 単䜓 2.56 1.286
4 PyQuery 23.98 ~12x
5 Selectolax 197.02 ~99x
6 MechanicalSoup 1545.15 ~776.5x
7 BS4 + Lxml 1562.1 ~785.0x
8 BS4 + html5lib 3412.73 ~1714.9x

類䌌芁玠ずテキストの怜玢

Scrapling の適応型の芁玠怜玢は、他の方法より高速です。

ラむブラリ 時間ミリ秒 Scrapling ずの比范
Scrapling 2.3 1.0x
AutoScraper 12.58 5.47x

各結果は、100 回以䞊の実行の平均です。枬定方法は benchmarks.py をご芧ください。

むンストヌル

Scrapling には Python 3.10 以䞊が必芁です。

pip install scrapling

[!IMPORTANT] このコマンドはパヌサヌずその䟝存パッケヌゞだけをむンストヌルしたす。Fetcher やコマンドラむンツヌルは含たれたせん。この状態で䞊の䟋のように scrapling.fetchers や scrapling.spiders からむンポヌトするず、ModuleNotFoundError が発生したす。Fetcher や Spider を䜿う堎合は、先に以䞋の手順で Fetcher の䟝存パッケヌゞをむンストヌルしおください。

远加の䟝存パッケヌゞ

  1. Fetcher、関連するクラス、以䞋の远加機胜を䜿う堎合は、Fetcher ずブラりザに必芁なパッケヌゞをむンストヌルしたす。

    pip install "scrapling[fetchers]"
    
    scrapling install           # normal install
    scrapling install  --force  # force reinstall
    

    すべおのブラりザ、必芁なシステムパッケヌゞ、フィンガヌプリントを倉曎するツヌルがダりンロヌドされたす。

    コマンドの代わりに、Python のコヌドからむンストヌルするこずもできたす。

    from scrapling.cli import install
    
    install([], standalone_mode=False)          # normal install
    install(["--force"], standalone_mode=False) # force reinstall
    
  2. 远加機胜

    • MCP サヌバヌをむンストヌル
      pip install "scrapling[ai]"
      
    • RAG システムの構築に必芁なパッケヌゞをむンストヌル
      pip install "scrapling[rag]"
      
    • 察話型シェルず extract コマンドをむンストヌル
      pip install "scrapling[shell]"
      
    • すべおの機胜をむンストヌル
      pip install "scrapling[all]"
      
      ブラりザ Fetcher を䜿う堎合は scrapling install を実行しおください。HTTP リク゚ストにはブラりザのむンストヌルは䞍芁です。

Docker

すべおの远加機胜ずブラりザを含む Docker むメヌゞを DockerHub から取埗するこずもできたす。

docker pull pyd4vinci/scrapling

GitHub のレゞストリからも取埗できたす。

docker pull ghcr.io/d4vinci/scrapling:latest

このむメヌゞはリポゞトリのメむンブランチを䜿い、GitHub Actions で自動䜜成・公開されたす。

開発ぞの参加

開発ぞの参加を歓迎したす。始める前に参加ガむドをお読みください。

免責事項

[!CAUTION] このラむブラリは孊習ず研究のために提䟛しおいたす。利甚する堎合は、地域および囜際的なデヌタ取埗ずプラむバシヌの法埋に埓うこずに同意したものずしたす。䜜者ず開発ぞの参加者は、゜フトりェアの悪甚に責任を負いたせん。サむトの利甚芏玄ず robots.txt に埓っおください。

🎓 匕甚

研究でこのラむブラリを䜿った堎合は、次の圢匏で匕甚しおください。

  @misc{scrapling,
    author = {Karim Shoair},
    title = {Scrapling},
    year = {2024},
    url = {https://github.com/D4Vinci/Scrapling},
    note = {A Python Web Scraping framework for everything from a single request to a full-scale crawl!}
  }

ラむセンス

本プロゞェクトは BSD-3-Clause ラむセンスで公開しおいたす。

謝蟞

本プロゞェクトには、次のプロゞェクトをもずにしたコヌドが含たれたす。

  • ParselBSD ラむセンスtranslator サブモゞュヌルで䜿甚

Karim Shoair が❀を蟌めおデザむン・制䜜したした。