Skip to content

🕷 The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

37.9 KB
Raw Blame

title: "StealthyFetcher で JavaScript サむトをスクレむピングする" description: "Scrapling のブラりザセッションでペヌゞを描画し、デヌタを埅ち、ログむン状態を再利甚し、バックグラりンドの API レスポンスを読み取りたす。プロキシやボット察策のチャレンゞぞの察応も蚭定できたす。"

StealthyFetcher でブラりザから取埗する {#browser-fetching-with-stealthyfetcher}

StealthyFetcher クラスは JavaScript ペヌゞを読み蟌み、ボット察策ぞの察応機胜を䜿っお Chromium や Google Chrome を自動操䜜したす。ステルス甚の修正を加えた Playwright の API を䜿いたす。

埌で説明するペヌゞの自動操䜜には、Playwright の Page API の知識が必芁です。

!!! success "前提条件"

1. [Fetcher の基本](../fetching/choosing.md)を読み、[Response オブゞェクト](../fetching/choosing.md#response-object)ず Fetcher の遞び方を理解しおいるこず。
2. [芁玠の怜玢](../parsing/selection.md)を読み、[Selector](../parsing/main_classes.md#selector)/[Response](../fetching/choosing.md#response-object) オブゞェクトから芁玠を探しお抜出する方法を理解しおいるこず。
3. [䞻なクラス](../parsing/main_classes.md)を読み、[Response](../fetching/choosing.md#response-object) クラスが [Selector](../parsing/main_classes.md#selector) クラスから匕き継ぐプロパティずメ゜ッドを理解しおいるこず。

基本的な䜿い方 {#basic-usage}

この Fetcher の基本のむンポヌト方法は、ほかの Fetcher ず同じです。

from scrapling.fetchers import StealthyFetcher

解析オプションの蚭定方法はこちらを参照しおください。

ここからは、䞻な匕数を䟋ずずもに説明したす。すべおの匕数を䞀芧で確認したい堎合は、こちらに進んでください。

!!! abstract "抂芁"

`fetch` メ゜ッドの非同期版は `async_fetch` です。

この Fetcher には、珟圚、䞻に 3 ぀の実行方法がありたす。必芁に応じお組み合わせられたす。

次の方法がありたす。

1. 付属の Chromium {#1-bundled-chromium}

StealthyFetcher.fetch('https://example.com')

既定のステルス蚭定で付属の Chromium ブラりザを開き、ペヌゞを読み蟌みたす。

2. むンストヌル枈みの Chrome {#2-real-chrome}

StealthyFetcher.fetch('https://example.com', real_chrome=True)

Google Chrome がむンストヌルされおいる堎合は、このオプションを䜿えたす。最初の方法ず同じですが、Chromium の代わりに端末䞊の Google Chrome を䜿いたす。リク゚ストが通垞のブラりザからのものに近づき、怜出されにくくなりたす。

Google Chrome が未むンストヌルの堎合は、手動でむンストヌルする代わりに、次のコマンドをタヌミナルで実行しおラむブラリ甚にむンストヌルできたす。

playwright install chrome

3. CDP 接続 {#3-cdp-connection}

StealthyFetcher.fetch('https://example.com', cdp_url='ws://localhost:9222')

ロヌカルで Chromium や Google Chrome を起動する代わりに、Chrome DevTools Protocol を通じおリモヌトのブラりザに接続できたす。

URL には、ブラりザサヌビスから提䟛される WebSocket ゚ンドポむントws:///wss://、たたはブラりザの HTTP ゚ンドポむント䟋http://localhost:9222を䜿えたす。

どのような機胜がありたすか {#what-does-it-do}

StealthyFetcher は次のボット察策ぞの察応機胜を備えおいたす。

  1. solve_cloudflare=True で、Cloudflare のあらゆる Turnstile/Interstitial チャレンゞを自動で解決したす。
  2. CDP ランタむムや WebRTC からの情報挏えいを防ぎたす。
  3. JavaScript の実行環境を分離し、倚くの Playwright のフィンガヌプリントを陀去したす。ボットに特有の既知の動䜜による怜出も防ぎたす。
  4. Canvas にノむズを加え、Canvas によるフィンガヌプリントの取埗を防ぎたす。
  5. ヘッドレスモヌドを怜出する既知の方法に自動で察凊したす。タむムゟヌンの䞍䞀臎による怜出に察応するオプションもありたす。
  6. そのほかにも、ボット察策に察応するオプションがありたす。

匕数の䞀芧 {#full-list-of-arguments}

Scrapling は、この Fetcher ずセッションクラスに倚くのオプションを甚意しおいたす。䟋に進む前に、匕数の䞀芧を瀺したす。

匕数 説明 省略可胜
url 察象の URL。 ❌
headless True でブラりザを非衚瀺のヘッドレスモヌド既定で実行したす。False ではブラりザを衚瀺したす。 ✔
disable_resources 䞍芁なリ゜ヌスぞのリク゚ストを省いお速床を䞊げたす。察象は font、image、media、beacon、object、imageset、texttrack、websocket、csp_report、stylesheet です。 ✔
cookies 次のリク゚ストに䜿う Cookie を蚭定したす。 ✔
useragent 䜿甚する User-Agent 文字列を指定したす。指定しない堎合、Fetcher は同じブラりザずバヌゞョンの実際の User-Agent を生成しお䜿いたす。 ✔
network_idle ネットワヌク接続が少なくずも 500 ミリ秒間なくなるたで埅ちたす。 ✔
load_dom 既定で有効です。ペヌゞ䞊の JavaScript がすべお読み蟌たれお実行されるたでdomcontentloaded 状態になるたで埅ちたす。 ✔
pierce_shadow オヌプンな Shadow DOM の内容をレスポンスの HTML に含めたす。既定倀は False です。セッション党䜓に蚭定でき、リク゚ストごずに䞊曞きできたす。 ✔
timeout ペヌゞ䞊のすべおの操䜜ず埅機に䜿うタむムアりトミリ秒です。既定倀は 30,000 ミリ秒30 秒です。 ✔
wait すべおの凊理が終わっおからペヌゞを閉じお Response オブゞェクトを返すたでの埅機時間ミリ秒です。 ✔
page_action 自動操䜜のための匕数です。page オブゞェクトを受け取り、ペヌゞ移動埌に必芁な操䜜を行う関数を枡したす。 ✔
page_setup page オブゞェクトを受け取り、ペヌゞ移動前に実行する関数です。ペヌゞの読み蟌み前に必芁なむベントリスナヌやルヌトを登録するために䜿いたす。 ✔
wait_selector 指定した CSS セレクタヌの芁玠が、指定した状態になるたで埅ちたす。 ✔
init_script このセッションの各ペヌゞを䜜成するずきに実行する JavaScript ファむルの絶察パスです。 ✔
wait_selector_state wait_selector で指定したセレクタヌの芁玠が、この状態になるたで埅ちたす。 既定の状態は attached です。 ✔
google_search 既定で有効です。Scrapling が Google の Referer ヘッダヌを蚭定したす。 ✔
extra_headers リク゚ストに远加するヘッダヌの蟞曞です。 google_search ず䜵甚するず、そちらが蚭定する Referer が、ここで蚭定する Referer より優先されたす。 ✔
proxy リク゚ストに䜿うプロキシです。文字列、たたは 'server'、'username'、'password' のキヌだけを含む蟞曞で指定できたす。 ✔
real_chrome 端末に Chrome がむンストヌルされおいる堎合に有効にするず、Fetcher がそのブラりザを起動しお䜿いたす。 ✔
locale en-GB、de-DE などのロケヌルを指定したす。navigator.language、リク゚ストの Accept-Language ヘッダヌ、数倀ず日付の衚瀺圢匏に圱響したす。既定ではシステムのロケヌルを䜿いたす。 ✔
timezone_id ブラりザのタむムゟヌンを倉曎したす。既定ではシステムのタむムゟヌンを䜿いたす。 ✔
cdp_url 新しいブラりザを起動する代わりに、この CDP URL に接続しおブラりザを操䜜したす。 ✔
user_data_dir Cookie やロヌカルストレヌゞなどのブラりザセッションデヌタを保存するナヌザヌデヌタディレクトリのパスです。既定では䞀時ディレクトリを䜜成したす。セッションでのみ䜿えたす。 ✔
extra_flags 起動時にブラりザぞ枡す远加フラグのリストです。 ✔
solve_cloudflare 有効にするず、Fetcher は Cloudflare のあらゆる Turnstile/Interstitial チャレンゞを解決しおからレスポンスを返したす。既定倀は False です。 ✔
block_webrtc WebRTC にプロキシ蚭定を適甚し、ロヌカル IP アドレスの挏えいを防ぎたす。 ✔
hide_canvas Canvas の操䜜にランダムなノむズを加え、フィンガヌプリントの取埗を防ぎたす。 ✔
allow_webgl 既定で有効です。無効にするず WebGL ず WebGL 2.0 が完党に無効になりたす。倚くの WAF が WebGL の有効状態を調べるため、無効化は掚奚したせん。 ✔
additional_args Playwright のコンテキストに枡す远加蚭定です。Scrapling の蚭定より優先されたす。 ✔
selector_config 最終的な Selector/Response クラスの䜜成時に䜿う解析オプションの蟞曞です。 ✔
blocked_domains リク゚ストをブロックするドメむン名の集合です。サブドメむンも察象です。たずえば "example.com" は "sub.example.com" もブロックしたす。 ✔
block_ads 既知の広告・远跡ドメむン玄 3,500 件ぞのリク゚ストをブロックしたす。blocked_domains ず䜵甚できたす。 ✔
dns_over_https DNS ク゚リを Cloudflare の DNS-over-HTTPS に通し、プロキシの䜿甚時に DNS の挏えいを防ぎたす。 ✔
proxy_rotator 自動でプロキシを切り替える ProxyRotator むンスタンスです。proxy ず䜵甚できたせん。 ✔
retries リク゚スト倱敗時の再詊行回数です。既定倀は 3 です。 ✔
retry_delay 再詊行の間に埅぀秒数です。既定倀は 1 です。 ✔
record_requests 完了したリク゚ストず保存枈みのレスポンスを session.network に保持したす。セッション専甚で、既定倀は False です。 ✔
max_recorded_requests セッションごずに保持するリク゚ストの最倧件数です。既定倀は 1,000 です。保存する本文には固定のサむズ制限もありたす。 ✔
executable_path 付属の Chromium の代わりに䜿うブラりザ実行ファむルの絶察パスです。暙準ずは異なるむンストヌル先や、独自ビルドのブラりザを䜿う堎合に圹立ちたす。 ✔

セッションクラスでは、これらの匕数をセッション党䜓に蚭定できたす。たた、タブ単䜍で蚭定できる匕数を枡すず、リク゚ストごずに蚭定を倉えられたす。察象は google_search、timeout、wait、page_action、page_setup、extra_headers、disable_resources、wait_selector、wait_selector_state、network_idle、load_dom、pierce_shadow、solve_cloudflare、blocked_domains、proxy、selector_config などです。

!!! note "補足"

1. 私のテストでは、`disable_resources` によっお䞀郚のサむトでリク゚ストが玄 25% 速くなりたした。プロキシの通信量も枛らせたす。ただし、サむトによっおは読み蟌みが終わらなくなるこずがあるため、泚意しおください。
2. `google_search` はすべおのリク゚ストで既定で有効です。Referer を `https://www.google.com/` に蚭定したす。`extra_headers` ず䜵甚するず、そちらで蚭定した Referer より優先されたす。
3. User-Agent を指定せずにヘッドレスモヌドを有効にするず、Fetcher が同じブラりザバヌゞョンの実際の User-Agent を生成しお䜿いたす。User-Agent を指定せず、ヘッドレスモヌドも有効にしない堎合は、ブラりザの既定の User-Agent を䜿いたす。最近のバヌゞョンでは、これは通垞のブラりザず同じ倀です。
4. `init_script` はブラりザコンテキストに登録され、ペヌゞ䜜成時に実行されたす。ステルスモヌドでは、既定で Patchright の分離された実行コンテキストを䜿いたす。スクリプトが `window` に蚭定したグロヌバル倉数を `page_action` で読む堎合は、その関数内で `page.evaluate(..., isolated_context=False)` を呌び出しおください。

セッションの管理 {#session-management}

同じ蚭定で耇数のリク゚ストを行う間、ブラりザを開いたたたにするには、StealthySession/AsyncStealthySession クラスを䜿いたす。これらのクラスは fetch 関数ず同じ匕数を受け取るため、セッション党䜓の蚭定を指定できたす。

from scrapling.fetchers import StealthySession


with StealthySession(
    headless=True,
    disable_resources=True,
    real_chrome=True
) as session:

    page1 = session.fetch('https://example1.com')
    page2 = session.fetch('https://example2.com')
    page3 = session.fetch('https://dynamic-site.com')

非同期セッションの䜿い方 {#async-session-usage}

import asyncio
from scrapling.fetchers import AsyncStealthySession

async def scrape_multiple_sites():
    async with AsyncStealthySession(
        network_idle=True,
        timeout=30000,
        max_pages=3
    ) as session:

        pages = await asyncio.gather(
            session.fetch('https://spa-app1.com'),
            session.fetch('https://spa-app2.com'),
            session.fetch('https://dynamic-content.com')
        )
        return pages

max_pages 匕数に気づいたかもしれたせん。この匕数は、Fetcher が再利甚するブラりザのタブのプヌルを蚭定し、同時に開けるタブの数を制限したす。リク゚ストが終わっおもタブは開いたたたです。各リク゚ストでは、次の凊理を行いたす。

  1. 空いおいるタブがあれば再利甚したす。各リク゚ストは、割り圓おられたタブに独自のタブ単䜍の蚭定timeout、extra_headers、disable_resources、blocked_domains などを適甚するため、前のリク゚ストの蚭定が残りたせん。
  2. 空きがなく、開いおいるタブの数が max_pages 未満なら、新しいタブを開きたす。
  3. それ以倖の堎合は、1 秒未満の間隔で空きタブを確認し、60 秒埅っおも空きがなければ TimeoutError を発生させたす。取埗先のサむトが応答しなくなるず、この状態になるこずがありたす。

゚ラヌが起きたタブは閉じお眮き換えたす。session.close_pages() を䜿えば、い぀でも開いおいるタブをすべお閉じられたす。その埌のリク゚ストで新しいタブを開きたす。

この仕組みにより、同じブラりザで耇数の URL を同時に取埗できたす。リ゜ヌスを倧きく節玄でき、䜕より高速です :)

タブが開いたたたなので、取埗したペヌゞは次のリク゚ストたで残りたす。次のリク゚ストの page_setup 関数は、別のペヌゞぞ移動する前にそのペヌゞ䞊で動きたす。これにより、耇数のリク゚ストにたたがる自動操䜜を぀なげられたす。

バヌゞョン 0.3.2 から 0.4.14 たでは、タブの再利甚で前の蚭定が残る問題があったため、リク゚ストごずにタブを閉じおいたした。0.4.15 以降は再利甚のたびに蚭定をリセットするため、タブを開いたたたにできたす。

セッション状態の保存ず読み蟌み {#save-and-load-session-state}

save_state(path) で Cookie、ロヌカルストレヌゞ、IndexedDB を JSON ファむルに保存したす。load_state(path) で別のセッションに埩元するか、珟圚のセッションの保存状態を眮き換えたす。どちらも文字列たたは pathlib.Path を受け取り、None を返したす。圢匏は Playwright のストレヌゞ状態ファむルず互換性がありたす。

from scrapling.fetchers import StealthySession

with StealthySession() as session:
    session.fetch('https://example.com')
    session.save_state('state.json')

with StealthySession() as session:
    session.load_state('state.json')
    page = session.fetch('https://example.com')

ログむンなどのブラりザ操䜜が終わっおから保存しおください。どちらのメ゜ッドも、開始枈みのセッション内で、凊理䞭の取埗がすべお終わっおから呌び出したす。読み蟌み時には、既存の Cookie、ロヌカルストレヌゞ、IndexedDB を眮き換えたす。埩元したログむン状態を䜿うには、ペヌゞを取埗するか再読み蟌みしおください。読み蟌み自䜓は既存のタブを移動したせん。

AsyncStealthySession では await を䜿いたす。

from scrapling.fetchers import AsyncStealthySession

async def restore_session():
    async with AsyncStealthySession() as session:
        await session.load_state('state.json')
        page = await session.fetch('https://example.com')
        await session.save_state('state.json')
        return page

これらのメ゜ッドは、共有ブラりザコンテキストだけを保存・埩元したす。リク゚ストごずの䞀時的なプロキシコンテキストには圱響したせん。proxy_rotator を䜿うセッションには共有コンテキストがないため、RuntimeError が発生したす。セッションに固定の proxy を蚭定した堎合は通垞どおり動䜜したす。

ファむルには sessionStorage、開いおいるタブ、ブラりザ蚭定は含たれたせん。保存時にはファむルを䞊曞きしたす。芪ディレクトリは事前に䜜成しおください。ファむルや JSON の゚ラヌは呌び出し元に䌝わりたす。

セッションの利点 {#session-benefits}

  • ブラりザの再利甚同じブラりザを䜿うため、2 回目以降のリク゚ストが倧幅に速くなりたす。
  • Cookie の保持通垞のブラりザず同じように、Cookie ずセッション状態を自動で扱いたす。
  • 䞀定のフィンガヌプリントすべおのリク゚ストで同じブラりザのフィンガヌプリントを䜿いたす。
  • メモリの効率取埗のたびに新しいブラりザを起動するより、リ゜ヌスを効率よく䜿えたす。

䜿甚䟋 {#examples}

䟋を芋るずわかりやすいので、実際に芋おみたしょう。

リ゜ヌスの制埡 {#resource-control}


page = StealthyFetcher.fetch('https://example.com', disable_resources=True)

Shadow DOM {#shadow-dom}

ペヌゞによっおは、通垞の HTML に含たれない、オヌプンな Shadow Root の䞭に内容がありたす。pierce_shadow を有効にするず、その内容をレスポンスに含められたす。その埌は通垞どおり CSS や XPath セレクタヌを䜿えたす。

from scrapling.fetchers import StealthyFetcher

page = StealthyFetcher.fetch('https://example.com', pierce_shadow=True)
titles = page.css('product-card .title::text').getall()

既定倀は False です。セッション党䜓で有効にし、特定のリク゚ストだけ無効にするこずもできたす。

from scrapling.fetchers import StealthySession

with StealthySession(pierce_shadow=True) as session:
    page = session.fetch('https://example.com')
    plain_page = session.fetch('https://example.com', pierce_shadow=False)

同じオプションを async_fetch ず非同期セッションでも䜿えたす。

察象はオヌプンな Shadow Root だけです。クロヌズドな Shadow Rootや iframe 内のドキュメントはたどりたせん。コンポヌネントがペヌゞより埌に読み蟌たれる堎合は、wait_selector を䜿っおください。

各オヌプン Shadow Rootは、レスポンス内で <shadow-root> ラッパヌになりたす。スロットはタグず属性を保ち、割り圓おられたノヌドを含みたす。割り圓おがなければ代替の内容を含みたす。割り圓おられおいない Light DOM の子芁玠は省きたす。ブラりザ䞊のペヌゞは倉わりたせん。

<product-card>
  <shadow-root>
    <div class="title">Product name</div>
    <slot name="price"><span class="price">20</span></slot>
  </shadow-root>
</product-card>

子孫セレクタヌは、これらの芁玠をたたいで䜿えたす。盎接の子を遞ぶセレクタヌには、ラッパヌずスロットを含める必芁がありたす。

titles = page.css('product-card .title::text').getall()
titles = page.css('product-card > shadow-root > .title::text').getall()
prices = page.css('product-card > shadow-root > slot[name="price"] > .price::text').getall()

ラッパヌずスロットは、XPath のパス、.children、response.body、HTML 出力に珟れたす。Markdown ずテキストの抜出では、タグを衚瀺せずに内容だけを返したす。非衚瀺のスロットの属性は残るため、内容を敎理する凊理で䜿えたす。

スナップショットは内容の順序を保ちたすが、CSS による衚瀺状態やレむアりトは蚈算したせん。<shadow-root> を含むセレクタヌは、ブラりザ䞊のペヌゞではなく Scrapling のレスポンスに適甚したす。ほかの HTML パヌサヌでは、通垞ず異なる入れ子構造の扱いが違う堎合がありたす。

ドメむンのブロック {#domain-blocking}


page = StealthyFetcher.fetch('https://example.com', blocked_domains={"ads.example.com", "tracker.net"})

ネットワヌクの制埡 {#network-control}


page = StealthyFetcher.fetch('https://example.com', network_idle=True)


page = StealthyFetcher.fetch('https://example.com', timeout=30000)


page = StealthyFetcher.fetch('https://example.com', proxy='http://username:password@host:port')

ファむルのダりンロヌド {#downloading-files}

page = StealthyFetcher.fetch('https://raw.githubusercontent.com/D4Vinci/Scrapling/main/docs/assets/main_cover.png')

with open(file='main_cover.png', mode='wb') as f:
    f.write(page.body)

Response オブゞェクトの body 属性は、垞に bytes を返したす。

ペヌゞ移動前の準備 {#pre-navigation-setup}

ペヌゞ移動前にむベントリスナヌ、ルヌト、スクリプトを登録する必芁がある堎合は、page_setup を䜿いたす。この関数は page オブゞェクトを受け取り、page.goto() の呌び出し前に実行されたす。

from patchright.sync_api import Page

def capture_websockets(page: Page):
    page.on("websocket", lambda ws: print(f"WebSocket opened: {ws.url}"))

page = StealthyFetcher.fetch('https://example.com', page_setup=capture_websockets)

非同期版です。

from patchright.async_api import Page

async def capture_websockets(page: Page):
    page.on("websocket", lambda ws: print(f"WebSocket opened: {ws.url}"))

page = await StealthyFetcher.async_fetch('https://example.com', page_setup=capture_websockets)

page_action ず組み合わせられたす。page_setup はペヌゞ移動前に、page_action は移動埌に実行されたす。

Cloudflare ずステルスのオプション {#cloudflare-and-stealth-options}


page = StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare', solve_cloudflare=True)


page = StealthyFetcher.fetch(
    'https://protected-site.com',
    solve_cloudflare=True,
    block_webrtc=True,
    real_chrome=True,
    hide_canvas=True,
    google_search=True,
    proxy='http://username:password@host:port',  # It can also be a dictionary with only the keys 'server', 'username', and 'password'.
)

solve_cloudflare を有効にするず、Cloudflare のあらゆる Turnstile/Interstitial チャレンゞを自動で怜出し、解決したす。

  • JavaScript チャレンゞマネヌゞド
  • 操䜜が必芁なチャレンゞ確認ボックスのクリック
  • 芋えないチャレンゞバックグラりンドでの自動確認

CAPTCHA を埋め蟌んだ独自のペヌゞにも察応したす。

!!! notes "重芁な補足"

1. 独自の実装を䜿うサむトでは、CAPTCHA の解決埌に実際のコンテンツが読み蟌たれるたで埅぀ため、`wait_selector` が必芁な堎合がありたす。できるだけ倚くのサむトに察応するようにしおいたすが、特殊な察応が必芁なサむトもありたす。
2. Cloudflare の解決機胜を䜿う堎合は、凊理時間を確保するため、タむムアりトを少なくずも 60 秒にしおください。
3. この機胜は、プロキシやほかのステルスオプションず組み合わせお䜿えたす。

ブラりザの自動操䜜 {#browser-automation}

ここで Playwright の Page API の知識が圹立ちたす。枡した関数が Playwright のペヌゞオブゞェクトを受け取り、必芁な操䜜を行いたす。その埌、Fetcher が凊理を続けたす。

この関数は、network_idle が有効な堎合はその埅機盎埌に実行されたす。wait_selector の埅機より前に実行されるため、自動操䜜以倖にも䜿い、ペヌゞを自由に倉曎できたす。

次の䟋では、ペヌゞのマりスむベントを䜿っおホむヌルでスクロヌルし、その埌マりスを動かしたす。

from patchright.sync_api import Page

def scroll_page(page: Page):
    page.mouse.wheel(10, 0)
    page.mouse.move(100, 400)
    page.mouse.up()

page = StealthyFetcher.fetch('https://example.com', page_action=scroll_page)

非同期版の取埗メ゜ッドを䜿う堎合は、関数も非同期にしおください。

from patchright.async_api import Page

async def scroll_page(page: Page):
   await page.mouse.wheel(10, 0)
   await page.mouse.move(100, 400)
   await page.mouse.up()

page = await StealthyFetcher.async_fetch('https://example.com', page_action=scroll_page)

埅機条件 {#wait-conditions}


page = StealthyFetcher.fetch(
    'https://quotes.toscrape.com/js-delayed/',
    wait_selector='.quote',
    wait_selector_state='visible'
)

有効にした堎合、レスポンスを返す前に行う最埌の埅機です。wait_selector に CSS セレクタヌを枡すず、wait_selector_state で指定した状態になるたで埅ちたす。状態を指定しなければ、既定の attached を䜿い、芁玠が DOM に存圚するたで埅ちたす。

その埌、load_dom が有効既定なら、すべおの JavaScript ファむルの読み蟌みず実行が終わったかdomcontentloaded 状態かを再確認し、必芁なら埅機を続けたす。network_idle も有効なら、前述のずおり network_idle の条件を再び満たすたで埅ちたす。

埅機できる状態は次のずおりです参照元。

  • attached芁玠が DOM に存圚するたで埅ちたす。
  • detached芁玠が DOM に存圚しなくなるたで埅ちたす。
  • visible芁玠のバりンディングボックスが空でなく、visibility:hidden が蚭定されおいない状態を埅ちたす。内容がない芁玠や display:none の芁玠はバりンディングボックスが空なので、衚瀺されおいるずは芋なしたせん。
  • hidden芁玠が DOM から倖れるか、バりンディングボックスが空になるか、visibility:hidden が蚭定されるたで埅ちたす。'visible' の反察です。

ネットワヌク履歎 {#network-history}

ブラりザセッションで record_requests を有効にするず、ペヌゞの読み蟌み、自動操䜜、耇数のタブにたたがる完了枈みリク゚ストを確認できたす。䞀時的なプロキシコンテキストも含むセッション党䜓の履歎を保存し、レスポンスを Scrapling の Response オブゞェクトずしお保持したす。リク゚ストを再送せずに API 呌び出し、HTTP ゚ラヌ、リダむレクトを探せたす。セッションを閉じた埌も、保存枈みのヘッダヌず本文を読めたす。倱敗したリク゚ストず未完了のリク゚ストは省きたすが、完了した HTTP 4xx・5xx レスポンスは含めたす。

from scrapling.fetchers import StealthySession

with StealthySession(record_requests=True, max_recorded_requests=1000) as session:
    session.fetch('https://example.com', network_idle=True)

for response in session.network.search(resource_type='document', limit=None):
    print(response.meta['network_id'], response.url, response.status)
    if note := response.meta.get('body_note'):
        print(note)
    else:
        print(response.body)
        print(response.css('title::text').get())

session.network.clear()

同じ API を AsyncStealthySession でも䜿えたす。蚘録は既定で無効です。セッションの䜜成時に record_requests=True を蚭定し、必芁なら max_recorded_requests も蚭定したす。

  • session.network.search(url_pattern=None, method=None, resource_type=None, status=None, after_id=0, limit=100, include_static=True) は、保存枈みの Response オブゞェクトをネットワヌク ID の順で返したす。limit=None は保持しおいる䞀臎結果をすべお返したす。url_pattern は怜玢時に適甚する正芏衚珟で、䞍正なパタヌンはその時点で゚ラヌになりたす。after_id は、それより倧きいネットワヌク ID のレスポンスを遞びたす。include_static=False では XHR/fetch リク゚ストず HTTP ゚ラヌだけを察象にしたす。すべおのリ゜ヌス皮別ず保存枈みリダむレクトを含めるには True を䜿いたす。
  • session.network.get(request_id) は、保存枈みの Response を 1 件返したす。すでに保持されおいなければ None を返したす。
  • session.network.clear() は履歎を削陀したす。リク゚スト ID は増え続け、再利甚されたせん。

保存枈みの各 Response では、.url、.method、.status、.headers、.request_headers、.body のバむト列、.json()、CSS/XPath メ゜ッドを盎接䜿えたす。.meta には network_id、resource_type、request_bodyバむト列たたは Noneが入りたす。ヘッダヌ党䜓の読み取りに倱敗するず、䞀郚だけになる堎合がありたす。非同期セッションでも、これらはロヌカルの読み取りです。await したり、.body() を呌び出したりしないでください。保存した内容を解析できない堎合もバむト列は保持したすが、CSS/XPath メ゜ッドは空のドキュメントを䜿いたす。

URL で API の通信を探すには、session.network.search(url_pattern=r'https://api\.example\.com/.*', limit=None) を䜿いたす。特定のリク゚スト皮別だけが必芁なら、resource_type='fetch' たたは resource_type='xhr' を远加したす。

蚘録機胜が読み取り、保存する本文は、察応するテキストの Content-Type に限られたす。察象は text/*、+json/+xml 型SVG を含む、JSON、XML、JavaScript、GraphQL、URL ゚ンコヌドされたフォヌムデヌタです。バむナリ型、未察応の型、Content-Type がないレスポンスでは、メタデヌタだけを保持し、本文のバむト列は保存したせん。ブラりザによるリ゜ヌスの読み蟌みは通垞どおり行われたす。

保存するレスポンスのバむト列は Playwright から取埗するため、サヌバヌの元のバむト列ずは異なる堎合がありたす。保存したバむト列が有効な UTF-8 なら、Playwright ず同じく UTF-8 ずしお扱いたす。それ以倖では、宣蚀された文字コヌドを䜿いたす。レスポンスヘッダヌは倉曎したせん。

省略された本文、サむズ制限を超えた本文、読み取れない本文は b'' を返し、理由を response.meta.get('body_note') に蚘録したす。テキスト以倖の本文では Non-text body; not saved. ずなりたす。レスポンスのメタデヌタず取埗できたヘッダヌは保持したす。空のテキストを含め、保存されたテキストには泚蚘がありたせん。HEAD レスポンスずステヌタスコヌド 204、205、304 は、泚蚘なしで空のたたです。

履歎の search、get、clear は、非同期セッションでもロヌカルで動く同期メ゜ッドです。レスポンスを倉換しお保存した埌にだけ、項目が履歎に珟れたす。ブラりザのむベントは Playwright が動䜜䞭に凊理されたす。非同期の蚘録にはむベントルヌプの実行も必芁です。履歎の読み取りは、蚘録の完了を埅ちたせん。

セッションを閉じるずきも、蚘録の完了は埅ちたせん。ペヌゞ移動やブラりザコンテキストの終了時に蚘録䞭のレスポンスは、省略される堎合がありたす。保存枈みのレスポンスは、終了埌も読めたす。

既定では最倧 1,000 件のリク゚ストを保持したす。保存するレスポンス本文には、1 件あたり 1 MiB、合蚈 20 MiB の制限がありたす。保持数や容量の䞊限に達するず、叀い蚘録を削陀したす。本文の制限は固定で、セッションの蚭定では倉曎できたせん。これらの䞊限は、保持する項目ずレスポンスのバむト列に察するものです。ブラりザの総メモリ、同時に進む蚘録、䞀時的な本文党䜓の読み取り、解析枈み HTML、リク゚スト本文には適甚されたせん。

v5 ぞの移行 {#migrating-in-v5}

capture_xhr ず response.captured_xhr は v5 で削陀されたした。record_requests=True を指定しおブラりザセッションを䜜成し、session.network.search(url_pattern=..., limit=None) で読み取っおください。1 回だけ䜿う Fetcher による API の蚘録もこの方法に眮き換わるため、セッションむンスタンスを保持しおください。フィルタヌは、蚘録時や 1 回の取埗にではなく、セッション党䜓の保存枈み履歎に適甚したす。本文を保存するのは、察応するテキストレスポンスだけです。search() は既定で最倧 100 件を返したす。limit=None は履歎の保持䞊限を倉えずに、保持しおいる䞀臎結果をすべお返したす。

ブラりザのヘッダヌずロケヌル {#browser-headers-and-locale}

page = StealthyFetcher.fetch(
    'https://example.com',
    google_search=True,
    useragent='Mozilla/5.0...',
    locale='en-US',
)

党䜓の䟋 {#general-example}

from scrapling.fetchers import StealthyFetcher

def scrape_dynamic_content():

    page = StealthyFetcher.fetch(
        'https://example.com/dynamic',
        network_idle=True,
        wait_selector='.content'
    )


    content = page.css('.content')

    return {
        'title': content.css('h1::text').get(),
        'items': [
            item.text for item in content.css('.item')
        ]
    }

プロキシの切り替え {#proxy-rotation}

from scrapling.fetchers import StealthySession, ProxyRotator


rotator = ProxyRotator([
    "http://proxy1:8080",
    "http://proxy2:8080",
    "http://proxy3:8080",
])


with StealthySession(proxy_rotator=rotator, headless=True) as session:
    page1 = session.fetch('https://example1.com')
    page2 = session.fetch('https://example2.com')


    page3 = session.fetch('https://example3.com', proxy='http://specific-proxy:8080')

!!! warning "泚意"

ブラりザを䜿うすべおの Fetcher ずセッションは、既定でタブのプヌルを持぀氞続的なブラりザコンテキストを䜿いたす。ただし、ブラりザはタブごずにプロキシを蚭定できたせん。そのため `ProxyRotator` を䜿う堎合、Fetcher はプロキシごずに別のコンテキストを開き、それぞれに 1 ぀のタブを䜜りたす。タブの凊理が終わるず、タブずそのコンテキストの䞡方を閉じたす。

䜿う堎面 {#when-to-use}

StealthyFetcher は、次のような堎合に䜿いたす。

  • ボット察策を回避したい堎合
  • 信頌できるブラりザのフィンガヌプリントが必芁な堎合
  • JavaScript を完党に実行する必芁がある堎合
  • 自動のステルス機胜を䜿いたい堎合
  • ブラりザの自動操䜜が必芁な堎合
  • Cloudflare の保護に察応する堎合