๐ท๏ธ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev
title: "StealthyFetcher๋ก JavaScript ์ฌ์ดํธ ์คํฌ๋ํํ๊ธฐ" description: "Scrapling ๋ธ๋ผ์ฐ์ ์ธ์ ์ผ๋ก ํ์ด์ง๋ฅผ ๋ ๋๋งํ๊ณ ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ค๋ฆฌ๋ฉฐ ๋ก๊ทธ์ธ ์ํ์ ๋ฐฑ๊ทธ๋ผ์ด๋ API ์๋ต์ ํ์ฉํ์ธ์. ํ๋ก์์ ๋ณด์ ๊ฒ์ฌ ์ฒ๋ฆฌ๋ ์ค์ ํ ์ ์์ต๋๋ค."
StealthyFetcher๋ก ๋ธ๋ผ์ฐ์ ์์ ๊ฐ์ ธ์ค๊ธฐ {#browser-fetching-with-stealthyfetcher}
StealthyFetcher๋ JavaScript ํ์ด์ง๋ฅผ ๋ก๋ํ๊ณ ๋ด ์ฐจ๋จ ์ฐํ ๊ธฐ๋ฅ์ผ๋ก Chromium์ด๋ Google Chrome์ ์๋ํํฉ๋๋ค. ํ์ง๋ฅผ ํผํ๋๋ก ์์ ํ Playwright API๋ฅผ ์ฌ์ฉํฉ๋๋ค.
๋ค์์ ์ค๋ช ํ ํ์ด์ง ์๋ํ์๋ Playwright์ Page API์ ๋ํ ๊ธฐ๋ณธ ์ง์์ด ํ์ํฉ๋๋ค.
!!! success "์ฌ์ ์ค๋น"
1. [Fetcher ๊ธฐ์ด](../fetching/choosing.md)๋ฅผ ์ฝ๊ณ [Response ๊ฐ์ฒด](../fetching/choosing.md#response-object)์ Fetcher๋ฅผ ๊ณ ๋ฅด๋ ๋ฐฉ๋ฒ์ ์์๋์ธ์.
2. [์์ ์ฐพ๊ธฐ](../parsing/selection.md)๋ฅผ ์ฝ๊ณ [Selector](../parsing/main_classes.md#selector)/[Response](../fetching/choosing.md#response-object)์์ ์์๋ฅผ ์ฐพ๊ณ ์ถ์ถํ๋ ๋ฐฉ๋ฒ์ ์์๋์ธ์.
3. [์ฃผ์ ํด๋์ค](../parsing/main_classes.md)๋ฅผ ์ฝ๊ณ [Response](../fetching/choosing.md#response-object)๊ฐ [Selector](../parsing/main_classes.md#selector)์์ ์์ํ๋ ์์ฑ๊ณผ ๋ฉ์๋๋ฅผ ์์๋์ธ์.
๊ธฐ๋ณธ ์ฌ์ฉ๋ฒ {#basic-usage}
์ด Fetcher๋ฅผ ๊ฐ์ ธ์ค๋ ๊ธฐ๋ณธ ๋ฐฉ๋ฒ์ ๋ค๋ฅธ Fetcher์ ๊ฐ์ต๋๋ค.
from scrapling.fetchers import StealthyFetcher
ํ์ ์ค์ ๋ฐฉ๋ฒ์ ์ฌ๊ธฐ๋ฅผ ์ฐธ๊ณ ํ์ธ์.
์ด์ ์ฃผ์ ์ธ์๋ฅผ ์์ ์ ํจ๊ป ํ๋์ฉ ์ดํด๋ณด๊ฒ ์ต๋๋ค. ์ ์ฒด ์ธ์๋ฅผ ๋น ๋ฅด๊ฒ ํ์ธํ๋ ค๋ฉด ํ๋ก ๋ฐ๋ก ์ด๋ํ์ธ์.
!!! abstract "์์ฝ"
`fetch`์ ๋น๋๊ธฐ ๋ฒ์ ์ `async_fetch`์
๋๋ค.
ํ์ฌ ์ด Fetcher์๋ ์ธ ๊ฐ์ง ์ฃผ์ ์คํ ๋ฐฉ๋ฒ์ด ์์ผ๋ฉฐ ํ์์ ๋ฐ๋ผ ํจ๊ป ์ฌ์ฉํ ์ ์์ต๋๋ค.
๋ค์ ๋ฐฉ๋ฒ์ ์ ๊ณตํฉ๋๋ค.
1. ํจ๊ป ์ ๊ณต๋๋ Chromium {#1-bundled-chromium}
StealthyFetcher.fetch('https://example.com')
๊ธฐ๋ณธ ์คํ ์ค ์ค์ ์ผ๋ก ํจ๊ป ์ ๊ณต๋๋ Chromium์ ์ด๊ณ ํ์ด์ง๋ฅผ ๋ก๋ํฉ๋๋ค.
2. ์ค์น๋ Chrome {#2-real-chrome}
StealthyFetcher.fetch('https://example.com', real_chrome=True)
Google Chrome์ด ์ค์น๋์ด ์๋ค๋ฉด ์ด ์ต์ ์ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์ฒซ ๋ฒ์งธ ๋ฐฉ๋ฒ๊ณผ ๊ฐ์ง๋ง Chromium ๋์ ๊ธฐ๊ธฐ์ ์ค์น๋ Google Chrome์ ์ฌ์ฉํฉ๋๋ค. ์์ฒญ์ด ์ผ๋ฐ ๋ธ๋ผ์ฐ์ ์ ์์ฒญ์ ๋ ๊ฐ๊น์์ ธ ํ์ง๋ ๊ฐ๋ฅ์ฑ์ด ์ค์ด๋ญ๋๋ค.
Google Chrome์ ์์ง ์ค์นํ์ง ์์๋ค๋ฉด ์ง์ ์ค์นํ๋ ๋์ ๋ค์ ๋ช ๋ น์ผ๋ก ๋ผ์ด๋ธ๋ฌ๋ฆฌ์์ ์ฌ์ฉํ Chrome์ ์ค์นํ ์ ์์ต๋๋ค.
playwright install chrome
3. CDP ์ฐ๊ฒฐ {#3-cdp-connection}
StealthyFetcher.fetch('https://example.com', cdp_url='ws://localhost:9222')
๋ก์ปฌ์์ Chromium์ด๋ Google Chrome์ ์คํํ๋ ๋์ Chrome DevTools Protocol๋ก ์๊ฒฉ ๋ธ๋ผ์ฐ์ ์ ์ฐ๊ฒฐํ ์ ์์ต๋๋ค.
URL์ ๋ธ๋ผ์ฐ์ ์๋น์ค๊ฐ ์ ๊ณตํ๋ WebSocket ์ฃผ์(ws:///wss://)๋ ๋ธ๋ผ์ฐ์ ์ HTTP ์ฃผ์(์: http://localhost:9222)์ผ ์ ์์ต๋๋ค.
์ด๋ค ๊ธฐ๋ฅ์ด ์๋์? {#what-does-it-do}
StealthyFetcher๋ ๋ค์๊ณผ ๊ฐ์ ๋ด ์ฐจ๋จ ์ฐํ ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค.
solve_cloudflare=True๋ก ๋ชจ๋ ์ข ๋ฅ์ Cloudflare Turnstile/Interstitial ๊ฒ์ฌ๋ฅผ ์๋์ผ๋ก ํต๊ณผํฉ๋๋ค.- CDP ๋ฐํ์๊ณผ WebRTC๋ฅผ ํตํ ์ ๋ณด ์ ์ถ์ ๋ง์ต๋๋ค.
- JavaScript ์คํ์ ๊ฒฉ๋ฆฌํ๊ณ ๋ง์ Playwright ์ง๋ฌธ์ ์ ๊ฑฐํ๋ฉฐ, ์๋ ค์ง ๋ด ํ๋์ ๋ฐ๋ฅธ ํ์ง๋ฅผ ํผํฉ๋๋ค.
- Canvas์ ๋ ธ์ด์ฆ๋ฅผ ์ถ๊ฐํด Canvas๋ฅผ ํตํ ์ง๋ฌธ ์์ง์ ๋ง์ต๋๋ค.
- ์ฐฝ ์๋ ๋ชจ๋๋ฅผ ํ์งํ๋ ์๋ ค์ง ๋ฐฉ๋ฒ์ ์๋์ผ๋ก ๋์ํฉ๋๋ค. ์๊ฐ๋ ๋ถ์ผ์น๋ฅผ ์ด์ฉํ ํ์ง๋ฅผ ๋ง๋ ์ต์ ๋ ์ ๊ณตํฉ๋๋ค.
- ๊ทธ ๋ฐ์๋ ๋ณดํธ ๊ธฐ๋ฅ์ ๋์ํ๋ ์ฌ๋ฌ ์ต์ ์ด ์์ต๋๋ค.
์ ์ฒด ์ธ์ ๋ชฉ๋ก {#full-list-of-arguments}
์ด Fetcher์ ์ธ์ ํด๋์ค์๋ ๋ค์ํ ์ต์ ์ด ์์ต๋๋ค. ์์ ๋ฅผ ๋ณด๊ธฐ ์ ์ ์ ์ฒด ์ธ์๋ฅผ ์ดํด๋ณด๊ฒ ์ต๋๋ค.
| ์ธ์ | ์ค๋ช | ์ ํ ์ฌํญ |
|---|---|---|
| url | ๋์ URL์ ๋๋ค. | โ |
| headless | True๋ ์ฐฝ์ ํ์ํ์ง ์๋ ๋ชจ๋(๊ธฐ๋ณธ๊ฐ)๋ก ์คํํ๊ณ , False๋ ์ฐฝ์ ํ์ํฉ๋๋ค. |
โ๏ธ |
| disable_resources | ๋ถํ์ํ ๋ฆฌ์์ค ์์ฒญ์ ๊ฑด๋๋ฐ์ด ์๋๋ฅผ ๋์
๋๋ค. ๋์ ํ์
์ font, image, media, beacon, object, imageset, texttrack, websocket, csp_report, stylesheet์
๋๋ค. |
โ๏ธ |
| cookies | ๋ค์ ์์ฒญ์ ์ฌ์ฉํ ์ฟ ํค๋ฅผ ์ค์ ํฉ๋๋ค. | โ๏ธ |
| useragent | ์ฌ์ฉํ User-Agent ๋ฌธ์์ด์ ๋๋ค. ์๋ตํ๋ฉด Fetcher๊ฐ ๊ฐ์ ๋ธ๋ผ์ฐ์ ์ ๋ฒ์ ์ ์ค์ User-Agent๋ฅผ ์์ฑํด ์ฌ์ฉํฉ๋๋ค. | โ๏ธ |
| network_idle | ์ต์ 500๋ฐ๋ฆฌ์ด ๋์ ๋คํธ์ํฌ ์ฐ๊ฒฐ์ด ์์ ๋๊น์ง ๊ธฐ๋ค๋ฆฝ๋๋ค. | โ๏ธ |
| load_dom | ๊ธฐ๋ณธ์ ์ผ๋ก ์ผ์ ธ ์์ต๋๋ค. ํ์ด์ง์ ๋ชจ๋ JavaScript๊ฐ ๋ก๋๋๊ณ ์คํ๋ ๋๊น์ง, ์ฆ domcontentloaded ์ํ๊ฐ ๋ ๋๊น์ง ๊ธฐ๋ค๋ฆฝ๋๋ค. |
โ๏ธ |
| pierce_shadow | open ๋ชจ๋์ Shadow DOM ๋ด์ฉ์ ์๋ต HTML์ ํฌํจํฉ๋๋ค. ๊ธฐ๋ณธ๊ฐ์ False์
๋๋ค. ์ธ์
์ ์ฒด์ ์ค์ ํ๊ฑฐ๋ ์์ฒญ๋ณ๋ก ๋ฎ์ด์ธ ์ ์์ต๋๋ค. |
โ๏ธ |
| timeout | ํ์ด์ง์ ๋ชจ๋ ์์ ๊ณผ ๋๊ธฐ์ ์ฌ์ฉํ๋ ์ ํ ์๊ฐ์ ๋๋ค. ๋จ์๋ ๋ฐ๋ฆฌ์ด์ด๋ฉฐ ๊ธฐ๋ณธ๊ฐ์ 30,000๋ฐ๋ฆฌ์ด(30์ด)์ ๋๋ค. | โ๏ธ |
| wait | ๋ชจ๋ ์ฒ๋ฆฌ๊ฐ ๋๋ ๋ค ํ์ด์ง๋ฅผ ๋ซ๊ณ Response๋ฅผ ๋ฐํํ๊ธฐ ์ ์ ๊ธฐ๋ค๋ฆฌ๋ ์๊ฐ์
๋๋ค. ๋จ์๋ ๋ฐ๋ฆฌ์ด์
๋๋ค. |
โ๏ธ |
| page_action | ์๋ํ์ฉ ํจ์์
๋๋ค. page ๊ฐ์ฒด๋ฅผ ๋ฐ๊ณ ํ์ด์ง ์ด๋ ํ ํ์ํ ์์
์ ์คํํฉ๋๋ค. |
โ๏ธ |
| page_setup | page ๊ฐ์ฒด๋ฅผ ๋ฐ๊ณ ํ์ด์ง ์ด๋ ์ ์ ์คํ๋๋ ํจ์์
๋๋ค. ํ์ด์ง ๋ก๋ ์ ์ ํ์ํ ์ด๋ฒคํธ ๋ฆฌ์ค๋๋ ๋ผ์ฐํธ๋ฅผ ๋ฑ๋กํ ๋ ์ฌ์ฉํฉ๋๋ค. |
โ๏ธ |
| wait_selector | ์ง์ ํ CSS ์ ํ์์ ์์๊ฐ ํน์ ์ํ๊ฐ ๋ ๋๊น์ง ๊ธฐ๋ค๋ฆฝ๋๋ค. | โ๏ธ |
| init_script | ์ด ์ธ์ ์ ๊ฐ ํ์ด์ง๊ฐ ์์ฑ๋ ๋ ์คํํ JavaScript ํ์ผ์ ์ ๋ ๊ฒฝ๋ก์ ๋๋ค. | โ๏ธ |
| wait_selector_state | wait_selector๋ก ์ง์ ํ ์์๊ฐ ์ด ์ํ๊ฐ ๋ ๋๊น์ง ๊ธฐ๋ค๋ฆฝ๋๋ค. ๊ธฐ๋ณธ ์ํ๋ attached์
๋๋ค. |
โ๏ธ |
| google_search | ๊ธฐ๋ณธ์ ์ผ๋ก ์ผ์ ธ ์์ต๋๋ค. Scrapling์ด Google Referer ํค๋๋ฅผ ์ค์ ํฉ๋๋ค. | โ๏ธ |
| extra_headers | ์์ฒญ์ ์ถ๊ฐํ ํค๋์ ๋์
๋๋ฆฌ์
๋๋ค. google_search์ ํจ๊ป ์ฌ์ฉํ๋ฉด ํด๋น ์ต์
์ Referer๊ฐ ์ฌ๊ธฐ์ ์ค์ ํ Referer๋ณด๋ค ์ฐ์ ํฉ๋๋ค. |
โ๏ธ |
| proxy | ์์ฒญ์ ์ฌ์ฉํ ํ๋ก์์ ๋๋ค. ๋ฌธ์์ด ๋๋ 'server', 'username', 'password' ํค๋ง ์๋ ๋์ ๋๋ฆฌ๋ฅผ ๋ฐ์ต๋๋ค. | โ๏ธ |
| real_chrome | ๊ธฐ๊ธฐ์ Chrome์ด ์ค์น๋์ด ์๋ค๋ฉด ์ด ์ต์ ์ ์ผ์ ํด๋น ๋ธ๋ผ์ฐ์ ๋ฅผ ์คํํ ์ ์์ต๋๋ค. | โ๏ธ |
| locale | en-GB, de-DE ๊ฐ์ ๋ก์บ์
๋๋ค. navigator.language, ์์ฒญ์ Accept-Language ํค๋, ์ซ์์ ๋ ์ง ํ์ ํ์์ ์ํฅ์ ์ค๋๋ค. ๊ธฐ๋ณธ๊ฐ์ ์์คํ
๋ก์บ์
๋๋ค. |
โ๏ธ |
| timezone_id | ๋ธ๋ผ์ฐ์ ์ ์๊ฐ๋๋ฅผ ๋ฐ๊ฟ๋๋ค. ๊ธฐ๋ณธ๊ฐ์ ์์คํ ์๊ฐ๋์ ๋๋ค. | โ๏ธ |
| cdp_url | ์ ๋ธ๋ผ์ฐ์ ๋ฅผ ์คํํ๋ ๋์ ์ด CDP URL์ ์ฐ๊ฒฐํด ๋ธ๋ผ์ฐ์ ๋ฅผ ์ ์ดํฉ๋๋ค. | โ๏ธ |
| user_data_dir | ์ฟ ํค์ ๋ก์ปฌ ์คํ ๋ฆฌ์ง ๊ฐ์ ๋ธ๋ผ์ฐ์ ์ธ์ ๋ฐ์ดํฐ๋ฅผ ์ ์ฅํ๋ ์ฌ์ฉ์ ๋ฐ์ดํฐ ๋๋ ํฐ๋ฆฌ์ ๋๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก ์์ ๋๋ ํฐ๋ฆฌ๋ฅผ ๋ง๋ญ๋๋ค. ์ธ์ ์์๋ง ์ฌ์ฉํ ์ ์์ต๋๋ค. | โ๏ธ |
| extra_flags | ๋ธ๋ผ์ฐ์ ์์ ์ ์ ๋ฌํ ์ถ๊ฐ ํ๋๊ทธ ๋ฆฌ์คํธ์ ๋๋ค. | โ๏ธ |
| solve_cloudflare | ์ผ๋ฉด ๋ชจ๋ ์ข
๋ฅ์ Cloudflare Turnstile/Interstitial ๊ฒ์ฌ๋ฅผ ํต๊ณผํ ๋ค ์๋ต์ ๋ฐํํฉ๋๋ค. ๊ธฐ๋ณธ๊ฐ์ False์
๋๋ค. |
โ๏ธ |
| block_webrtc | WebRTC์ ํ๋ก์ ์ค์ ์ ์ ์ฉํด ๋ก์ปฌ IP ์ฃผ์ ์ ์ถ์ ๋ง์ต๋๋ค. | โ๏ธ |
| hide_canvas | Canvas ์์ ์ ๋ฌด์์ ๋ ธ์ด์ฆ๋ฅผ ์ถ๊ฐํด ์ง๋ฌธ ์์ง์ ๋ง์ต๋๋ค. | โ๏ธ |
| allow_webgl | ๊ธฐ๋ณธ์ ์ผ๋ก ์ผ์ ธ ์์ต๋๋ค. ๋๋ฉด WebGL๊ณผ WebGL 2.0์ ๋ชจ๋ ์ฌ์ฉํ ์ ์์ต๋๋ค. ๋ง์ WAF๊ฐ WebGL ํ์ฑํ ์ฌ๋ถ๋ฅผ ํ์ธํ๋ฏ๋ก ๋๋ ๊ฒ์ ๊ถ์ฅํ์ง ์์ต๋๋ค. | โ๏ธ |
| additional_args | Playwright ์ปจํ ์คํธ์ ์ ๋ฌํ ์ถ๊ฐ ์ค์ ์ ๋๋ค. Scrapling์ ์ค์ ๋ณด๋ค ์ฐ์ ํฉ๋๋ค. | โ๏ธ |
| selector_config | ์ต์ข
Selector/Response ๊ฐ์ฒด๋ฅผ ๋ง๋ค ๋ ์ฌ์ฉํ ํ์ ์ค์ ๋์
๋๋ฆฌ์
๋๋ค. |
โ๏ธ |
| blocked_domains | ์์ฒญ์ ์ฐจ๋จํ ๋๋ฉ์ธ ์ด๋ฆ์ ์งํฉ์
๋๋ค. ํ์ ๋๋ฉ์ธ๋ ์ผ์นํฉ๋๋ค. ์๋ฅผ ๋ค์ด "example.com"์ "sub.example.com"๋ ์ฐจ๋จํฉ๋๋ค. |
โ๏ธ |
| block_ads | ์๋ ค์ง ๊ด๊ณ ๋ฐ ์ถ์ ๋๋ฉ์ธ ์ฝ 3,500๊ฐ์ ๋ํ ์์ฒญ์ ์ฐจ๋จํฉ๋๋ค. blocked_domains์ ํจ๊ป ์ฌ์ฉํ ์ ์์ต๋๋ค. |
โ๏ธ |
| dns_over_https | DNS ์ฟผ๋ฆฌ๋ฅผ Cloudflare DNS-over-HTTPS๋ก ๋ณด๋ด ํ๋ก์ ์ฌ์ฉ ์ DNS ์ ์ถ์ ๋ง์ต๋๋ค. | โ๏ธ |
| proxy_rotator | ์๋ ํ๋ก์ ์ํ์ ์ฌ์ฉํ ProxyRotator ๊ฐ์ฒด์
๋๋ค. proxy์ ํจ๊ป ์ฌ์ฉํ ์ ์์ต๋๋ค. |
โ๏ธ |
| retries | ์คํจํ ์์ฒญ์ ์ฌ์๋ ํ์์ ๋๋ค. ๊ธฐ๋ณธ๊ฐ์ 3์ ๋๋ค. | โ๏ธ |
| retry_delay | ์ฌ์๋ ์ฌ์ด์ ๊ธฐ๋ค๋ฆฌ๋ ์ด ๋จ์ ์๊ฐ์ ๋๋ค. ๊ธฐ๋ณธ๊ฐ์ 1์ ๋๋ค. | โ๏ธ |
| record_requests | ์๋ฃ๋ ์์ฒญ๊ณผ ์ ์ฅ๋ ์๋ต์ session.network์ ๋ณด๊ดํฉ๋๋ค. ์ธ์
์ ์ฉ์ด๋ฉฐ ๊ธฐ๋ณธ๊ฐ์ False์
๋๋ค. |
โ๏ธ |
| max_recorded_requests | ์ธ์ ๋ณ๋ก ๋ณด๊ดํ ์์ฒญ์ ์ต๋ ๊ฐ์์ ๋๋ค. ๊ธฐ๋ณธ๊ฐ์ 1,000์ ๋๋ค. ์ ์ฅํ๋ ๋ณธ๋ฌธ์๋ ๊ณ ์ ๋ ํฌ๊ธฐ ์ ํ๋ ์์ต๋๋ค. | โ๏ธ |
| executable_path | ํจ๊ป ์ ๊ณต๋๋ Chromium ๋์ ์ฌ์ฉํ ๋ธ๋ผ์ฐ์ ์คํ ํ์ผ์ ์ ๋ ๊ฒฝ๋ก์ ๋๋ค. ์ผ๋ฐ์ ์ด์ง ์์ ์ค์น๋ ์์ฒด ๋ธ๋ผ์ฐ์ ๋น๋์ ์ ์ฉํฉ๋๋ค. | โ๏ธ |
์ธ์
ํด๋์ค์์๋ ์ด ์ธ์๋ค์ ์ธ์
์ ์ฒด์ ์ค์ ํ ์ ์์ต๋๋ค. ํญ ๋จ์๋ก ์ ์ฉํ ์ ์๋ ๋ค์ ์ธ์๋ ์์ฒญ๋ง๋ค ๋ค๋ฅด๊ฒ ์ ๋ฌํ ์๋ ์์ต๋๋ค: google_search, timeout, wait, page_action, page_setup, extra_headers, disable_resources, wait_selector, wait_selector_state, network_idle, load_dom, pierce_shadow, solve_cloudflare, blocked_domains, proxy, selector_config.
!!! note "์ฐธ๊ณ "
1. ์ ํ
์คํธ์์ `disable_resources`๋ ์ผ๋ถ ์ฌ์ดํธ์ ์์ฒญ์ ์ฝ 25% ๋น ๋ฅด๊ฒ ํ์ต๋๋ค. ํ๋ก์ ์ฌ์ฉ๋๋ ์ค์ผ ์ ์์ต๋๋ค. ๋ค๋ง ์ผ๋ถ ์ฌ์ดํธ๋ ๋ก๋ฉ์ด ๋๋์ง ์์ ์ ์์ผ๋ ์ฃผ์ํ์ธ์.
2. `google_search`๋ ๋ชจ๋ ์์ฒญ์์ ๊ธฐ๋ณธ์ ์ผ๋ก ์ผ์ ธ ์์ผ๋ฉฐ Referer๋ฅผ `https://www.google.com/`์ผ๋ก ์ค์ ํฉ๋๋ค. `extra_headers`์ ํจ๊ป ์ฌ์ฉํ๋ฉด ๊ทธ๊ณณ์์ ์ค์ ํ Referer๋ณด๋ค ์ฐ์ ํฉ๋๋ค.
3. User-Agent๋ฅผ ์ง์ ํ์ง ์๊ณ ์ฐฝ ์๋ ๋ชจ๋๋ฅผ ์ผ๋ฉด Fetcher๊ฐ ๊ฐ์ ๋ธ๋ผ์ฐ์ ๋ฒ์ ์ ์ค์ User-Agent๋ฅผ ์์ฑํฉ๋๋ค. User-Agent๋ฅผ ์ง์ ํ์ง ์๊ณ ์ฐฝ ์๋ ๋ชจ๋๋ ์ผ์ง ์์๋ค๋ฉด ๋ธ๋ผ์ฐ์ ์ ๊ธฐ๋ณธ User-Agent๋ฅผ ์ฌ์ฉํฉ๋๋ค. ์ต์ ๋ฒ์ ์์๋ ์ผ๋ฐ ๋ธ๋ผ์ฐ์ ์ ๊ฐ์ ๊ฐ์
๋๋ค.
4. `init_script`๋ ๋ธ๋ผ์ฐ์ ์ปจํ
์คํธ์ ๋ฑ๋ก๋์ด ํ์ด์ง ์์ฑ ์ ์คํ๋ฉ๋๋ค. ์คํ
์ค ๋ชจ๋๋ ๊ธฐ๋ณธ์ ์ผ๋ก Patchright์ ๊ฒฉ๋ฆฌ๋ ์คํ ์ปจํ
์คํธ๋ฅผ ์ฌ์ฉํฉ๋๋ค. ์คํฌ๋ฆฝํธ๊ฐ `window`์ ๋ฃ์ ์ ์ญ ๊ฐ์ `page_action`์์ ์ฝ์ด์ผ ํ๋ค๋ฉด, ํด๋น ํจ์ ์์์ `page.evaluate(..., isolated_context=False)`๋ฅผ ํธ์ถํ์ธ์.
์ธ์ ๊ด๋ฆฌ {#session-management}
๊ฐ์ ์ค์ ์ผ๋ก ์ฌ๋ฌ ์์ฒญ์ ๋ณด๋ผ ๋์ ๋ธ๋ผ์ฐ์ ๋ฅผ ์ด์ด๋๋ ค๋ฉด StealthySession/AsyncStealthySession์ ์ฌ์ฉํ์ธ์. ์ด ํด๋์ค๋ค์ fetch์ ๊ฐ์ ์ธ์๋ฅผ ๋ฐ์ผ๋ฏ๋ก ์ธ์
์ ์ฒด๋ฅผ ์ค์ ํ ์ ์์ต๋๋ค.
from scrapling.fetchers import StealthySession
with StealthySession(
headless=True,
disable_resources=True,
real_chrome=True
) as session:
page1 = session.fetch('https://example1.com')
page2 = session.fetch('https://example2.com')
page3 = session.fetch('https://dynamic-site.com')
๋น๋๊ธฐ ์ธ์ ์ฌ์ฉ๋ฒ {#async-session-usage}
import asyncio
from scrapling.fetchers import AsyncStealthySession
async def scrape_multiple_sites():
async with AsyncStealthySession(
network_idle=True,
timeout=30000,
max_pages=3
) as session:
pages = await asyncio.gather(
session.fetch('https://spa-app1.com'),
session.fetch('https://spa-app2.com'),
session.fetch('https://dynamic-content.com')
)
return pages
max_pages๋ ์ฌ์ฌ์ฉํ ๋ธ๋ผ์ฐ์ ํญ ํ์ ํฌ๊ธฐ๋ฅผ ์ ํฉ๋๋ค. ๋์์ ์ด์ด๋ ์ ์๋ ํญ์ ์ต๋ ๊ฐ์์
๋๋ค. ์์ฒญ์ด ๋๋๋ ํญ์ ์ด์ด๋๋ฉฐ, ๊ฐ ์์ฒญ์์ ๋ค์ ์์
์ ํฉ๋๋ค.
- ์ฌ์ฉํ์ง ์๋ ํญ์ด ์์ผ๋ฉด ์ฌ์ฌ์ฉํฉ๋๋ค. ๊ฐ ์์ฒญ์ ํ ๋น๋ฐ์ ํญ์ ์์ฒด ์ค์ (
timeout,extra_headers,disable_resources,blocked_domains๋ฑ)์ ์ ์ฉํ๋ฏ๋ก ์ด์ ์์ฒญ์ ์ค์ ์ด ๋จ์ง ์์ต๋๋ค. - ๋น ํญ์ด ์๊ณ ์ด๋ฆฐ ํญ ์๊ฐ
max_pages๋ณด๋ค ์ ์ผ๋ฉด ์ ํญ์ ์ฝ๋๋ค. - ๊ทธ๋ ์ง ์์ผ๋ฉด 1์ด๋ณด๋ค ์งง์ ๊ฐ๊ฒฉ์ผ๋ก ๋น ํญ์ด ์๊ฒผ๋์ง ํ์ธํฉ๋๋ค. 60์ด๊ฐ ์ง๋๋ ์์ผ๋ฉด
TimeoutError๋ฅผ ๋ฐ์์ํต๋๋ค. ๋์ ์ฌ์ดํธ๊ฐ ์๋ตํ์ง ์์ ๋ ์ด๋ฐ ์ํฉ์ด ์๊ธธ ์ ์์ต๋๋ค.
์ค๋ฅ๊ฐ ๋ ํญ์ ๋ซ๊ณ ๊ต์ฒดํฉ๋๋ค. session.close_pages()๋ก ์ธ์ ๋ ๋ชจ๋ ํญ์ ๋ซ์ ์๋ ์์ต๋๋ค. ๋ค์ ์์ฒญ์ ์ ํญ์ ์ฝ๋๋ค.
์ด ๋ฐฉ์์ ๊ฐ์ ๋ธ๋ผ์ฐ์ ์์ ์ฌ๋ฌ URL์ ๋์์ ๊ฐ์ ธ์ฌ ์ ์์ด ๋ฆฌ์์ค๋ฅผ ๋ง์ด ์๋ผ๊ณ ๋น ๋ฅด๊ฒ ๋์ํฉ๋๋ค :)
ํญ์ ์ด์ด๋๋ฉด ๊ฐ์ ธ์จ ํ์ด์ง๊ฐ ๋ค์ ์์ฒญ๊น์ง ๋จ์ต๋๋ค. ๋ค์ ์์ฒญ์ page_setup์ ๋ค๋ฅธ ํ์ด์ง๋ก ์ด๋ํ๊ธฐ ์ ์ ๊ธฐ์กด ํ์ด์ง์์ ์คํ๋ฉ๋๋ค. ์ด๋ฅผ ์ด์ฉํด ์ฌ๋ฌ ์์ฒญ์ ๊ฑธ์น ์๋ํ๋ฅผ ์ฐ๊ฒฐํ ์ ์์ต๋๋ค.
0.3.2๋ถํฐ 0.4.14๊น์ง๋ ํญ์ ์ฌ์ฌ์ฉํ ๋ ์ด์ ์ค์ ์ด ๋จ๋ ๋ฌธ์ ๋ก ์์ฒญ๋ง๋ค ํญ์ ๋ซ์์ต๋๋ค. 0.4.15๋ถํฐ๋ ์ฌ์ฌ์ฉํ ๋๋ง๋ค ์ค์ ์ ์ด๊ธฐํํ๋ฏ๋ก ํญ์ ์ด์ด๋ก๋๋ค.
์ธ์ ์ํ ์ ์ฅ๊ณผ ๋ถ๋ฌ์ค๊ธฐ {#save-and-load-session-state}
save_state(path)๋ ์ฟ ํค, ๋ก์ปฌ ์คํ ๋ฆฌ์ง, IndexedDB๋ฅผ JSON ํ์ผ์ ์ ์ฅํฉ๋๋ค. load_state(path)๋ ๋ค๋ฅธ ์ธ์
์ ๋ณต์ํ๊ฑฐ๋ ํ์ฌ ์ธ์
์ ์ ์ฅ ์ํ๋ฅผ ๋ฐ๊ฟ๋๋ค. ๋ ๋ฉ์๋๋ ๋ฌธ์์ด ๋๋ pathlib.Path๋ฅผ ๋ฐ๊ณ None์ ๋ฐํํฉ๋๋ค. ํ์์ Playwright์ ์คํ ๋ฆฌ์ง ์ํ ํ์ผ๊ณผ ํธํ๋ฉ๋๋ค.
from scrapling.fetchers import StealthySession
with StealthySession() as session:
session.fetch('https://example.com')
session.save_state('state.json')
with StealthySession() as session:
session.load_state('state.json')
page = session.fetch('https://example.com')
๋ก๊ทธ์ธ์ด๋ ๋ค๋ฅธ ๋ธ๋ผ์ฐ์ ์์ ์ด ๋๋ ๋ค ์ ์ฅํ์ธ์. ๋ ๋ฉ์๋๋ ์คํ ์ค์ธ ์ธ์ ์์์ ์งํ ์ค์ธ ๋ชจ๋ ์์ฒญ์ด ๋๋ ๋ค ํธ์ถํด์ผ ํฉ๋๋ค. ๋ถ๋ฌ์ค๊ธฐ๋ ๊ธฐ์กด ์ฟ ํค, ๋ก์ปฌ ์คํ ๋ฆฌ์ง, IndexedDB๋ฅผ ๋ฐ๊ฟ๋๋ค. ๋ณต์ํ ๋ก๊ทธ์ธ ์ํ๋ฅผ ์ฌ์ฉํ๋ ค๋ฉด ํ์ด์ง๋ฅผ ๊ฐ์ ธ์ค๊ฑฐ๋ ์๋ก๊ณ ์นจํ์ธ์. ์ํ๋ฅผ ๋ถ๋ฌ์ค๋ ๊ฒ๋ง์ผ๋ก ๊ธฐ์กด ํญ์ด ์ด๋ํ์ง๋ ์์ต๋๋ค.
AsyncStealthySession์์๋ await๋ฅผ ์ฌ์ฉํฉ๋๋ค.
from scrapling.fetchers import AsyncStealthySession
async def restore_session():
async with AsyncStealthySession() as session:
await session.load_state('state.json')
page = await session.fetch('https://example.com')
await session.save_state('state.json')
return page
์ด ๋ฉ์๋๋ค์ ๊ณต์ ๋ธ๋ผ์ฐ์ ์ปจํ
์คํธ๋ง ์ ์ฅํ๊ณ ๋ณต์ํฉ๋๋ค. ์์ฒญ๋ณ ํ๋ก์์ ์์ ์ปจํ
์คํธ์๋ ์ํฅ์ ์ฃผ์ง ์์ต๋๋ค. proxy_rotator๋ฅผ ์ฌ์ฉํ๋ ์ธ์
์๋ ๊ณต์ ์ปจํ
์คํธ๊ฐ ์์ผ๋ฏ๋ก RuntimeError๊ฐ ๋ฐ์ํฉ๋๋ค. ๊ณ ์ ๋ ์ธ์
proxy๋ ํ์์ฒ๋ผ ์ฌ์ฉํ ์ ์์ต๋๋ค.
ํ์ผ์๋ sessionStorage, ์ด๋ฆฐ ํญ, ๋ธ๋ผ์ฐ์ ์ค์ ์ด ํฌํจ๋์ง ์์ต๋๋ค. ์ ์ฅํ๋ฉด ํ์ผ์ ๋ฎ์ด์ฐ๋ฉฐ, ์์ ๋๋ ํฐ๋ฆฌ๋ ๋ฏธ๋ฆฌ ์์ด์ผ ํฉ๋๋ค. ํ์ผ๊ณผ JSON ์ค๋ฅ๋ ํธ์ถํ ์ฝ๋์ ์ ๋ฌ๋ฉ๋๋ค.
์ธ์ ์ ์ฅ์ {#session-benefits}
- ๋ธ๋ผ์ฐ์ ์ฌ์ฌ์ฉ: ๊ฐ์ ๋ธ๋ผ์ฐ์ ๋ฅผ ์ฌ์ฉํ๋ฏ๋ก ์ดํ ์์ฒญ์ด ํจ์ฌ ๋น ๋ฆ ๋๋ค.
- ์ฟ ํค ์ ์ง: ์ผ๋ฐ ๋ธ๋ผ์ฐ์ ์ฒ๋ผ ์ฟ ํค์ ์ธ์ ์ํ๋ฅผ ์๋์ผ๋ก ๊ด๋ฆฌํฉ๋๋ค.
- ์ผ๊ด๋ ์ง๋ฌธ: ๋ชจ๋ ์์ฒญ์์ ๊ฐ์ ๋ธ๋ผ์ฐ์ ์ง๋ฌธ์ ์ฌ์ฉํฉ๋๋ค.
- ๋ฉ๋ชจ๋ฆฌ ํจ์จ: ์์ฒญ๋ง๋ค ์ ๋ธ๋ผ์ฐ์ ๋ฅผ ์คํํ๋ ๊ฒ๋ณด๋ค ๋ฆฌ์์ค๋ฅผ ์ ๊ฒ ์ฌ์ฉํฉ๋๋ค.
์์ {#examples}
์์ ๋ฅผ ๋ณด๋ฉด ๋ ์ฝ๊ฒ ์ดํดํ ์ ์์ต๋๋ค.
๋ฆฌ์์ค ์ ์ด {#resource-control}
page = StealthyFetcher.fetch('https://example.com', disable_resources=True)
Shadow DOM {#shadow-dom}
์ผ๋ถ ํ์ด์ง๋ ์ผ๋ฐ HTML์ ํฌํจ๋์ง ์๋ open ๋ชจ๋์ Shadow Root ์์ ๋ด์ฉ์ ์ ์ฅํฉ๋๋ค. pierce_shadow๋ฅผ ์ผ๋ฉด ์ด ๋ด์ฉ๋ ์๋ต์ ํฌํจ๋ฉ๋๋ค. ๊ทธ๋ค์ CSS๋ XPath ์ ํ์๋ฅผ ํ์์ฒ๋ผ ์ฌ์ฉํ๋ฉด ๋ฉ๋๋ค.
from scrapling.fetchers import StealthyFetcher
page = StealthyFetcher.fetch('https://example.com', pierce_shadow=True)
titles = page.css('product-card .title::text').getall()
๊ธฐ๋ณธ๊ฐ์ False์
๋๋ค. ์ธ์
์ ์ฒด์์ ์ผ๊ณ ํน์ ์์ฒญ์์๋ง ๋ ์๋ ์์ต๋๋ค.
from scrapling.fetchers import StealthySession
with StealthySession(pierce_shadow=True) as session:
page = session.fetch('https://example.com')
plain_page = session.fetch('https://example.com', pierce_shadow=False)
๊ฐ์ ์ต์
์ async_fetch์ ๋น๋๊ธฐ ์ธ์
์์๋ ์ฌ์ฉํ ์ ์์ต๋๋ค.
open ๋ชจ๋์ Shadow Root๋ง ํฌํจ๋ฉ๋๋ค. closed ๋ชจ๋์ ๋ฃจํธ์ iframe ๋ฌธ์๋ ํ์ํ์ง ์์ต๋๋ค. ์ปดํฌ๋ํธ๊ฐ ํ์ด์ง๋ณด๋ค ๋ฆ๊ฒ ๋ก๋๋๋ฉด wait_selector๋ฅผ ์ฌ์ฉํ์ธ์.
open ๋ชจ๋์ ๊ฐ ๋ฃจํธ๋ ์๋ต์์ <shadow-root> ๋ํผ๊ฐ ๋ฉ๋๋ค. ์ฌ๋กฏ์ ํ๊ทธ์ ์์ฑ์ ์ ์งํ๋ฉฐ ํ ๋น๋ ๋
ธ๋๋ฅผ ๋ด์ต๋๋ค. ํ ๋น๋ ๋
ธ๋๊ฐ ์์ผ๋ฉด ๋์ฒด ๋ด์ฉ์ ๋ด์ต๋๋ค. ํ ๋น๋์ง ์์ Light DOM ์์์ ์ ์ธ๋ฉ๋๋ค. ๋ธ๋ผ์ฐ์ ์ ์ค์ ํ์ด์ง๋ ๋ฐ๋์ง ์์ต๋๋ค.
<product-card>
<shadow-root>
<div class="title">Product name</div>
<slot name="price"><span class="price">20</span></slot>
</shadow-root>
</product-card>
ํ์ ์ ํ์๋ ์ด ์์๋ค์ ๊ฐ๋ก์ง๋ฌ ์ฌ์ฉํ ์ ์์ต๋๋ค. ๋ฐ๋ก ์๋ ์์์ ๊ณ ๋ฅด๋ ์ ํ์์๋ ๋ํผ์ ์ฌ๋กฏ๋ ํฌํจํด์ผ ํฉ๋๋ค.
titles = page.css('product-card .title::text').getall()
titles = page.css('product-card > shadow-root > .title::text').getall()
prices = page.css('product-card > shadow-root > slot[name="price"] > .price::text').getall()
๋ํผ์ ์ฌ๋กฏ์ XPath ๊ฒฝ๋ก, .children, response.body, HTML ๋ด๋ณด๋ด๊ธฐ์ ๋ํ๋ฉ๋๋ค. Markdown๊ณผ ํ
์คํธ ์ถ์ถ์ ํ๊ทธ ์์ด ๋ด์ฉ๋ง ๋ฐํํฉ๋๋ค. ์จ๊ฒจ์ง ์ฌ๋กฏ์ ์์ฑ๋ ๋จ์ ์์ผ๋ฏ๋ก ์ฝํ
์ธ ์ ๋ฆฌ ์์
์์ ์ฌ์ฉํ ์ ์์ต๋๋ค.
์ค๋
์ท์ ๋ด์ฉ์ ์์๋ฅผ ๋ฐ๋ฅด์ง๋ง CSS ํ์ ์ฌ๋ถ๋ ๋ ์ด์์์ ๊ณ์ฐํ์ง ์์ต๋๋ค. <shadow-root>๊ฐ ์๋ ์ ํ์๋ ์ค์ ๋ธ๋ผ์ฐ์ ํ์ด์ง๊ฐ ์๋๋ผ Scrapling ์๋ต์ ์ ์ฉํฉ๋๋ค. ๋ค๋ฅธ HTML ํ์๋ ํน์ดํ ์ค์ฒฉ ๊ตฌ์กฐ๋ฅผ ๋ค๋ฅด๊ฒ ์ฒ๋ฆฌํ ์ ์์ต๋๋ค.
๋๋ฉ์ธ ์ฐจ๋จ {#domain-blocking}
page = StealthyFetcher.fetch('https://example.com', blocked_domains={"ads.example.com", "tracker.net"})
๋คํธ์ํฌ ์ ์ด {#network-control}
page = StealthyFetcher.fetch('https://example.com', network_idle=True)
page = StealthyFetcher.fetch('https://example.com', timeout=30000)
page = StealthyFetcher.fetch('https://example.com', proxy='http://username:password@host:port')
ํ์ผ ๋ค์ด๋ก๋ {#downloading-files}
page = StealthyFetcher.fetch('https://raw.githubusercontent.com/D4Vinci/Scrapling/main/docs/assets/main_cover.png')
with open(file='main_cover.png', mode='wb') as f:
f.write(page.body)
Response ๊ฐ์ฒด์ body ์์ฑ์ ํญ์ bytes๋ฅผ ๋ฐํํฉ๋๋ค.
ํ์ด์ง ์ด๋ ์ ์ค์ {#pre-navigation-setup}
ํ์ด์ง ์ด๋ ์ ์ ์ด๋ฒคํธ ๋ฆฌ์ค๋, ๋ผ์ฐํธ, ์คํฌ๋ฆฝํธ๋ฅผ ๋ฑ๋กํด์ผ ํ๋ค๋ฉด page_setup์ ์ฌ์ฉํ์ธ์. ์ด ํจ์๋ page ๊ฐ์ฒด๋ฅผ ๋ฐ๊ณ page.goto() ํธ์ถ ์ ์ ์คํ๋ฉ๋๋ค.
from patchright.sync_api import Page
def capture_websockets(page: Page):
page.on("websocket", lambda ws: print(f"WebSocket opened: {ws.url}"))
page = StealthyFetcher.fetch('https://example.com', page_setup=capture_websockets)
๋น๋๊ธฐ ๋ฒ์ ์ ๋๋ค.
from patchright.async_api import Page
async def capture_websockets(page: Page):
page.on("websocket", lambda ws: print(f"WebSocket opened: {ws.url}"))
page = await StealthyFetcher.async_fetch('https://example.com', page_setup=capture_websockets)
page_action๊ณผ ํจ๊ป ์ฌ์ฉํ ์ ์์ต๋๋ค. page_setup์ ์ด๋ ์ ์, page_action์ ์ด๋ ํ์ ์คํ๋ฉ๋๋ค.
Cloudflare์ ์คํ ์ค ์ต์ {#cloudflare-and-stealth-options}
page = StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare', solve_cloudflare=True)
page = StealthyFetcher.fetch(
'https://protected-site.com',
solve_cloudflare=True,
block_webrtc=True,
real_chrome=True,
hide_canvas=True,
google_search=True,
proxy='http://username:password@host:port', # It can also be a dictionary with only the keys 'server', 'username', and 'password'.
)
solve_cloudflare๋ ๋ชจ๋ ์ข
๋ฅ์ Cloudflare Turnstile/Interstitial ๊ฒ์ฌ๋ฅผ ์๋์ผ๋ก ๊ฐ์งํ๊ณ ์ฒ๋ฆฌํฉ๋๋ค.
- JavaScript ๊ฒ์ฌ(managed).
- ํ์ธ ์์๋ฅผ ํด๋ฆญํ๋ ๋ํํ ๊ฒ์ฌ.
- ๋ฐฑ๊ทธ๋ผ์ด๋์์ ์๋์ผ๋ก ์ฒ๋ฆฌ๋๋ ๋ณด์ด์ง ์๋ ๊ฒ์ฌ.
CAPTCHA๊ฐ ํฌํจ๋ ์ฌ์ฉ์ ์ง์ ํ์ด์ง๋ ์ฒ๋ฆฌํฉ๋๋ค.
!!! notes "์ค์ํ ์ฐธ๊ณ ์ฌํญ"
1. ๋ณดํธ ๊ธฐ๋ฅ์ ์์ฒด์ ์ผ๋ก ๊ตฌํํ ์ฌ์ดํธ์์๋ CAPTCHA ์ฒ๋ฆฌ ํ ์ค์ ์ฝํ
์ธ ๊ฐ ๋ก๋๋ ๋๊น์ง ๊ธฐ๋ค๋ฆฌ๋๋ก `wait_selector`๋ฅผ ์จ์ผ ํ ์ ์์ต๋๋ค. ์ต๋ํ ์ฌ๋ฌ ์ฌ์ดํธ์์ ์๋ํ๋๋ก ๋ง๋ค๊ณ ์์ง๋ง, ๋งค์ฐ ํน์ดํ ์ฌ๋ก๋ ์์ต๋๋ค.
2. Cloudflare ์ฒ๋ฆฌ ๊ธฐ๋ฅ์ ์ฌ์ฉํ๋ค๋ฉด ์ถฉ๋ถํ ์ฒ๋ฆฌ ์๊ฐ์ ํ๋ณดํ๋๋ก ์ ํ ์๊ฐ์ ์ต์ 60์ด๋ก ์ค์ ํ์ธ์.
3. ์ด ๊ธฐ๋ฅ์ ํ๋ก์์ ๋ค๋ฅธ ์คํ
์ค ์ต์
๊ณผ ํจ๊ป ์ฌ์ฉํ ์ ์์ต๋๋ค.
๋ธ๋ผ์ฐ์ ์๋ํ {#browser-automation}
์ฌ๊ธฐ์ Playwright์ Page API ์ง์์ด ํ์ํฉ๋๋ค. ์ ๋ฌํ ํจ์๋ Playwright์ ํ์ด์ง ๊ฐ์ฒด๋ฅผ ๋ฐ์ ํ์ํ ์์ ์ ์ํํ๊ณ , ๊ทธ ๋ค์ Fetcher๊ฐ ์ฒ๋ฆฌ๋ฅผ ์ด์ด๊ฐ๋๋ค.
์ด ํจ์๋ network_idle์ด ์ผ์ ธ ์๋ค๋ฉด ๊ทธ ๋๊ธฐ๋ฅผ ๋ง์น ์งํ, wait_selector๋ฅผ ๊ธฐ๋ค๋ฆฌ๊ธฐ ์ ์ ์คํ๋ฉ๋๋ค. ์๋ํ ์ธ์ ์ฉ๋๋ก๋ ์ธ ์ ์์ผ๋ฉฐ ํ์ด์ง๋ฅผ ์ํ๋ ๋๋ก ๋ฐ๊ฟ ์ ์์ต๋๋ค.
๋ค์ ์์์๋ ํ์ด์ง์ ๋ง์ฐ์ค ์ด๋ฒคํธ๋ก ํ ์ ์คํฌ๋กคํ๊ณ ๋ง์ฐ์ค๋ฅผ ์์ง์ ๋๋ค.
from patchright.sync_api import Page
def scroll_page(page: Page):
page.mouse.wheel(10, 0)
page.mouse.move(100, 400)
page.mouse.up()
page = StealthyFetcher.fetch('https://example.com', page_action=scroll_page)
๋น๋๊ธฐ ๊ฐ์ ธ์ค๊ธฐ ๋ฉ์๋๋ฅผ ์ฌ์ฉํ๋ค๋ฉด ํจ์๋ ๋น๋๊ธฐ๋ก ์์ฑํด์ผ ํฉ๋๋ค.
from patchright.async_api import Page
async def scroll_page(page: Page):
await page.mouse.wheel(10, 0)
await page.mouse.move(100, 400)
await page.mouse.up()
page = await StealthyFetcher.async_fetch('https://example.com', page_action=scroll_page)
๋๊ธฐ ์กฐ๊ฑด {#wait-conditions}
page = StealthyFetcher.fetch(
'https://quotes.toscrape.com/js-delayed/',
wait_selector='.quote',
wait_selector_state='visible'
)
์ด ์ต์
์ ์ผ๋ฉด ์๋ต์ ๋ฐํํ๊ธฐ ์ ์ ์ง์ ํ ์กฐ๊ฑด์ ๊ธฐ๋ค๋ฆฝ๋๋ค. wait_selector์ CSS ์ ํ์๋ฅผ ์ ๋ฌํ๋ฉด wait_selector_state๋ก ์ง์ ํ ์ํ๊ฐ ๋ ๋๊น์ง ๊ธฐ๋ค๋ฆฝ๋๋ค. ์ํ๋ฅผ ์๋ตํ๋ฉด ๊ธฐ๋ณธ๊ฐ์ธ attached๋ฅผ ์ฌ์ฉํด ์์๊ฐ DOM์ ๋ํ๋ ๋๊น์ง ๊ธฐ๋ค๋ฆฝ๋๋ค.
๊ทธ ํ load_dom์ด ์ผ์ ธ ์๋ค๋ฉด(๊ธฐ๋ณธ๊ฐ), ๋ชจ๋ JavaScript ํ์ผ์ ๋ก๋์ ์คํ์ด ๋๋ฌ๋์ง, ์ฆ domcontentloaded ์ํ์ธ์ง ๋ค์ ํ์ธํ๊ณ ํ์ํ๋ฉด ๊ณ์ ๊ธฐ๋ค๋ฆฝ๋๋ค. network_idle๋ ์ผ์ ธ ์๋ค๋ฉด ์์ ์ค๋ช
ํ network_idle ์กฐ๊ฑด์ ๋ค์ ๊ธฐ๋ค๋ฆฝ๋๋ค.
๊ธฐ๋ค๋ฆด ์ ์๋ ์ํ๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค(์ถ์ฒ).
attached: ์์๊ฐ DOM์ ์์ ๋๊น์ง ๊ธฐ๋ค๋ฆฝ๋๋ค.detached: ์์๊ฐ DOM์ ์์ ๋๊น์ง ๊ธฐ๋ค๋ฆฝ๋๋ค.visible: ์์์ ๊ฒฝ๊ณ ์์๊ฐ ๋น์ด ์์ง ์๊ณvisibility:hidden์ด ์๋ ๋๊น์ง ๊ธฐ๋ค๋ฆฝ๋๋ค. ๋ด์ฉ์ด ์๊ฑฐ๋display:none์ธ ์์๋ ๊ฒฝ๊ณ ์์๊ฐ ๋น์ด ์์ผ๋ฏ๋ก ๋ณด์ด๋ ๊ฒ์ผ๋ก ๊ฐ์ฃผํ์ง ์์ต๋๋ค.hidden: ์์๊ฐ DOM์์ ์ ๊ฑฐ๋๊ฑฐ๋, ๊ฒฝ๊ณ ์์๊ฐ ๋น๊ฑฐ๋,visibility:hidden์ด ๋ ๋๊น์ง ๊ธฐ๋ค๋ฆฝ๋๋ค.'visible'์ ๋ฐ๋์ ๋๋ค.
๋คํธ์ํฌ ๊ธฐ๋ก {#network-history}
๋ธ๋ผ์ฐ์ ์ธ์
์์ record_requests๋ฅผ ์ผ๋ฉด ํ์ด์ง ๋ก๋ฉ, ์์
, ์ฌ๋ฌ ํญ์ ๊ฑธ์น ์๋ฃ๋ ์์ฒญ์ ํ์ธํ ์ ์์ต๋๋ค. ๊ธฐ๋ก์ ์์ ํ๋ก์ ์ปจํ
์คํธ๋ฅผ ํฌํจํ ์ธ์
์ ์ปจํ
์คํธ๋ฅผ ๋ค๋ฃจ๋ฉฐ ์๋ต์ Scrapling Response ๊ฐ์ฒด๋ก ์ ์ฅํฉ๋๋ค. ์์ฒญ์ ๋ค์ ๋ณด๋ด์ง ์๊ณ API ํธ์ถ, HTTP ์ค๋ฅ, ๋ฆฌ๋๋ ์
์ ์ฐพ์ ์ ์์ต๋๋ค. ์ ์ฅ๋ ํค๋์ ๋ณธ๋ฌธ์ ์ธ์
์ ๋ซ์ ๋ค์๋ ์ฝ์ ์ ์์ต๋๋ค. ์คํจํ๊ฑฐ๋ ๋๋์ง ์์ ์์ฒญ์ ์ ์ธํ์ง๋ง, ์๋ฃ๋ HTTP 4xx์ 5xx ์๋ต์ ํฌํจํฉ๋๋ค.
from scrapling.fetchers import StealthySession
with StealthySession(record_requests=True, max_recorded_requests=1000) as session:
session.fetch('https://example.com', network_idle=True)
for response in session.network.search(resource_type='document', limit=None):
print(response.meta['network_id'], response.url, response.status)
if note := response.meta.get('body_note'):
print(note)
else:
print(response.body)
print(response.css('title::text').get())
session.network.clear()
AsyncStealthySession์์๋ ๊ฐ์ API๋ฅผ ์ฌ์ฉํฉ๋๋ค. ๊ธฐ๋ก์ ๊ธฐ๋ณธ์ ์ผ๋ก ๊บผ์ ธ ์์ต๋๋ค. ์ธ์
์ ๋ง๋ค ๋ record_requests=True๋ฅผ ์ค์ ํ๊ณ , ํ์ํ๋ฉด max_recorded_requests๋ ์ง์ ํ์ธ์.
session.network.search(url_pattern=None, method=None, resource_type=None, status=None, after_id=0, limit=100, include_static=True)๋ ์ ์ฅ๋Response๋ฅผ ๋คํธ์ํฌ ID ์์๋ก ๋ฐํํฉ๋๋ค.limit=None์ ๋ณด๊ด ์ค์ธ ์ผ์น ๊ฒฐ๊ณผ๋ฅผ ๋ชจ๋ ๋ฐํํฉ๋๋ค.url_pattern์ ๊ฒ์ํ ๋ ์ ์ฉํ๋ ์ ๊ท์์ ๋๋ค. ์๋ชป๋ ํจํด์ ๊ทธ ์์ ์ ์ค๋ฅ๊ฐ ๋ฐ์ํฉ๋๋ค.after_id๋ ๋ ํฐ ๋คํธ์ํฌ ID๋ฅผ ๊ฐ์ง ์๋ต์ ์ ํํฉ๋๋ค.include_static=False๋ XHR/fetch ์์ฒญ๊ณผ HTTP ์ค๋ฅ๋ง ๋จ๊น๋๋ค. ๋ชจ๋ ๋ฆฌ์์ค ํ์ ๊ณผ ์ ์ฅ๋ ๋ฆฌ๋๋ ์ ์ ํฌํจํ๋ ค๋ฉดTrue๋ฅผ ์ฌ์ฉํ์ธ์.session.network.get(request_id)๋ ์ ์ฅ๋Responseํ๋๋ฅผ ๋ฐํํฉ๋๋ค. ๋๋ ๋ณด๊ดํ์ง ์์ผ๋ฉดNone์ ๋ฐํํฉ๋๋ค.session.network.clear()๋ ๊ธฐ๋ก์ ์ง์๋๋ค. ์์ฒญ ID๋ ๊ณ์ ์ฆ๊ฐํ๋ฉฐ ์ฌ์ฌ์ฉ๋์ง ์์ต๋๋ค.
์ ์ฅ๋ ๊ฐ Response์์ .url, .method, .status, .headers, .request_headers, .body ๋ฐ์ดํธ, .json(), CSS/XPath ๋ฉ์๋๋ฅผ ๋ฐ๋ก ์ฌ์ฉํ ์ ์์ต๋๋ค. .meta์๋ network_id, resource_type, request_body(๋ฐ์ดํธ ๋๋ None)๊ฐ ์์ต๋๋ค. ์ ์ฒด ํค๋๋ฅผ ์ฝ์ง ๋ชปํ๋ฉด ์ผ๋ถ๋ง ์ ๊ณต๋ ์ ์์ต๋๋ค. ๋น๋๊ธฐ ์ธ์
์์๋ ๋ก์ปฌ ์ฝ๊ธฐ ์์
์ด๋ฏ๋ก await๋ฅผ ์ฌ์ฉํ๊ฑฐ๋ .body()๋ฅผ ํธ์ถํ์ง ๋ง์ธ์. ์ ์ฅ๋ ๋ด์ฉ์ ํ์ฑํ ์ ์์ด๋ ๋ฐ์ดํธ๋ ์ ์งํ์ง๋ง, CSS/XPath ๋ฉ์๋๋ ๋น ๋ฌธ์๋ฅผ ์ฌ์ฉํฉ๋๋ค.
URL๋ก API ํธ๋ํฝ์ ์ฐพ์ผ๋ ค๋ฉด session.network.search(url_pattern=r'https://api\.example\.com/.*', limit=None)์ ์ฌ์ฉํ์ธ์. ํน์ ์์ฒญ ํ์
๋ง ํ์ํ๋ฉด resource_type='fetch' ๋๋ resource_type='xhr'๋ฅผ ์ถ๊ฐํ์ธ์.
๊ธฐ๋ก ๊ธฐ๋ฅ์ ์ง์ํ๋ ํ
์คํธ Content-Type์ ์๋ต ๋ณธ๋ฌธ๋ง ์ฝ๊ณ ์ ์ฅํฉ๋๋ค. ๋์์ text/*, +json/+xml ํ์
(SVG ํฌํจ), JSON, XML, JavaScript, GraphQL, URL ์ธ์ฝ๋ฉ๋ ํผ ๋ฐ์ดํฐ์
๋๋ค. ๋ฐ์ด๋๋ฆฌ๋ ์ ์ ์๋ ํ์
, Content-Type์ด ์๋ ์๋ต์ ๋ฉํ๋ฐ์ดํฐ๋ง ๋ณด๊ดํ๊ณ ๋ณธ๋ฌธ ๋ฐ์ดํธ๋ ์ ์ฅํ์ง ์์ต๋๋ค. ๋ธ๋ผ์ฐ์ ๋ ๋ฆฌ์์ค๋ฅผ ํ์์ฒ๋ผ ๋ก๋ํฉ๋๋ค.
์ ์ฅ๋ ์๋ต ๋ฐ์ดํธ๋ Playwright์์ ๊ฐ์ ธ์ค๋ฏ๋ก ์๋ฒ๊ฐ ๋ณด๋ธ ์๋ ๋ฐ์ดํธ์ ๋ค๋ฅผ ์ ์์ต๋๋ค. ์ ์ฅ๋ ๋ฐ์ดํธ๊ฐ ์ฌ๋ฐ๋ฅธ UTF-8์ด๋ฉด Playwright์ฒ๋ผ UTF-8๋ก ์ฒ๋ฆฌํฉ๋๋ค. ๊ทธ๋ ์ง ์์ผ๋ฉด ์๋ต์ ์ ์ธ๋ ๋ฌธ์ ์ธ์ฝ๋ฉ์ ์ฌ์ฉํฉ๋๋ค. ์๋ต ํค๋๋ ๋ฐ๊พธ์ง ์์ต๋๋ค.
๊ฑด๋๋ฐ์๊ฑฐ๋ ๋๋ฌด ํฌ๊ฑฐ๋ ์ฝ์ ์ ์๋ ๋ณธ๋ฌธ์ b''๋ฅผ ๋ฐํํ๊ณ , ์ด์ ๋ฅผ response.meta.get('body_note')์ ๋ฃ์ต๋๋ค. ํ
์คํธ๊ฐ ์๋๋ฉด Non-text body; not saved.๋ฅผ ์ฌ์ฉํฉ๋๋ค. ์๋ต ๋ฉํ๋ฐ์ดํฐ์ ์ฝ์ ์ ์๋ ํค๋๋ ์ ์งํฉ๋๋ค. ๋น ํ
์คํธ๋ฅผ ํฌํจํด ์ ์ฅ๋ ํ
์คํธ์๋ ๋ฉ๋ชจ๊ฐ ์์ต๋๋ค. HEAD ์๋ต๊ณผ ์ํ ์ฝ๋ 204, 205, 304๋ ๋ฉ๋ชจ ์์ด ๋น ์ํ๋ก ๋จ์ต๋๋ค.
๊ธฐ๋ก์ search, get, clear๋ ๋น๋๊ธฐ ์ธ์
์์๋ ๋ก์ปฌ ๋๊ธฐ ํธ์ถ์
๋๋ค. ์๋ต์ ๋ณํํ๊ณ ์ ์ฅํ ๋ค์๋ง ๊ธฐ๋ก์ด ๋ํ๋ฉ๋๋ค. ๋ธ๋ผ์ฐ์ ์ด๋ฒคํธ๋ Playwright๊ฐ ๋์ ์ค์ผ ๋ ์ฒ๋ฆฌ๋๋ฉฐ, ๋น๋๊ธฐ ๊ธฐ๋ก์๋ ์ด๋ฒคํธ ๋ฃจํ ์คํ๋ ํ์ํฉ๋๋ค. ๊ธฐ๋ก์ ์ฝ๋ ์์
์ ์์ง ์๋ฃ๋ฅผ ๊ธฐ๋ค๋ฆฌ์ง ์์ต๋๋ค.
์ธ์ ์ ๋ซ์ ๋๋ ์์ง ์๋ฃ๋ฅผ ๊ธฐ๋ค๋ฆฌ์ง ์์ต๋๋ค. ํ์ด์ง ์ด๋์ด๋ ๋ธ๋ผ์ฐ์ ์ปจํ ์คํธ ์ข ๋ฃ ์ ์์ง ์์ง ์ค์ธ ์๋ต์ ์ ์ธ๋ ์ ์์ต๋๋ค. ์ด๋ฏธ ์ ์ฅ๋ ์๋ต์ ์ข ๋ฃ ํ์๋ ์ฝ์ ์ ์์ต๋๋ค.
๊ธฐ๋ณธ์ ์ผ๋ก ์ต๋ 1,000๊ฐ์ ์์ฒญ์ ๋ณด๊ดํฉ๋๋ค. ์ ์ฅ๋ ์๋ต ๋ณธ๋ฌธ์ ๊ฐ๊ฐ 1 MiB, ์ ์ฒด 20 MiB๋ก ์ ํ๋ฉ๋๋ค. ๋ณด๊ด ํ๋์ ๋๋ฌํ๋ฉด ์ค๋๋ ๊ธฐ๋ก์ ์ ๊ฑฐํฉ๋๋ค. ๋ณธ๋ฌธ ํฌ๊ธฐ ์ ํ์ ๊ณ ์ ๊ฐ์ด๋ฉฐ ์ธ์ ์ค์ ์ด ์๋๋๋ค. ์ด ์ ํ์ ์ ์ฅ๋ ํญ๋ชฉ๊ณผ ์๋ต ๋ฐ์ดํธ์๋ง ์ ์ฉํฉ๋๋ค. ๋ธ๋ผ์ฐ์ ์ ์ฒด ๋ฉ๋ชจ๋ฆฌ, ๋์ ์์ง, ์์ ์ ์ฒด ๋ณธ๋ฌธ ์ฝ๊ธฐ, ํ์ฑ๋ HTML, ์์ฒญ ๋ณธ๋ฌธ์๋ ์ ์ฉํ์ง ์์ต๋๋ค.
v5๋ก ์ด์ ํ๊ธฐ {#migrating-in-v5}
v5์์๋ capture_xhr์ response.captured_xhr๊ฐ ์ ๊ฑฐ๋์์ต๋๋ค. record_requests=True๋ก ๋ธ๋ผ์ฐ์ ์ธ์
์ ์ง์ ๋ง๋ค๊ณ session.network.search(url_pattern=..., limit=None)์ผ๋ก ์ฝ์ผ์ธ์. ์ผํ์ฉ Fetcher์ API ๊ธฐ๋ก๋ ์ด ๋ฐฉ์์ผ๋ก ๋์ฒดํ๋ฏ๋ก ์ธ์
๊ฐ์ฒด๋ฅผ ์ ์งํด์ผ ํฉ๋๋ค. ํํฐ๋ ์์ง ์์ ์ด๋ ํ ๋ฒ์ ๊ฐ์ ธ์ค๊ธฐ๊ฐ ์๋๋ผ ์ธ์
์ ์ฒด์ ์ ์ฅ ๊ธฐ๋ก์ ์ ์ฉํฉ๋๋ค. ์ง์ํ๋ ํ
์คํธ ์๋ต ๋ณธ๋ฌธ๋ง ์ ์ฅํฉ๋๋ค. search()๋ ๊ธฐ๋ณธ์ ์ผ๋ก ์ต๋ 100๊ฐ๋ฅผ ๋ฐํํฉ๋๋ค. limit=None์ ๊ธฐ๋ก์ ๋ณด๊ด ํ๋๋ฅผ ๋ฐ๊พธ์ง ์๊ณ ๋ณด๊ด ์ค์ธ ์ผ์น ๊ฒฐ๊ณผ๋ฅผ ๋ชจ๋ ๋ฐํํฉ๋๋ค.
๋ธ๋ผ์ฐ์ ํค๋์ ๋ก์บ {#browser-headers-and-locale}
page = StealthyFetcher.fetch(
'https://example.com',
google_search=True,
useragent='Mozilla/5.0...',
locale='en-US',
)
์ ์ฒด ์์ {#general-example}
from scrapling.fetchers import StealthyFetcher
def scrape_dynamic_content():
page = StealthyFetcher.fetch(
'https://example.com/dynamic',
network_idle=True,
wait_selector='.content'
)
content = page.css('.content')
return {
'title': content.css('h1::text').get(),
'items': [
item.text for item in content.css('.item')
]
}
ํ๋ก์ ์ํ {#proxy-rotation}
from scrapling.fetchers import StealthySession, ProxyRotator
rotator = ProxyRotator([
"http://proxy1:8080",
"http://proxy2:8080",
"http://proxy3:8080",
])
with StealthySession(proxy_rotator=rotator, headless=True) as session:
page1 = session.fetch('https://example1.com')
page2 = session.fetch('https://example2.com')
page3 = session.fetch('https://example3.com', proxy='http://specific-proxy:8080')
!!! warning "์ฃผ์"
๋ชจ๋ ๋ธ๋ผ์ฐ์ Fetcher์ ์ธ์
์ ๊ธฐ๋ณธ์ ์ผ๋ก ํญ ํ์ ๊ฐ์ง ์๊ตฌ ๋ธ๋ผ์ฐ์ ์ปจํ
์คํธ๋ฅผ ์ฌ์ฉํฉ๋๋ค. ํ์ง๋ง ๋ธ๋ผ์ฐ์ ๋ ํญ๋ณ๋ก ํ๋ก์๋ฅผ ์ค์ ํ ์ ์์ต๋๋ค. ๋ฐ๋ผ์ `ProxyRotator`๋ฅผ ์ฌ์ฉํ๋ฉด Fetcher๊ฐ ํ๋ก์๋ง๋ค ๋ณ๋ ์ปจํ
์คํธ๋ฅผ ์ด๊ณ ๊ฐ๊ฐ ํ๋์ ํญ์ ๋ง๋ญ๋๋ค. ํญ์ ์์
์ด ๋๋๋ฉด ํญ๊ณผ ์ปจํ
์คํธ๋ฅผ ๋ชจ๋ ๋ซ์ต๋๋ค.
์ธ์ ์ฌ์ฉํ๋์? {#when-to-use}
๋ค์ ๊ฒฝ์ฐ์๋ StealthyFetcher๋ฅผ ์ฌ์ฉํ์ธ์.
- ๋ด ์ฐจ๋จ์ ์ฐํํด์ผ ํ ๋.
- ์ ๋ขฐํ ์ ์๋ ๋ธ๋ผ์ฐ์ ์ง๋ฌธ์ด ํ์ํ ๋.
- JavaScript๋ฅผ ์์ ํ ์คํํด์ผ ํ ๋.
- ์๋ ์คํ ์ค ๊ธฐ๋ฅ์ด ํ์ํ ๋.
- ๋ธ๋ผ์ฐ์ ์๋ํ๊ฐ ํ์ํ ๋.
- Cloudflare ๋ณดํธ ๊ธฐ๋ฅ์ ๋์ํด์ผ ํ ๋.