๐ท๏ธ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev
title: "Scrapling ๋ณ๊ฒฝ ๊ธฐ๋ก" description: "์ ๊ธฐ๋ฅ, ์์ ์ฌํญ, ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ ์ฌํญ์ ๋ด์ Scrapling ๋ฆด๋ฆฌ์ค ๋ ธํธ์ ๋๋ค."
๋ณ๊ฒฝ ๊ธฐ๋ก {#changelog}
GitHub ๋ฆด๋ฆฌ์ค์์ ๊ฐ์ ธ์จ Scrapling์ ์ฃผ์ ๋ณ๊ฒฝ ์ฌํญ์ ๋ชจ๋ ๋ชจ์์ต๋๋ค.
v0.5 - 2026-10-17 {#v0.5}
Scrapling v0.5๋ ๊ฐ์ ธ์ค๊ธฐ, ํ์ฑ, ์คํ์ด๋, ๋ธ๋ผ์ฐ์ ์๋ํ, AI ๋๊ตฌ, 10๊ฐ ์ธ์ด๋ก ๋ ๋ฌธ์๊น์ง ๊ฑฐ์ ๋ชจ๋ ๋ถ๋ถ์ ๊ฐ์ ํ ๋ฆด๋ฆฌ์ค์ ๋๋ค ๐
!!! warning "์ฃผ์"
**์ด ๋ฆด๋ฆฌ์ค์๋ ์ฌ๊ธฐ์ ๋ชจ๋ ๋ด์ ์ ์์ ๋งํผ ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ ์ฌํญ์ด ๋ง์ต๋๋ค. ์
๋ฐ์ดํธ ์ ์ [v0.5 ๋ง์ด๊ทธ๋ ์ด์
๊ฐ์ด๋](migrating-to-v0.5.md)๋ฅผ ํ์ธํ์ธ์.**
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.5-new-stuff-and-quality-of-life-changes}
AI ์์ด์ ํธ๋ฅผ ์ํ MCP ์๋ฒ์ ๊ธฐ๋ฅ์ด ํฌ๊ฒ ๋์ด๋ ๊ฑฐ์ ๋ชจ๋ CAPTCHA๋ฅผ ํด๊ฒฐํ ์ ์์ต๋๋ค(๋ฌธ์ ์ฐธ๊ณ ):
- ๋ธ๋ผ์ฐ์ ์์ ์ ์ฒ์๋ถํฐ ๋๊น์ง ์คํํฉ๋๋ค. ํผ ์ ๋ ฅ, ํด๋ฆญ, ๋ง์ฐ์ค ์ฌ๋ฆฌ๊ธฐ, ์คํฌ๋กค, ํค๋ณด๋ ์ฌ์ฉ, ๋ํ ์์ ์ฒ๋ฆฌ, ๊ฒฐ๊ณผ ๋๊ธฐ๋ฅผ ์ง์ ํ ์์๋๋ก ์คํํฉ๋๋ค. ๋ค์ํ ์ ๋ ฅ ํ๋์ ๋๋ฆฐ ๋์์ ์ง์ํ๋ฉฐ, ์ฒซ ์ค๋ฅ๊ฐ ๋ฐ์ํ๋ฉด ์์ ์ ๋ฉ์ถฅ๋๋ค.
- ๋ค์ ๋ก๋ํ์ง ์๊ณ ํ์ฌ ํ์ด์ง๋ฅผ ์ฝ๊ณ ๊ฒ์ํฉ๋๋ค. ํ์ด์ง ์ ์ฒด๋ ์์ ํ๋์์ HTML, Markdown, ํ ์คํธ๋ฅผ ์ถ์ถํฉ๋๋ค. ๊ฒ์ ๊ฐ๋ฅํ ํ์ด์ง ์ค๋ ์ท์ ์์์ ์ญํ , ์ด๋ฆ, ์์น๋ฅผ ํ์ํ๋ฉฐ, ํน์ ๋ถ๋ถ๋ง ๋ณผ ๋๋ ์ฃผ๋ณ ๋งฅ๋ฝ์ ์ ์งํฉ๋๋ค.
- ์ฌ์ฉ์ ์ง์ JavaScript๋ฅผ ์คํํ๊ณ ์ํ๋ ๋ถ๋ถ์ ์บก์ฒํฉ๋๋ค. ํ์ด์ง ์์ฒด์ JavaScript์ ์ ๊ทผํด ๋น๋๊ธฐ ์์ ์ ํฌํจํ ์คํฌ๋ฆฝํธ๋ฅผ ์คํํฉ๋๋ค. ๊ฐ๋ณ ์์, ๋ทฐํฌํธ, ์ ์ฒด ํ์ด์ง๋ฅผ PNG๋ JPEG๋ก ์บก์ฒํ ์ ์์ต๋๋ค.
- ๋คํธ์ํฌ ํ๋์ ํ์ธํ๊ณ ๋ก๊ทธ์ธ ์ํ๋ฅผ ์ฌ์ฌ์ฉํฉ๋๋ค. ๊ธฐ๋ก๋ ์์ฒญ๊ณผ ์๋ต์ ์ดํด๋ณด๊ณ , ๋ธ๋ผ์ฐ์ ๋ก๊ทธ์ธ ์ํ๋ฅผ ์ ์ฅํ๊ณ ๋ณต์ํ๋ฉฐ, ์ด๋ฆฌ๊ฑฐ๋ ๋ซํ Shadow DOM ๋ด๋ถ์ ์์๋ฅผ ์กฐ์ํ ์ ์์ต๋๋ค. ๊ธฐ๋ก๋ ํต์ ์ ์ธ์ ์ ๋ซ๊ธฐ ์ ์ ์ฝ์ผ์ธ์.
- ํ ํฐ ์ฌ์ฉ์ ์ค์ด๊ณ ์ค๋ฅ๋ฅผ ๋ ๋ช ํํ ์ ๋ฌํฉ๋๋ค. ์งง์ ๋๊ตฌ ์ค๋ช ๊ณผ ๊ณตํต ์ง์นจ์ผ๋ก ๋ฐ๋ณต๋๋ ๋ด์ฉ์ ์ค์์ต๋๋ค. ๋ธ๋ผ์ฐ์ ๋ ์์ฒญ์ด ์คํจํ๋ฉด ์์ด์ ํธ์ ์ ์ฉํ ์ค๋ฅ ๋ฉ์์ง๋ฅผ ์ ๋ฌํฉ๋๋ค.
ํ์ด์ง ๋ค์์ ์ผ์ด๋๋ ์์ฒญ์ ๋ณผ ์ ์์ต๋๋ค.
record_requests=True๋ฅผ ์ผ๋ฉด ํ์ด์ง ๋ก๋, ๋์, ์ฌ๋ฌ ํญ์์ ์๋ฃ๋ ํต์ ์ ๊ธฐ๋กํฉ๋๋ค. ์์ฒญ์ ๋ค์ ๋ณด๋ด์ง ์๊ณ ์ ์ฅ๋ ์๋ต์ ํ์ธํ ์ ์์ต๋๋ค(๋ฌธ์ ์ฐธ๊ณ ).from scrapling.fetchers import StealthySession with StealthySession(record_requests=True) as session: session.fetch("https://example.com", network_idle=True) for response in session.network.search(url_pattern=r"/api/", limit=None): print(response.url, response.status, response.body)- URL, ๋ฉ์๋, ๋ฆฌ์์ค ์ ํ, ์ํ๋ก ํํฐ๋งํ๊ฑฐ๋ ID๋ก ์๋ต ํ๋๋ฅผ ๊ฐ์ ธ์ฌ ์ ์์ต๋๋ค. ๊ธฐ์กด
ResponseAPI๋ก ํค๋, ๋ณด๋ธ ๋ฐ์ดํฐ, API ์๋ต, HTTP ์ค๋ฅ, ๋ฆฌ๋๋ ์ ์ ํ์ธํฉ๋๋ค. - ์ง์๋๋ ํ ์คํธ ๋ณธ๋ฌธ์ ํฌ๊ธฐ ์ ํ ์์์ ๋ณด๊ดํฉ๋๋ค. ๋ฉํ๋ฐ์ดํฐ์ ๋ณธ๋ฌธ์ ์ ์ฅํ ์ ์์ ๋์ ์ด์ ๋ ๊ธฐ๋กํฉ๋๋ค. ๊ธฐ๋ณธ ํ๋๋ ์์ฒญ 1,000๊ฐ์ ๋๋ค. ๋๊ธฐ ๋ฐ ๋น๋๊ธฐ ์ธ์ ์ ์ง์ํ๋ฉฐ, ์ ์ฅ๋ Python ๊ธฐ๋ก์ ์ธ์ ์ ๋ซ์ ๋ค์๋ ์ฝ์ ์ ์์ต๋๋ค.
- URL, ๋ฉ์๋, ๋ฆฌ์์ค ์ ํ, ์ํ๋ก ํํฐ๋งํ๊ฑฐ๋ ID๋ก ์๋ต ํ๋๋ฅผ ๊ฐ์ ธ์ฌ ์ ์์ต๋๋ค. ๊ธฐ์กด
๋ก๊ทธ์ธ ์ํ๋ฅผ ํ ๋ฒ ์ ์ฅํ๊ณ ์ฌ๋ฌ ์คํ์์ ์ฌ์ฌ์ฉํฉ๋๋ค.
save_state(path)์load_state(path)๋ ์ฟ ํค, ๋ก์ปฌ ์คํ ๋ฆฌ์ง, IndexedDB๋ฅผ Playwright์ ํธํ๋๋ JSON์ผ๋ก ์ ์ฅํฉ๋๋ค. ๋๊ธฐ ๋ฐ ๋น๋๊ธฐ ๋ธ๋ผ์ฐ์ ์ธ์ ์์ ๋ชจ๋ ์ง์ํฉ๋๋ค(๋ฌธ์ ์ฐธ๊ณ ).- ํ์ด์ง๋ฅผ ๊ฐ์ ธ์ค๊ฑฐ๋ ๋ค์ ๋ก๋ํ๊ธฐ ์ ์ ์ํ๋ฅผ ๋ถ๋ฌ์ค์ธ์. ์์๋ ๊ณต์ ๋ธ๋ผ์ฐ์ ์ปจํ
์คํธ๊ฐ ํ์ํ๋ฉฐ
proxy_rotator๋ ์ฌ์ฉํ ์ ์์ต๋๋ค. ํญ, ๋ธ๋ผ์ฐ์ ์ค์ ,sessionStorage๋ ์ ์ฅํ์ง ์์ต๋๋ค.
- ํ์ด์ง๋ฅผ ๊ฐ์ ธ์ค๊ฑฐ๋ ๋ค์ ๋ก๋ํ๊ธฐ ์ ์ ์ํ๋ฅผ ๋ถ๋ฌ์ค์ธ์. ์์๋ ๊ณต์ ๋ธ๋ผ์ฐ์ ์ปจํ
์คํธ๊ฐ ํ์ํ๋ฉฐ
pierce_shadow=True๋ก ์ด๋ฆฐ Shadow DOM์ ์ถ์ถํ ์ ์์ต๋๋ค. ๊ทธ๋ค์ ํ์์ฒ๋ผ CSS๋ XPath๋ฅผ ์ฌ์ฉํ์ธ์. ๋ธ๋ผ์ฐ์ Fetcher, ์ธ์ , CLI์--pierce-shadow์ต์ ์์ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์ค์ ํ์ด์ง๋ฅผ ๋ฐ๊พธ์ง ์๊ณ ์ฌ๋กฏ ๋ด์ฉ์ ์ ์งํฉ๋๋ค. ์บก์ฒํ HTML์๋ ๋ซํ Shadow ๋ฃจํธ์ iframe ๋ฌธ์๊ฐ ํฌํจ๋์ง ์์ต๋๋ค(๋ฌธ์ ์ฐธ๊ณ ).์คํ์ด๋๊ฐ ์ฌ์ดํธ๋ฅผ ํ์ํ๋ ์์๋ฅผ ์ ํํ ์ ์์ต๋๋ค.
CrawlSpider์ContentSpider๋ฅผ ํฌํจํ ํ์ ํด๋์ค๋crawl_strategy="bfs"๋ก ๋จผ์ ๋ค์ด์จ ์์ฒญ๋ถํฐ,"dfs"๋ก ๋์ค์ ๋ค์ด์จ ์์ฒญ๋ถํฐ ์ฒ๋ฆฌํ๋๋ก ์์ฝํ ์ ์์ต๋๋ค. ์์ฒญ์ ์ฐ์ ์์๊ฐ ๊ณ์ ์ฐ์ ํ๋ฉฐ, ๋์์ ์ฒ๋ฆฌํ๋ ํ์ด์ง๋ ๋ค๋ฅธ ์์๋ก ์๋ฃ๋ ์ ์์ต๋๋ค(๋ฌธ์ ์ฐธ๊ณ ).
๐ ๋ฒ๊ทธ ์์ {#v0.5-bug-fixes}
Cloudflare ๊ฒ์ฌ ์ฒ๋ฆฌ๋ฅผ ๊ฐ์ ํ์ต๋๋ค. ๋ฆ๊ฒ ๋ํ๋๋ ์์ ฏ์ ๊ฐ์งํ๊ณ , ๋ถํ์ํ ๋๊ธฐ๋ฅผ ์ค์์ผ๋ฉฐ, ์๋ ์กฐ์์ด ํ์ ์๋ ๊ฒ์ฌ์ ์จ๊ฒจ์ง ํ๋ ์์ ์ฌ์๋ ํ์์ ์ ํ์ ๋์์ต๋๋ค(#468๊ณผ #509 ์์ ).
๊ด๋ฆฌ์ ๊ถํ์ผ๋ก ์คํํ Windows ์ ธ์์ ๋ธ๋ผ์ฐ์ ๊ฐ ์์๋์ง ์๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค(#463 ์์ ).
์ฌ์ฉ์ ์ง์ ๋ธ๋ผ์ฐ์ ํ๋๊ทธ๋ฅผ ์ถ๊ฐํ ๋๋ ๊ธฐ๋ณธ ์คํ ์ค ํ๋๊ทธ๋ฅผ ์ ์งํฉ๋๋ค. @alkaz-nodemaven์ #430 ๊ธฐ์ฌ์ ๋๋ค.
๋ธ๋ผ์ฐ์ ์๋ต์ ๋ฌธ์ ์งํฉ ํ์ฑ์ ๊ฐ์ ํ์ต๋๋ค. ๋์๋ฌธ์๊ฐ ๋ค๋ฅด๊ฑฐ๋ ๊ณต๋ฐฑ, ๋ฐ์ดํ๋ก ๊ฐ์ผ ๊ฐ์ด ์๋ ์ ์ธ๋ ์ง์ํฉ๋๋ค.
ํด๊ฒฐํ Cloudflare ๊ฒ์ฌ๊ฐ ์์ ๋, ๊ฒ์ฌ๊ฐ ์๋ค๋ ์ฌ์ค์ ์ค๋ฅ๋ก ๊ธฐ๋กํ์ง ์์ต๋๋ค(#459 ์์ ).
์์ฒญ ์ง๋ฌธ์ ์์ ํ์ต๋๋ค. ์ฟผ๋ฆฌ ๋งค๊ฐ๋ณ์๋ @yetval์ #448, ๋น์ด ์๊ฑฐ๋ ๊ฑฐ์ง์ผ๋ก ํ๊ฐ๋๋ JSON ๋ณธ๋ฌธ์ @ac1982์ #480, ํค๋ ์ฝ์ ์์๋ @SarwadnyaMahajan์ #466 ๊ธฐ์ฌ์ ๋๋ค.
๋งํฌ๋ฅผ ๋ฐ๋ผ๊ฐ ๋ ์ด์ ์์ฒญ์ ๋ฐ์ดํฐ๊ฐ ๋์ด๊ฐ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ๋จ์ ์๋ ๋ณธ๋ฌธ ๊ด๋ จ ํค๋๋ ํฌํจํฉ๋๋ค. @yetval์ #462 ๊ธฐ์ฌ์ ๋๋ค.
์ฐจ๋จ๋ ์๋ต์ด ์ฑ๊ณตํ ์๋ต์ผ๋ก ๊ฐ๋ฐ ์บ์์ ์ ์ฅ๋์ง ์๋๋ก ํ์ต๋๋ค. @Kuang-xianxin์ #446 ๊ธฐ์ฌ์ ๋๋ค.
์์ธ๋ก ํฌ๋กค๋ง์ด ์คํจํ๋ฉด ์ฒดํฌํฌ์ธํธ ํ์ผ์ ๋ณด์กดํฉ๋๋ค. @SulimanAbdulrazzaq์ #486 ๊ธฐ์ฌ์ ๋๋ค.
robots.txt ์กฐํ ์คํจ ์ฒ๋ฆฌ๋ฅผ ์์ ํ์ต๋๋ค. ์กฐํ์ ์คํจํ ๊ฒฐ๊ณผ๋ฅผ ํฌ๋กค๋ง ํ์ฉ์ผ๋ก ์บ์ํ์ง ์์ต๋๋ค. @prateekraawat1์ #443 ๊ธฐ์ฌ์ ๋๋ค.
๋ฒ์๋ฅผ ์ ํํ๋ ์ ํ์๋ฅผ ์ฌ์ฉํ ๋งํฌ ์ถ์ถ์ ์์ ํ์ต๋๋ค. ์ผ์นํ๋ ์์๊ฐ ์๊ฑฐ๋ ์ ํ์๊ฐ ๋งํฌ ์์ ์์ฒด๋ฅผ ๊ฐ๋ฆฌํค๋ ๊ฒฝ์ฐ๋ ์ฒ๋ฆฌํฉ๋๋ค. @SulimanAbdulrazzaq์ #452์ #483 ๊ธฐ์ฌ์ ๋๋ค.
์ฌ์ดํธ๋งต์ ์ฝ๋ฐฑ ์ฐ๊ฒฐ์ ์์ ํ์ต๋๋ค. @SulimanAbdulrazzaq์ #458 ๊ธฐ์ฌ์ ๋๋ค. ์ฃผ์์ด๋ ์ฒ๋ฆฌ ๋ช ๋ น์ด ํฌํจ๋ XML์ ํ์ฑ๋ ์์ ํ์ต๋๋ค. @sup3dev์ #450 ๊ธฐ์ฌ์ ๋๋ค.
robots.txt์ CSV ํผ๋์ ์์ ๋ถ๋ถ์ ์๋ ๋ฐ์ดํธ ์์ ํ์๋ฅผ ์ฒ๋ฆฌํฉ๋๋ค. @SulimanAbdulrazzaq์ #453 ๊ธฐ์ฌ์ ๋๋ค.
์คํ์ด๋ HTTP ์ธ์ ์์
stealthy_headers๋ฅผ ์ฒ๋ฆฌํ๋ ๋ฐฉ์์ ์์ ํ์ต๋๋ค. ์ต์ ์curl_cffi์ ์ง์ ์ ๋ฌํ์ง ์๊ณ ์ธ์ ์ ์ ๋ฌํฉ๋๋ค. @Yigtwxx์ #475 ๊ธฐ์ฌ์ ๋๋ค.๋์ ๋๋ฆฌ ํผ์์ ๋ฆฌ์คํธ์ ํํ ๊ฐ์ ์ธ์ฝ๋ฉํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ์์ฒญ ๋ณธ๋ฌธ์ ์ฐ์ ์์์ ๊ธฐ์กด
None์ฒ๋ฆฌ๋ ์ ์งํฉ๋๋ค. @SulimanAbdulrazzaq์ #485 ๊ธฐ์ฌ๋ฅผ ํฌํจํฉ๋๋ค.์ธ์ ๊ณผ ๊ฐ๋ณ ์์ฒญ์ HTTP ํค๋๋ฅผ ๋์๋ฌธ์ ๊ตฌ๋ถ ์์ด ํฉ์น๋ ์ฒ๋ฆฌ๋ฅผ ์์ ํ์ต๋๋ค. @SulimanAbdulrazzaq์ #487 ๊ธฐ์ฌ์ ๋๋ค.
CLI ์์ฒญ์์ ๋น์ด ์๊ฑฐ๋ ๊ฑฐ์ง์ผ๋ก ํ๊ฐ๋๋ JSON ๋ณธ๋ฌธ์ ์๋ฆผ ์์ด ๋ฒ๋ฆฌ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. @SulimanAbdulrazzaq์ #484 ๊ธฐ์ฌ์ ๋๋ค.
Markdown๊ณผ ํ ์คํธ ํ์ผ์ ๋ด๋ณด๋ผ ๋ ํญ์ UTF-8์ ์ฌ์ฉํฉ๋๋ค. ๋ณํ ์ค๋ฅ๋ก ๊ธฐ์กด ์ถ๋ ฅ ํ์ผ์ ๋ด์ฉ์ด ์๋ฆฌ๋ ๋ฌธ์ ๋ ๋ฐฉ์งํ์ต๋๋ค. @SulimanAbdulrazzaq์ #488 ๊ธฐ์ฌ์ ๋๋ค.
curl2fetcher()์์ curl์ User-Agent ๋ฐ ํ๋ก์ ์ต์ ์ฒ๋ฆฌ๋ฅผ ์์ ํ์ต๋๋ค. @SulimanAbdulrazzaq์ #490 ๊ธฐ์ฌ์ ๋๋ค.์ ํํ ์ฌ๋ฌ ์์๋ฅผ
Response.markdown()์ด๋ CLI ์ถ์ถ๋ก ๋ณํํ ๋ Markdown ๋ธ๋ก์ด ๋ถ์ด ๋ฒ๋ฆฌ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. @Yigtwxx์ #432 ๊ธฐ์ฌ๋ฅผ ํฌํจํฉ๋๋ค.AI ์ถ๋ ฅ์ ์จ๊ฒจ์ง ์ฝํ ์ธ ์ ๋ฆฌ๋ฅผ ์์ ํ์ต๋๋ค.
opacity:0.95์ฒ๋ผ ๋ณด์ด๋ ๋ด์ฉ์ ์ ์งํ๊ณ , ๋ ๋ง์ ์จ๊น ์คํ์ผ์ ๊ฐ์งํ๋ฉฐ, ์จ๊ฒจ์ง ์ฌ๋กฏ์ ์ ๊ฑฐํฉ๋๋ค. @Yigtwxx์ #460 ๊ธฐ์ฌ๋ฅผ ํฌํจํฉ๋๋ค.์ค์ฒฉ๋ ํ๊ทธ ์ฃผ๋ณ์์ ๋ถํ์ํ ํ๊ทธ ์ ๊ฑฐ๊ฐ ์ผ์ฐ ๋ฉ์ถ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. @Yigtwxx์ #474 ๊ธฐ์ฌ์ ๋๋ค.
๊ฐ์ ํ๊ทธ๋ฅผ ๊ฐ์ง ํ์ ์์๊ฐ ์ฌ๋ฌ ๊ฐ์ผ ๋ ์ฒซ ์์์ ๋ํด ์์ฑํ๋ CSS์ XPath ์ ํ์๋ฅผ ์์ ํ์ต๋๋ค. @yellow-dog-dog์ #495 ๊ธฐ์ฌ์ ๋๋ค.
lxml HTML ํ์์ ์ง์ ์ค๋จ ์์ ๊ฒฝ๊ณ ๋ฅผ ํด๊ฒฐํ์ต๋๋ค. @afsuyadi์ #493 ๊ธฐ์ฌ์ ๋๋ค.
๋ฌธ์ {#v0.5-docs}
- ์น์ฌ์ดํธ ์ ์ฒด๋ฅผ 10๊ฐ ์ธ์ด๋ก ์ ๊ณตํฉ๋๋ค. ์์ด, ์๋์ด, ์คํ์ธ์ด, ๋ธ๋ผ์ง ํฌ๋ฅดํฌ๊ฐ์ด, ํ๋์ค์ด, ๋ ์ผ์ด, ์ค๊ตญ์ด ๊ฐ์ฒด, ์ผ๋ณธ์ด, ๋ฌ์์์ด, ํ๊ตญ์ด๋ฅผ ์ง์ํฉ๋๋ค. ๊ฐ์ด๋, API ์ฐธ์กฐ, ํํ ๋ฆฌ์ผ, ๋ณ๊ฒฝ ๊ธฐ๋ก์ ๋ฒ์ญํ์ต๋๋ค. ์๋์ด์ ์ค๋ฅธ์ชฝ์์ ์ผ์ชฝ์ผ๋ก ์ฐ๋ ๋ฐฉํฅ์ ์ง์ํ๋ฉฐ, ์ธ์ด๋ฅผ ๋ฐ๊ฟ๋ ํ์ฌ ํ์ด์ง์ ์น์ ์ ์ ์งํฉ๋๋ค.
- ๊ฐ์ด๋, README ์์ , ์ค์ ๋จ๊ณ๋ฅผ ๋ ๋ช ํํ ํ์ต๋๋ค. ์ฒดํฌํฌ์ธํธ ๋ฐ์ดํฐ, ๋ธ๋ผ์ฐ์ ์ธ์ฝ๋ฉ, ์ ์ฅ๋ ์ํ, ๋คํธ์ํฌ ๊ธฐ๋ก, Shadow DOM, ํฌ๋กค๋ง ์์๋ฅผ ๋ค๋ฃน๋๋ค.
- Agent Skill๊ณผ ์์ , ์ฐธ๊ณ ์๋ฃ, ๋ค์ด๋ก๋์ฉ ์์ถ ํ์ผ์ ์ ๋ฐ์ดํธํ์ต๋๋ค. ํ์ฌ ๋ธ๋ผ์ฐ์ ๋ฐ MCP ๋๊ตฌ์ ๋ง์ท์ต๋๋ค.
- ๋ณ๊ฒฝ ๊ธฐ๋ก์ ์น์ฌ์ดํธ๋ก ์ฎ๊ฒผ์ต๋๋ค. ๊ฐ ํ์ด์ง์ Markdown ์๋ณธ์๋ ์ ๊ทผํ ์ ์์ต๋๋ค.
ํ๋ก์ ํธ {#v0.5-project}
- Scrapling ๋ก๊ณ , ํ์ง ์ด๋ฏธ์ง, ์น์ฌ์ดํธ์ ๋ชจ์ต์ ์๋กญ๊ฒ ๋ฐ๊ฟจ์ต๋๋ค.
- ๋ธ๋ผ์ฐ์ ๋์, ๋ํ ์์, ์ถ์ถ, ์คํฌ๋ฆฐ์ท, JavaScript, ๋คํธ์ํฌ ๊ธฐ๋ก, ์ํ ํ์ผ, Shadow DOM, ํฌ๋กค๋ฌ ์์ ์ฌํญ์ ๋ํ ํ ์คํธ๋ฅผ ๋๋ ธ์ต๋๋ค.
- ๋ธ๋ผ์ฐ์ ํ ์คํธ ๋ง์ปค๋ฅผ ์ถ๊ฐํ๊ณ ๋ธ๋ผ์ฐ์ , ๋น๋๊ธฐ, ๋ณ๋ ฌ ํ ์คํธ๋ฅผ ๋๋์ด ์คํํฉ๋๋ค. @diegobravtraps-oss์ #457 ๊ธฐ์ฌ๋ก Windows์์ ์ฒดํฌํฌ์ธํธ์ CSV ํ ์คํธ์ ํธํ์ฑ์ ๊ฐ์ ํ์ต๋๋ค.
- ๋ค๊ตญ์ด ๋ฌธ์์ ๊ณตํต ๋น๋ ์ค์ ๊ณผ ๊ธฐ์ฌ ์ง์นจ์ ์ ๋ฐ์ดํธํ์ต๋๋ค.
v0.4.15 - 2026-08-23 {#v0.4.15}
์ฌํด ๊ฐ์ฅ ํฐ ๋ฆด๋ฆฌ์ค ์ค ํ๋์ ๋๋ค. MCP ์๋ฒ๋ฅผ ์๋กญ๊ฒ ๊ตฌ์ฑํ๊ณ , ํ ์ค๋ก RAG์ฉ Markdown์ ๋ง๋ค ์ ์๊ฒ ํ์ต๋๋ค. Cloudflare ๊ฒ์ฌ ์ฒ๋ฆฌ๋ ๊ฐ์ ํ์ผ๋ฉฐ, ์๋ํ๋ฅผ ์ํด ๋ธ๋ผ์ฐ์ ํญ์ ์ด๋ฆฐ ์ํ๋ก ์ ์งํฉ๋๋ค ๐
!!! warning "์ฃผ์"
**์ด ๋ฆด๋ฆฌ์ค์๋ MCP ์๋ฒ์ ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ ์ฌํญ์ด ์์ต๋๋ค. ์
๋ฐ์ดํธ ์ ์ [ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ ์ฌํญ](https://github.com/D4Vinci/Scrapling/blob/v0.4.15/docs/ai/mcp-server.md#breaking-changes)์ ํ์ธํ์ธ์.**
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.4.15-new-stuff-and-quality-of-life-changes}
๋ธ๋ผ์ฐ์ ํญ์ ์ด๋ฆฐ ์ํ๋ก ์ ์งํ๊ณ ๋ค์ ์์ฒญ์์๋ ์ฌ์ฌ์ฉํฉ๋๋ค(๋ฌธ์ ์ฐธ๊ณ ):
- ๋ชจ๋ ๋ธ๋ผ์ฐ์ ์ธ์ ์ด ์์ฒญ ํ์๋ ํญ์ ์ ์งํฉ๋๋ค. ๋ค์ ์์ฒญ์ ์ ํญ์ ์ฌ๋ ๋์ ์ฌ์ฉ ์ค์ด ์๋ ํญ์ ์ฌ์ฌ์ฉํฉ๋๋ค.
- ๊ฐ ์์ฒญ์ ํ ๋น๋ฐ์ ํญ์ ์ ํ ์๊ฐ, ํค๋, ๋ฆฌ์์ค ์ฐจ๋จ ๋ฑ ์์ ์ ์ค์ ์ ๋ค์ ์ ์ฉํฉ๋๋ค. ๋ฐ๋ผ์ ๋ค๋ฅธ ์์ฒญ์ ์ค์ ์ด ๋จ์ง ์์ต๋๋ค.
- ์ค๋ฅ๊ฐ ๋ ํญ์ ๋ซ๊ณ ์ ํญ์ผ๋ก ๊ต์ฒดํฉ๋๋ค. ์
close_pages()๋ฉ์๋๋ก ์ด๋ฆฐ ํญ์ ๋ชจ๋ ๋ซ์ ์ ์์ต๋๋ค. - ๊ฐ์ ธ์จ ํ์ด์ง๋ ๋ก๋๋ ์ํ๋ก ์ ์ง๋ฉ๋๋ค. ๋ฐ๋ผ์ ๋ค์ ์์ฒญ์
page_setupํจ์๋ ๋ค๋ฅธ ํ์ด์ง๋ก ์ด๋ํ๊ธฐ ์ ์ ๊ทธ ํ์ด์ง์์ ์คํ๋ฉ๋๋ค. ์ด๋ฅผ ๋ฐํ์ผ๋ก ์ฌ๋ฌ ์์ฒญ์ ๊ฑธ์น ์๋ํ ์์ ์ ์ฐ๊ฒฐํ ์ ์์ต๋๋ค.
Response.markdown()์ผ๋ก ์ด๋ค ํ์ด์ง๋ LLM์์ ๋ฐ๋ก ์ธ ์ ์๋ ๊น๋ํ Markdown์ผ๋ก ๋ฐ๊ฟ ์ ์์ต๋๋ค(๋ฌธ์ ์ฐธ๊ณ ):from scrapling.fetchers import Fetcher markdown = Fetcher.get("https://example.com").markdown(main_content_only=True)- MCP ์๋ฒ์ ๊ฐ์ ์ ๋ฆฌ ๊ณผ์ ์ ๊ฑฐ์ณ, ์คํฌ๋ฆฝํธ์ ์คํ์ผ, ์จ๊ฒจ์ง ํ๋กฌํํธ ์ธ์ ์ ๋ด์ฉ์ ํญ์ ๋จผ์ ์ ๊ฑฐํฉ๋๋ค.
- ํ์ํ ์์๋ง ๋ณํํ๋ ค๋ฉด
css_selector๋ฅผ ์ ๋ฌํ์ธ์. - ์ ์ ํ ์์กด์ฑ ๊ทธ๋ฃน
rag(pip install "scrapling[rag]")๋ก ์ฌ์ฉํ ์ ์์ต๋๋ค.ai/shell/all๊ทธ๋ฃน์๋ ํฌํจ๋ฉ๋๋ค.
์น์ฌ์ดํธ ์ ์ฒด๋ฅผ ํฌ๋กค๋งํด RAG ํ์ดํ๋ผ์ธ์ฉ Markdown ๋ฌธ์ ๋ชจ์์ ๋ง๋๋
SiteToMarkdownSpiderํ ํ๋ฆฟ์ ์ถ๊ฐํ์ต๋๋ค(๋ฌธ์ ์ฐธ๊ณ ):from scrapling.spiders import SiteToMarkdownSpider class DocsSpider(SiteToMarkdownSpider): name = "docs" start_urls = ["https://example.com/docs/"] allowed_domains = {"example.com"} output_dir = "docs_markdown" result = DocsSpider().start() result.items.to_jsonl("docs.jsonl")- ํ์ด์ง๋ง๋ค
url/title/markdown์ ๊ฐ์ง ํญ๋ชฉ ํ๋๋ฅผ ๋ฐํํฉ๋๋ค. ์ ํ ์ฌํญ์ธoutput_dir์ ์ง์ ํ๋ฉด ํ์ด์ง๋ง๋ค Markdown ํ์ผ ํ๋๋ฅผ ์ ์ฅํฉ๋๋ค. max_pages๋ก ํฌ๋กค๋งํ ํ์ด์ง ์๋ฅผ ์ ํํฉ๋๋ค.CrawlSpider๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ๋ฏ๋กrules()๋ฅผ ์ฌ์ ์ํด ์ด๋ค ๋งํฌ๋ฅผ ๋ฐ๋ผ๊ฐ์ง ์์ ๋กญ๊ฒ ์ ํ ์ ์์ต๋๋ค.
- ํ์ด์ง๋ง๋ค
MCP ์๋ฒ๋ฅผ ์๋กญ๊ฒ ๊ตฌ์ฑํ์ต๋๋ค(ํธํ์ฑ์ ์ํฅ์ ์ค๋๋ค)(ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ ์ฌํญ๊ณผ ๋ฌธ์ ์ฐธ๊ณ ):
- ๋๊ตฌ 13๊ฐ๋ฅผ ๋ ๋ชจ๋๋ก ๋๋ด์ต๋๋ค. ์ผํ์ฑ ๋๊ตฌ(
fetch,bulk_fetch,stealthy_fetch,bulk_stealthy_fetch)๋ ํญ์ ์์ฒด ๋ธ๋ผ์ฐ์ ๋ฅผ ์คํํ๊ณ ์ค์ ๊ธฐ๋ณธ๊ฐ์ ํ์ํฉ๋๋ค. ์ธ์ ๋๊ตฌ๋ ํ ๋ฒ ์ด์ด ๋ ์ธ์ ์ ์ฌ์ฉํฉ๋๋ค. - ์
session_fetch๋๊ตฌ๋ ๋ธ๋ผ์ฐ์ ์ธ์ ์ผ๋ก ํ์ด์ง๋ฅผ ๊ฐ์ ธ์ต๋๋ค.open_session์ ์ด์ ๋ธ๋ผ์ฐ์ ์์ค์ ์ค์ ๋ง ๊ด๋ฆฌํ๋ฉฐ, ์ธ์ ์ ์ค์ ๋ก ์ ์ฉ๋ ์ค์ ์ AI ์์ด์ ํธ์ ๋ฐํํฉ๋๋ค. get๋๊ตฌ์ ์ด๋ฆ์make_request๋ก ๋ฐ๊ฟจ์ผ๋ฉฐ, ๋ชจ๋ HTTP ๋ฉ์๋๋ฅผ ์ง์ํฉ๋๋ค.- ์
open_request_session๊ณผsession_make_request๋๊ตฌ๋ก AI๊ฐ ์ง์์ ์ธ HTTP ์ธ์ ์ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์์ฒญ ์ฌ์ด์ ์ฟ ํค์ ๋ธ๋ผ์ฐ์ ์ง๋ฌธ์ ์ ์งํฉ๋๋ค. - ์ด ๋ณ๊ฒฝ์ผ๋ก ํ์ด์ง๋ฅผ ๊ฐ์ ธ์ฌ ๋ ์ธ์ ์ค์ ์ด ์ด๊ธฐํ๋๋ ๋ฌธ์ ๋ ํด๊ฒฐํ์ต๋๋ค. ์ด ๋ฌธ์ ๋ @Yigtwxx๊ฐ #418์์ ์ฒ์ ์์ ํ์ต๋๋ค.
- ๋๊ตฌ 13๊ฐ๋ฅผ ๋ ๋ชจ๋๋ก ๋๋ด์ต๋๋ค. ์ผํ์ฑ ๋๊ตฌ(
MCP ์๋ฒ์ HTTP ์ ์ก์ ๊ธฐ๋ณธ์ ์ผ๋ก ์ธ์ฆ์ ์๊ตฌํ๊ณ localhost์ ๋ฐ์ธ๋ฉํฉ๋๋ค(ํธํ์ฑ์ ์ํฅ์ ์ค๋๋ค). @yamantaka-singh์ #414 ๊ธฐ์ฌ์ ๋๋ค(#413 ์์ , ๋ฌธ์ ์ฐธ๊ณ ):
- Bearer ํ ํฐ์ ์๊ตฌํ๋ ค๋ฉด
--auth-token๋๋ ํ๊ฒฝ ๋ณ์SCRAPLING_MCP_AUTH_TOKEN์ ์ ๋ฌํ์ธ์. ์๋์ ์ผ๋ก ์ธ์ฆ ์์ด ์๋น์คํ๋ ค๋ฉด--no-auth๋ฅผ ์ ๋ฌํ์ธ์. - ๋คํธ์ํฌ์์ ๋ค์ด์ค๋ ์ฐ๊ฒฐ์ ํ์ฉํ๋ ค๋ฉด
--host 0.0.0.0์ ์ ๋ฌํ์ธ์.
- Bearer ํ ํฐ์ ์๊ตฌํ๋ ค๋ฉด
๐ ๋ฒ๊ทธ ์์ {#v0.4.15-bug-fixes}
- ๋ธ๋ผ์ฐ์ ๋ก์บ๊ณผ ๊ด๊ณ์์ด Cloudflare Turnstile/Interstitial ๊ฒ์ฌ๋ฅผ ํต๊ณผํ๋ฉฐ, ์ฐฝ ์๋ ๋ชจ๋์์ ์ํธ์์ฉ์ด ํ์ํ ๊ฒ์ฌ๋ฅผ ๋ฌดํํ ๋ฐ๋ณตํ์ง ์์ต๋๋ค. ์คํ ์ค ํ์ด์ง๊ฐ ๊ฒ์ฌ ์ฒ๋ฆฌ ์ค์ ๋น์ ์ ์ข ๋ฃ๋๋ ๋ฌธ์ ๋ ํด๊ฒฐํ์ต๋๋ค. @subediparas5์ #412 ๊ธฐ์ฌ๋ฅผ ํฌํจํฉ๋๋ค(#411๊ณผ #422 ์์ ).
find/find_all์์class_๋ฅผ ์ฌ์ฉํ๋ฉด ํด๋์ค๊ฐ ์ฌ๋ฌ ๊ฐ์ธ ์์๋ฅผ ์๋ฆผ ์์ด ๋์น๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. @yetval์ #410 ๊ธฐ์ฌ์ ๋๋ค. ๋นclass_๊ฐ๊ณผ ์ด์ค์ผ์ดํํ์ง ์์ CSS ๋ฌธ์์ด ๊ฐ ๋ฌธ์ ๋ ์์ ํ์ต๋๋ค. @yamantaka-singh์ #417 ๊ธฐ์ฌ์ ๋๋ค.development_mode์์ ์บ์ํ ์๋ต์ ๋ค์ ์ฌ์ฉํ ๋ ์์ฒญ ๋ฉํ๋ฐ์ดํฐ๊ฐ ์ฌ๋ผ์ง๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. @Yigtwxx์ #419 ๊ธฐ์ฌ์ ๋๋ค.retries๊ฐ 1๋ณด๋ค ์์ HTTP ์์ฒญ์ด ์ ์ก๋์ง๋ ์๊ณ ์คํจํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. @Yigtwxx์ #420 ๊ธฐ์ฌ์ ๋๋ค.
๋ฌธ์ {#v0.4.15-docs}
- ์น์ฌ์ดํธ์ ๊ตฌ์ฑ์ ์ ๋ฆฌํ์ต๋๋ค. ์ โAI์ ํจ๊ป ์ฌ์ฉํ๊ธฐโ ์น์ ์ MCP ์๋ฒ, ์ Agent Skill ํ์ด์ง, RAG ์์คํ ๋ง๋ค๊ธฐ ๊ฐ์ด๋๋ฅผ ๋ชจ์์ต๋๋ค. BeautifulSoup ๋ง์ด๊ทธ๋ ์ด์ ๊ฐ์ด๋๋ โํตํฉ๊ณผ ๋ง์ด๊ทธ๋ ์ด์ โ ์น์ ์ Scrapy ํตํฉ ์์ผ๋ก ์ฎ๊ฒผ์ต๋๋ค.
- ์ ์ฅ์์ ๋ณ๊ฒฝ ๊ธฐ๋ก์ ์ถ๊ฐํ์ต๋๋ค. ์ง๊ธ๊น์ง์ ๋ชจ๋ ๋ฆด๋ฆฌ์ค ๋ ธํธ๋ฅผ ํฌํจํฉ๋๋ค.
v0.4.14 - 2026-08-10 {#v0.4.14}
uv ์ค์น ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ์์ ์ ์ง ๋ณด์ ๋ฆด๋ฆฌ์ค์
๋๋ค ๐ง
๐ ๋ฒ๊ทธ ์์ {#v0.4.14-bug-fixes}
uv๊ฐ ๊ธฐ๋ณธ์ ์ผ๋ก v0.4.13 ์ค์น๋ฅผ ๊ฑฐ๋ถํ๊ณ ์๋ฆผ ์์ด ์ด์ ๋ฒ์ ์ผ๋ก ๋์๊ฐ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ์ด์ ๋ฆด๋ฆฌ์ค๋curl_cffi์ ์ฌ์ ๋ฆด๋ฆฌ์ค ๋ฒ์ ์ ์๊ตฌํ์ง๋ง,uv๋ ๋ช ์์ ์ผ๋ก ํ์ฉํ์ง ์์ผ๋ฉด ์ฌ์ ๋ฆด๋ฆฌ์ค ๋ฒ์ ์ ์ค์นํ์ง ์์ต๋๋ค. ์ด์ ๋ชจ๋ ์์กด์ฑ์ ์์ ๋ฒ์ ์ผ๋ก ์ค์นํ ์ ์์ต๋๋ค(#407 ์์ ).
v0.4.13 - 2026-08-09 {#v0.4.13}
ํผ๋ ์คํ์ด๋์ ๋ ๋๋ํ MCP ์๋ฒ๋ฅผ ์ ๊ณตํ๋ ์ ๋ฐ์ดํธ์ ๋๋ค ๐
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.4.13-new-stuff-and-quality-of-life-changes}
ํผ๋ ์คํ์ด๋ ํ ํ๋ฆฟ์ ์ถ๊ฐํ์ต๋๋ค.
XMLFeedSpider๋ XML ํผ๋(RSS, Atom, ์ํ ํผ๋ ๋ฑ)์ ๋ ธ๋๋ฅผ ์ํํ๊ณ ,CSVFeedSpider๋ CSV ํ์ ๋์ ๋๋ฆฌ๋ก ์ํํฉ๋๋ค. ๋ ๋ค gzip์ผ๋ก ์์ถํ ํผ๋๋ฅผ ์๋์ผ๋ก ํ๋๋ค(๋ฌธ์ ์ฐธ๊ณ ).from scrapling.spiders import XMLFeedSpider class RSSSpider(XMLFeedSpider): name = "rss" start_urls = ["https://example.com/feed.xml"] async def parse_node(self, response, node): yield {"title": node.findtext("title"), "link": node.findtext("link")} result = RSSSpider().start()MCP ์๋ฒ๋ฅผ MCP SDK v2๋ก ์ ๊ทธ๋ ์ด๋ํ๊ณ ๋ ๋๋ํ๊ฒ ๋ง๋ค์์ต๋๋ค. AI ์์ด์ ํธ์ ๋๊ตฌ๋ฅผ ํจ์จ์ ์ผ๋ก ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ์ ์๋ ค ์ฃผ๋ ์ง์นจ์ ํฌํจํฉ๋๋ค. ๊ฐ ๋๊ตฌ๊ฐ ์ด๋ ธํ ์ด์ ์ ์ ์ธํ๋ฏ๋ก Claude Code ๊ฐ์ ํด๋ผ์ด์ธํธ๋ ์ฝ๊ธฐ ์ ์ฉ ๋๊ตฌ๋ฅผ ์๋์ผ๋ก ์น์ธํ ์ ์์ต๋๋ค. ํ ํฐ์ ์๋ผ๋๋ก ๋๊ตฌ ์ค๋ช ๋ ์ค์์ต๋๋ค. ์๋ฒ์ ๋ฒ์ ๊ณผ ๋ก๊ณ ๋ MCP ํด๋ผ์ด์ธํธ์ ์๋ฆฝ๋๋ค(๋ฌธ์ ์ฐธ๊ณ ).
scrapling-mcp๋ช ๋ น์ ์ถ๊ฐํ์ต๋๋ค.scrapling mcp์ ์ง์ ๋์ํ๋ฏ๋ก, ๋จ์ผ ๋ช ๋ น์ ์๊ตฌํ๋ MCP ํด๋ผ์ด์ธํธ์ ๋ ์ง์คํธ๋ฆฌ์ ํ ์ค๋ก Scrapling์ ๋ฑ๋กํ ์ ์์ต๋๋ค.Playwright/Patchright์ ๋ธ๋ผ์ฐ์ ์ ๋ฒ์ ๊ณ ์ ์ ํด์ ํ์ต๋๋ค. ์์ฑํ ๋ธ๋ผ์ฐ์ User-Agent๋ ์ด์ ์ค์น๋ Playwright/Patchright๊ฐ ์ค์ ๋ก ๊ตฌ๋ํ๋ Chromium ๋ฒ์ ๊ณผ ํญ์ ์ผ์นํฉ๋๋ค. ๋ฐ๋ผ์ Scrapling์ด ๋ฒ์ ์ ๊ณ ์ ํ ํ์๊ฐ ์์ด ์์ ๋กญ๊ฒ ์ ๊ทธ๋ ์ด๋ํ ์ ์์ต๋๋ค. ์ ๋ฐ์ดํธ ํ
scrapling install --force๋ฅผ ์คํํด ๋ธ๋ผ์ฐ์ ๋ฅผ ๊ฐฑ์ ํ์ธ์.
๐ ๋ฒ๊ทธ ์์ {#v0.4.13-bug-fixes}
- ์ง๋ฌธ ๋ฐ์ดํฐ ํจํค์ง๊ฐ ๋ธ๋ผ์ฐ์ ๋ฒ์ ๋ณด๋ค ๋ค์ฒ์ก์ ๋ Scrapling์ ์ํฌํธํ๋ฉด
browserforge์ ValueError๋ก ๋น์ ์ ์ข ๋ฃ๋๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค(#394, #396, #400 ์์ ). - MCP ์ผ๊ด ๋ธ๋ผ์ฐ์ ๋๊ตฌ์ ํ์ด์ง ํ ํฌ๊ธฐ๊ฐ ์๋ชป ์ค์ ๋๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ์ด ๋ฌธ์ ๋ก
bulk_fetch๋ ํ ๋ฒ์ URL 50๊ฐ๋ฅผ ๋๊ฒ ์ฒ๋ฆฌํ๋ฉด ์คํจํ๊ณ ,bulk_stealthy_fetch๋ ํญ ํ๋๋ก ๋ชจ๋ URL์ ๊ฐ์ ธ์์ต๋๋ค. @Yigtwxx์ #393 ๊ธฐ์ฌ์ ๋๋ค.
ํ๋ก์ ํธ {#v0.4.13-project}
- ์ AI ๊ธฐ์ฌ ์ ์ฑ ์ ์ถ๊ฐํ์ต๋๋ค. AI๋ฅผ ํ์ฉํ ๊ธฐ์ฌ๋ ํ์ํ์ง๋ง PR์ด๋ ์ด์์ ์ฌ์ฉ ์ฌ์ค์ ๋ฐํ์ผ ํฉ๋๋ค. AI ์ฌ์ฉ ์ฌ์ค์ ๋ฐํ์ง ์์ ์์ฑ๋ฌผ๋ก ๋ณด์ด๋ ์ ์ถ๋ฌผ์ ๋ผ๋ฒจ์ ๋ถ์ด๊ณ ๋ซ์ต๋๋ค.
v0.4.12 - 2026-07-26 {#v0.4.12}
์คํ์ด๋๊ฐ ํฌ๋กค๋งํ๋ ์น์ฌ์ดํธ์ ๋ง์ถฐ ๋ ๋๋ํ๊ฒ ๋์ํ๋๋ก ํ๋ ๋ฆด๋ฆฌ์ค์ ๋๋ค
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.4.12-new-stuff-and-quality-of-life-changes}
์คํ์ด๋๊ฐ AutoThrottle๋ก ์๋๋ฅผ ์ค์ค๋ก ์กฐ์ ํ ์ ์์ต๋๋ค. ๋๋ฌด ๋๋ฆฌ๊ฑฐ๋ ์ฐจ๋จ์ ์ผ์ผํฌ ์ ์๋
download_delay๋ฅผ ์ถ์ธกํ ํ์๊ฐ ์์ต๋๋ค. ์คํ์ด๋๊ฐ ๊ฐ ์น์ฌ์ดํธ์ ์๋ต ์๋๋ฅผ ์ธก์ ํด ๋๋ฉ์ธ๋ณ ์ง์ฐ์ ์๋์ผ๋ก ์กฐ์ ํฉ๋๋ค. ์ฌ์ดํธ๊ฐ ์์ฒญ์ ์ฐจ๋จํ๊ฑฐ๋ ์์ฒญ ์๋ฅผ ์ ํํ๋ฉด, ์ ํ์ด ์์ด์ง ๋๊น์ง ์ง์ฐ์ ๋ ๋ฐฐ๋ก ๋๋ฆฌ๊ฑฐ๋Retry-Afterํค๋๊ฐ ์ง์ ํ ์๊ฐ๋งํผ ๊ธฐ๋ค๋ฆฝ๋๋ค. ์ดํ ๋ค์ ์๋๋ฅผ ๋์ ๋๋ค. ์ค์ ํdownload_delay์ robots.txt์Crawl-delay๋ ๊ณ์ ์ต์ ๋๊ธฐ ์๊ฐ์ผ๋ก ์งํต๋๋ค(๋ฌธ์ ์ฐธ๊ณ ).class MySpider(Spider): name = "adaptive" start_urls = ["https://example.com"] autothrottle_enabled = True autothrottle_start_delay = 2.0 autothrottle_max_delay = 30.0 autothrottle_block_backoff = True๊ฒฐ๊ณผ๋ฅผ CSV์ XML๋ก ๋ด๋ณด๋ผ ์ ์์ต๋๋ค. ๊ธฐ์กด JSON/JSONL ๋ด๋ณด๋ด๊ธฐ๋ ๊ณ์ ์ฌ์ฉํ ์ ์์ต๋๋ค. ํญ๋ชฉ๋ง๋ค ํค๊ฐ ๋ฌ๋ผ๋ ๋น ์ง์์ด ๋ด๋ณด๋ด๋ฉฐ, ์ค์ฒฉ๋ ๊ฐ์ JSON์ผ๋ก ๊ธฐ๋กํฉ๋๋ค(๋ฌธ์ ์ฐธ๊ณ ).
result = MySpider().start() result.items.to_csv("products.csv") result.items.to_xml("products.xml")MCP ์๋ฒ์์ ์ธ์ฆ์ ์๊ตฌํ ์ ์์ต๋๋ค. ์์ ์ ์ปดํจํฐ์์๋ง ์ฐ์ง ์๊ณ ์์ ํ๊ฒ ์ธ๋ถ์ ๊ณต๊ฐํ ์ ์์ต๋๋ค. ํ ํฐ์ด ์๋ ์์ฒญ์ ๊ฑฐ๋ถํ๋ฉฐ, ์๋ฒ๊ฐ ์๋ตํ ํธ์คํธ ์ด๋ฆ๋ ์ ํํ ์ ์์ต๋๋ค(๋ฌธ์ ์ฐธ๊ณ ).
scrapling mcp --http --auth-token "$(openssl rand -hex 32)"๋ธ๋ผ์ฐ์ ๊ฐ HTTP ํ์์ CDP URL๋ ๋ฐ์ต๋๋ค. WebSocket์๋ง ํ์ ๋์ง ์์ต๋๋ค. ๊ด๋ฆฌํ ๋ธ๋ผ์ฐ์ ์๋น์ค์
wss://์ฃผ์๋ฟ ์๋๋ผ,--remote-debugging-port=9222๋ก ์ง์ ์คํํ Chrome์๋ ๋ธ๋ผ์ฐ์ Fetcher๋ MCP ์ธ์ ์ ์ฐ๊ฒฐํ ์ ์์ต๋๋ค.๊ฒ์ํ๋ Docker ์ด๋ฏธ์ง์ ๋ฆด๋ฆฌ์ค ๋ฒ์ ํ๊ทธ๋ฅผ ๋ถ์ ๋๋ค. ์ด์
latest๋ฟ ์๋๋ผ ์ํ๋ ๋ฒ์ ์ ์ ํํ ๊ณ ์ ํ ์ ์์ต๋๋ค. @JanRK์ #384 ๊ธฐ์ฌ์ ๋๋ค.
๐ ๋ฒ๊ทธ ์์ {#v0.4.12-bug-fixes}
๋ธ๋ผ์ฐ์ ์์ง์ ์๋ต์ ์บ์ํ๋ฉด ์ฟ ํค๊ฐ ๋ชจ๋ ์ฌ๋ผ์ง๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ์คํ์ด๋ ๊ฐ๋ฐ ๋ชจ๋์์ ์ฟ ํค์ ์์กดํ๋ ์ธ์ ์ด๋ ์ธ์ฆ ๋ก์ง์ด ์๋ฆผ ์์ด ๋์ํ์ง ์๊ฒ ๋๋ ์์ธ์ด์์ต๋๋ค. @amitvijapur์ #379 ๊ธฐ์ฌ์ ๋๋ค(#376 ์์ ).
StealthyFetcher๊ฐ ์์คํ ์ค์ ์ ๋ฐ๋ฅด์ง ์๊ณ ๋ชจ๋ ๋ธ๋ผ์ฐ์ ์en-US๋ก์บ์ ๊ฐ์ ํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ์ฌ์ดํธ๊ฐ ๋ก์บ๊ณผ IP ์ฃผ์์ ๋ถ์ผ์น๋ฅผ ๋ณด๊ณ ์์ฌ์ค๋ฌ์ด ์์ฒญ์ผ๋ก ํ๋จํด, Google์์ 429๋ฅผ ๋ฐํํ๋ ๋ฑ์ ๋ฌธ์ ๊ฐ ์๊ฒผ์ต๋๋ค(#381 ์์ ).์ ์ฅ ์์คํ ์์ ํผ๋์ ์ฃผ๋ ์ค๋ฅ ๋ฉ์์ง๋ฅผ ์์ ํ์ต๋๋ค. ๋ฐ์ดํฐ ์ฝ์ ํ ๋จ์ ์๋ ๋ถํ์ํ ํธ์ถ๋ ์ ๊ฑฐํ์ต๋๋ค. @fix2015์ #377 ๊ธฐ์ฌ์ ๋๋ค.
์ฑ๋ฅ {#v0.4.12-performance}
get_all_text()์ ์คํ ์๊ฐ์ด ์ด์ ๋ ธ๋ ์์ ๋น๋กํฉ๋๋ค(O(nodes)). ๊ฐ ํ ์คํธ ๋ ธ๋์ ์กฐ์์ ๋งค๋ฒ ๋ฐ๋ผ๊ฐ์ง ์์ผ๋ฏ๋ก, ๊น๊ฒ ์ค์ฒฉ๋ ํ์ด์ง์์ ์ฝ 5-6๋ฐฐ ๋น ๋ฅด๊ฒ ๋์ํฉ๋๋ค. @yetval์ #378 ๊ธฐ์ฌ์ ๋๋ค.
v0.4.11 - 2026-07-12 {#v0.4.11}
์ฒซ ํ๋ซํผ๋ณ ์คํ์ด๋ ํ ํ๋ฆฟ, ๋ ๋น ๋ฅธ ํ์, ์ค์ํ ์์ ์ฌํญ์ ๋ด์ ์ ๋ฐ์ดํธ์ ๋๋ค ๐
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.4.11-new-stuff-and-quality-of-life-changes}
์ฒซ ํ๋ซํผ๋ณ ์คํ์ด๋ ํ ํ๋ฆฟ
ShopifySpider๋ฅผ ์ถ๊ฐํ์ต๋๋ค! Shopify ๊ธฐ๋ฐ ์์ ์ JSON API๋ก ๋ชจ๋ ์ํ์ ์ถ์ถํ ์ ์์ต๋๋ค. ์ฌ์ดํธ์ HTML์ ๋ค๋ฃฐ ํ์๊ฐ ์์ต๋๋ค. ์ด ํด๋์ค๋ฅผ ์์ํ๊ณ ์์ ๋๋ฉ์ธ๋ง ์ค์ ํ๋ฉด ๋ฉ๋๋ค(๋ฌธ์ ์ฐธ๊ณ ).from scrapling.spiders import ShopifySpider class MyStore(ShopifySpider): target_website = "example.com" result = MyStore().start()CLI ๋ธ๋ผ์ฐ์ ๋ช ๋ น์
--executable-path๋ฅผ ์ถ๊ฐํ์ต๋๋ค.scrapling extract fetch์scrapling extract stealthy-fetch๋ชจ๋ ์ํ๋ Chromium ํธํ ๋ธ๋ผ์ฐ์ ์คํ ํ์ผ์ ์ง์ ํ ์ ์์ต๋๋ค. ์ต์ ์ ์ ๋ฌํ์ง ์์ผ๋ฉด ํ๊ฒฝ ๋ณ์SCRAPLING_EXECUTABLE_PATH๋ฅผ ์ฌ์ฉํ๋ฏ๋ก MCP ์๋ฒ์ ๊ฐ์ ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค(#371 ํด๊ฒฐ).scrapling extract fetch "https://example.com" page.html --executable-path "/path/to/chromium"
๐ค ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.4.11-quality-of-life-changes}
find_by_text์find_by_regex๊ฐ ์ต๋ ์ฝ 2๋ฐฐ ๋นจ๋ผ์ก์ต๋๋ค.first_match๊ฐ ์ผ์ง ๊ฒฝ์ฐ(๊ธฐ๋ณธ๊ฐ) ์์๋ฅผ ํ์ํ ๋๋ง ๊ฐ์ฒด๋ก ๊ฐ์ธ๋ฏ๋ก ์ฒซ ์ผ์น ํญ๋ชฉ์์ ๊ฒ์์ ๋ฉ์ถฅ๋๋ค. @yetval์ #370 ๊ธฐ์ฌ์ ๋๋ค.- ๋ชจ๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ์ต์ ๋ฒ์ ๊ณผ ๋น๊ตํ ์ ์์น๋ก ๋ฒค์น๋งํฌ๋ฅผ ๊ฐฑ์ ํ์ต๋๋ค.
- ๊ธฐ์ฌ ๊ท์น์ ๊ฐฑ์ ํ์ต๋๋ค.
๐ ๋ฒ๊ทธ ์์ {#v0.4.11-bug-fixes}
- ์ ์ด ๋ฌธ์๊ฐ ์๋ ํ์ด์ง์์ MCP ์๋ฒ์ ๊ฐ์ ธ์ค๊ธฐ ๋๊ตฌ๊ฐ ๋น์ ์ ์ข
๋ฃ๋๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค.
All strings must be XML compatible์ค๋ฅ๊ฐ ๋ฐ์ํ๋ ๋ฌธ์ ์ ๋๋ค. @yetval์ #368 ๊ธฐ์ฌ์ ๋๋ค(#366 ์์ ).
v0.4.10 - 2026-07-04 {#v0.4.10}
์ Scrapy ํตํฉ ๊ธฐ๋ฅ๊ณผ ์ปค๋ฎค๋ํฐ์ ์ฌ๋ฌ ์์ ์ฌํญ์ ๋ด์ ์ ๋ฐ์ดํธ์ ๋๋ค ๐
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.4.10-new-stuff-and-quality-of-life-changes}
Scrapy ํตํฉ์ ์ถ๊ฐํ์ต๋๋ค. ๊ธฐ์กด Scrapy ํ๋ก์ ํธ๋ฅผ ๋ค์ ์์ฑํ์ง ์๊ณ Scrapling์ ํ์ฑ API๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์คํ์ด๋ ์ฝ๋ฐฑ์
scrapling_response๋ฐ์ฝ๋ ์ดํฐ๋ฅผ ๋ถ์ด๋ฉด ๋ฐ๋ ์๋ต์ด Scrapling์Response๋ก ๋ฐ๋๋๋ค. ํฌ๋กค๋ง์ ๊ณ์ Scrapy๊ฐ ์ฒ๋ฆฌํฉ๋๋ค(๋ฌธ์ ์ฐธ๊ณ ):import scrapy from scrapling.integrations.scrapy import scrapling_response class QuotesSpider(scrapy.Spider): name = "quotes" start_urls = ["https://quotes.toscrape.com"] @scrapling_response def parse(self, response): # `response` is now a Scrapling Response first_quote = response.find_by_text("The world as we have created it", partial=True) for quote in [first_quote, *first_quote.find_similar()]: yield {"text": quote.get_all_text(strip=True)}MCP ์๋ฒ์ ๋ชจ๋ ๋ธ๋ผ์ฐ์ ๋๊ตฌ์์ ์ํ๋ Chromium ํธํ ๋ธ๋ผ์ฐ์ ๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค.
scrapling mcp --executable-path "/path/to/chromium"๋๋ ํ๊ฒฝ ๋ณ์SCRAPLING_EXECUTABLE_PATH๋ก ๊ณตํต ์ค์ ์ ํ๊ฑฐ๋,executable_path์ธ์๋ก ์์ฒญ๋ณ๋ก ์ง์ ํ ์ ์์ต๋๋ค. @samrusani์ #360 ๊ธฐ์ฌ์ ๋๋ค(#347 ํด๊ฒฐ).๋ชจ๋ ๋ธ๋ผ์ฐ์ ์ ์ง๋ฌธ์ ๊ฐฑ์ ํ์ต๋๋ค. ์ ๋ฐ์ดํธ ํ
scrapling install --force๋ฅผ ์คํํด ์ ์ฉํ์ธ์.
๐ ๋ฒ๊ทธ ์์ {#v0.4.10-bug-fixes}
- UTF-8์ด ์๋ ์น์ฌ์ดํธ์์ ๋ธ๋ผ์ฐ์ Fetcher๊ฐ ๊นจ์ง ํ ์คํธ(mojibake)๋ฅผ ๋ฐํํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. @yehudalevy-collab์ #365 ๊ธฐ์ฌ์ ๋๋ค(#364 ์์ ).
LinkExtractor๊ฐ.tar.gz๊ฐ์ ๋ณตํฉ ํ์ฅ์๋ฅผ ๊ฑธ๋ฌ๋ด์ง ๋ชปํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. @renbkna์ #359 ๊ธฐ์ฌ์ ๋๋ค(#349 ์์ ).- ํฌ๋กค๋ง์ ์ผ์ ์ค์งํ ๋ ์คํ ์ค์ธ ์์ฒญ์ด ์ฒดํฌํฌ์ธํธ์์ ์ฌ๋ผ์ง๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ์ด์ ์ฌ๊ฐํ ๋ ํด๋น ์์ฒญ์ ๊ฑด๋๋ฐ์ง ์์ต๋๋ค. @yetval์ #358 ๊ธฐ์ฌ์ ๋๋ค.
- ์คํ์ด๋๊ฐ robots.txt์
Request-rate์ง์์์ ์๋ชป๋ ํฌ๋กค๋ง ์ง์ฐ์ ๊ณ์ฐํ๋ ๋ฌธ์ ๋ฅผ Protego ์ ๊ทธ๋ ์ด๋๋ก ์์ ํ์ต๋๋ค. @Disaster-Terminator๊ฐ #355์์ ํ ์คํธ๋ ์ด์ ๋ง๊ฒ ์์ ํ์ต๋๋ค.
๋ฌธ์ {#v0.4.10-docs}
- ์คํ
์ค ๋ชจ๋์์
init_script๊ฐ Patchright์ ๊ฒฉ๋ฆฌ๋ ์คํ ์ปจํ ์คํธ์ ์ํธ์์ฉํ๋ ๋ฐฉ์์ ๋ช ํํ ์ค๋ช ํ์ต๋๋ค. @mturac์ #353 ๊ธฐ์ฌ์ ๋๋ค(#350 ํด๊ฒฐ). - ์์ด์ ํธ ์คํฌ์ skills.sh๋ก ์ค์นํ๋ ๋ฐฉ๋ฒ์ ์ถ๊ฐํ์ต๋๋ค. @ob-aion์ #363 ๊ธฐ์ฌ์ ๋๋ค.
v0.4.9 - 2026-06-07 {#v0.4.9}
์ปค๋ฎค๋ํฐ์์ ๋ณด๊ณ ํ ์ฌ๋ฌ ๋ฌธ์ ๋ฅผ ์์ ํ ์ ์ง ๋ณด์ ์ ๋ฐ์ดํธ์ ๋๋ค ๐ ๏ธ
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.4.9-new-stuff-and-quality-of-life-changes}
- ๋ชจ๋ ๋ธ๋ผ์ฐ์ ์ ์ง๋ฌธ์ ๊ฐฑ์ ํ์ต๋๋ค. ์
๋ฐ์ดํธ ํ
scrapling install --force๋ฅผ ์คํํด ์ ์ฉํ์ธ์. - CLI์
--versionํ๋๊ทธ๋ฅผ ์ถ๊ฐํ์ต๋๋ค. @ETM-Code์ #303 ๊ธฐ์ฌ์ ๋๋ค(#299 ํด๊ฒฐ).
๐ ๋ฒ๊ทธ ์์ {#v0.4.9-bug-fixes}
- HTTP ์ธ์
์์ ์ธ์
์์ค์
proxy์ธ์๊ฐ ์๋ฆผ ์์ด ๋ฌด์๋๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ์ค์ IP๊ฐ ๋ ธ์ถ๋ ์ ์๋ ๋ฌธ์ ์ ๋๋ค(#295 ํด๊ฒฐ). ์ด์ ์ธ์ ์์ค์proxy์ ์์ฒญ๋ณproxies์ธ์๋ฅผ ์์ด ์ฐ๊ฑฐ๋ ๊ทธ ๋ฐ๋๋ก ์ฐ๋ฉด, ํ๋๋ฅผ ์๋ฆผ ์์ด ๋ฒ๋ฆฌ์ง ์๊ณ ์ค๋ฅ๋ฅผ ๋ ๋๋ค. init_script์user_data_dir์ ํจ๊ป ์ฐ๋ฉด ๋ธ๋ผ์ฐ์ ์ ํ์ด์ง ์ด๋์ด ์คํจํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค(#294 ํด๊ฒฐ).- ์ฌ์ดํธ๊ฐ
Content-Typeํค๋์ charset ๊ฐ์ ๋ฐ์ดํ๋ก ๊ฐ์ ๋ ์ธ์ฝ๋ฉ์ ์๋ชป ๊ฐ์งํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. @Bortlesboat์ #323 ๊ธฐ์ฌ์ ๋๋ค. - ์ ์ํ ์์ ์ฌํ์์์
IndexError๊ฐ ๋ฐ์ํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค.auto_save๊ฐ ์ผ์ ธ ์์ ๋ ๋ฐ์ํ๋ ๋ฌธ์ ์ ๋๋ค. @Mubashirrrr์ #340 ๊ธฐ์ฌ์ ๋๋ค. - Windows์์ ์คํ์ด๋ ์ฒดํฌํฌ์ธํธ์ ์บ์ ์ ์ฅ ์ค ๋น์ ์ ์ข ๋ฃ๋๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. @MrStarkEG์ #344 ๊ธฐ์ฌ์ ๋๋ค.
- ์์ฑ ์๊ฐ ๋ค๋ฅธ ์์์ ๋ํด
find_similar๊ฐ ์ ์ฌ๋ ์ ์๋ฅผ ์๋ชป ๊ณ์ฐํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค(#322 ํด๊ฒฐ).
๋ฌธ์ {#v0.4.9-docs}
- ๊ธฐ๋ณธ ์ค์น์๋ ํ์ ์์ง๋ง ํฌํจ๋๋ค๋ ์ ์ ๋ช ํํ ํ์ต๋๋ค. Fetcher์ ์คํ์ด๋๋ ์ ํ ์์กด์ฑ ๊ทธ๋ฃน์ ์ค์นํด์ผ ํฉ๋๋ค(#343 ํด๊ฒฐ).
- ๋จ์ ์๋ ์์ ์ Docker ์ด๋ฏธ์ง ์ด๋ฆ์ ์์ ํ์ต๋๋ค. @evanclan์ #315 ๊ธฐ์ฌ์ ๋๋ค.
- ๊ธฐ์ฌ ๊ฐ์ด๋์ ์๋ชป๋ ๋งํฌ๋ฅผ ์์ ํ์ต๋๋ค. @Bortlesboat์ #320 ๊ธฐ์ฌ์ ๋๋ค.
v0.4.8 - 2026-05-11 {#v0.4.8}
ํฌ๋กค๋ง ํ๋ ์์ํฌ๋ฅผ ํ ๋จ๊ณ ๋ฐ์ ์ํค๋ ๋๊ท๋ชจ ์คํ์ด๋ ์ ๋ฐ์ดํธ์ ๋๋ค ๐ท๏ธ
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.4.8-new-stuff-and-quality-of-life-changes}
LinkExtractor๋๊ตฌ๋ฅผ ์ถ๊ฐํ์ต๋๋ค.scrapling.spiders.LinkExtractor์์ ์ฌ์ฉํ๋ฉฐ,Response์์ URL์ ์ถ์ถํฉ๋๋ค. ๋ค์ํ ์ ์ด ์ต์ ์ ์ ๊ณตํฉ๋๋ค(๋ฌธ์ ์ฐธ๊ณ ).from scrapling.spiders import LinkExtractor extractor = LinkExtractor(allow=r"/posts/", deny_domains=["ads.example.com"])๋ฒ์ฉ ์คํ์ด๋ ํ ํ๋ฆฟ
CrawlSpider์CrawlRule์ ์ถ๊ฐํ์ต๋๋ค. ์ด์ โ์ด ํจํด๊ณผ ์ผ์นํ๋ ๋งํฌ ๋ฐ๋ผ๊ฐ๊ธฐโ ๊ฐ์ ์ฝ๋๋ฅผ ๋งค๋ฒ ์ง์ ์์ฑํ ํ์๊ฐ ์์ต๋๋ค.rules()๋ฅผ ์ฌ์ ์ํดCrawlRule๊ฐ์ฒด ๋ชฉ๋ก์ ๋ฐํํ๊ณ , ๊ฐ ๊ฐ์ฒด์LinkExtractor๋ฅผ ์ฐ๊ฒฐํ์ธ์(๋ฌธ์ ์ฐธ๊ณ ).from scrapling.spiders import CrawlSpider, CrawlRule, LinkExtractor class QuotesSpider(CrawlSpider): name = "blog" start_urls = ["https://quotes.toscrape.com/"] def rules(self): return [ CrawlRule(LinkExtractor(allow=r"/author/"), callback=self.parse_author), CrawlRule(LinkExtractor(allow=r"/page/\d+/")), # pagination, no callback ] async def parse_author(self, response): yield { "name": response.css(".author-title::text").get(), "birthday": response.css(".author-born-date::text").get(), "url": response.url, }SitemapSpiderํ ํ๋ฆฟ์ ์ถ๊ฐํ์ต๋๋ค. ์ฌ์ดํธ๋งต์ด๋robots.txtURL์์ ๋ฐ๋ก ํฌ๋กค๋ง์ ์์ํฉ๋๋ค. gzip์ผ๋ก ์์ถํ ์ฌ์ดํธ๋งต๊ณผ ๋ค์ํ ์ ์ด ์ต์ ์ ์ง์ํฉ๋๋ค. ์์ CrawlSpider ์์ ์ฒ๋ผ ํฌ๋กค๋ง ๊ท์น์ ๋ฐ๋ผ URL์ ์ฒ๋ฆฌํฉ๋๋ค(๋ฌธ์ ์ฐธ๊ณ ).from scrapling.spiders import SitemapSpider, CrawlRule, LinkExtractor class NewsSitemap(SitemapSpider): name = "news" sitemap_urls = ["https://example.com/robots.txt"] def rules(self): return [ CrawlRule(LinkExtractor(allow=r"/articles/"), callback=self.parse_article), ] async def parse_article(self, response): yield {"url": response.url, "title": response.css("h1::text").get()}์ ์ํ ์์ ์ฌํ์์ ๊ธฐ๋ณธ ์ ์ฌ๋ ๊ธฐ์ค์ ๋ชจ๋ ๋ฉ์๋์์ 40%๋ก ๋ฐ๊ฟจ์ต๋๋ค. ์ด์ ๊ธฐ๋ณธ๊ฐ์ธ
0๋ณด๋ค ์ ์ํ ๊ธฐ๋ฅ์ด ๋ ์ ๋์ํ๋๋ก ํฉ๋๋ค. ๊ธฐ์ค์ ๋๋ ์์๊ฐ ์์ผ๋ฉด ๊ฒฝ๊ณ ์ ๊ฐ์ฅ ๋์ ์ ์๋ฅผ ํ์ํ๋ฏ๋ก, ํ์ํ ๋ ํ์ธํ๊ณpercentage๋ฅผ ๋ฎ์ถ ์ ์์ต๋๋ค.๋ชจ๋ ๋ธ๋ผ์ฐ์ ์ ์ง๋ฌธ์ ๊ฐฑ์ ํ์ต๋๋ค. ์ ๋ฐ์ดํธ ํ
scrapling install --force๋ฅผ ๋ค์ ์คํํด ๋ธ๋ผ์ฐ์ ์ ์ง๋ฌธ์ ๊ฐฑ์ ํ์ธ์.
๐ ๋ฒ๊ทธ ์์ {#v0.4.8-bug-fixes}
Fetcher.configure(...)๊ฐ ๊ฐ๋ณ ์์ฒญ ํธ์ถ์ ์ ์ฉ๋์ง ์๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค.AsyncFetcher์๋ ๊ฐ์ ์์ ์ ์ ์ฉํ์ต๋๋ค.- ์๋ชป๋ ์์ฒญ ์ง๋ฌธ ๊ณ์ฐ์ผ๋ก ์คํ์ด๋๊ฐ ์ค๋ณต ์์ฒญ์ ๋ณด๋ด๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. @yetval์ #255 ๊ธฐ์ฌ์ ๋๋ค.
- ์ ์ํ ์คํฌ๋ํ ์์ง์ด ์ ์ฌ๋๊ฐ ๋ฎ์ ์ผ์น ๊ฒฐ๊ณผ๋ฅผ ์๋ฆฌ์ง ์๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ์์ ์ ์ฌ๋ ๊ธฐ์ค ๋ณ๊ฒฝ๊ณผ ํจ๊ป, ์ฌํ์์ ์คํจํ๋ฉด ์คํด๋ฅผ ๋ถ๋ฅด๋ โ๊ฐ์ฅ ๊ทธ๋ด๋ฏํโ ์์๋ฅผ ๋ฐํํ๋ ๋์ ๊ฒฝ๊ณ ๋ฅผ ํ์ํฉ๋๋ค.
๋ฌธ์ {#v0.4.8-docs}
- ๋ฌธ์ ์ ์ฒด์ ์ค๋๋ ์ฝ๋ ์์ ๋ฅผ ๊ฐฑ์ ํ์ต๋๋ค. ํ์ฌ ๋ฒ์ ์ ๋ง์ท์ต๋๋ค.
- ๋ฌธ์ ์ฌ์ดํธ์์ ์ฝ๋๋ฅผ ๋ณต์ฌํ๊ณ ๋ถ์ฌ ๋ฃ๊ธฐ ์ฝ๊ฒ ๊ฐ์ ํ์ต๋๋ค. ์์ด์ ํธ ์คํฌ๋ ์ ๋ฆฌํด ํธ์ถํ ๋๋ง๋ค ์ฐ๋ ํ ํฐ์ ์ค์์ต๋๋ค.
v0.4.7 - 2026-04-17 {#v0.4.7}
AI ์์ด์ ํธ๊ฐ ํ์ด์ง๋ฅผ ๋ณผ ์ ์๊ฒ ํ๋ ์ ๋ฐ์ดํธ์ ๋๋ค ๐ธ
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.4.7-new-stuff-and-quality-of-life-changes}
- MCP ๋๊ตฌ
screenshot์ ์ถ๊ฐํ์ต๋๋ค. ํ์ด์ง๋ฅผ ์บก์ฒํด ์ค์ MCPImageContent๋ธ๋ก์ผ๋ก ๋ฐํํ๋ฏ๋ก ๋ชจ๋ธ์ด ์ด๋ฏธ์ง๋ฅผ ์ง์ ๋ณผ ์ ์์ต๋๋ค. ์ด๋ฆฐ ๋ธ๋ผ์ฐ์ ์ธ์ ์ด ํ์ํ๋ฏ๋ก ๋จผ์ open_session์ ํธ์ถํ๊ณ (dynamic๋๋stealthy์ฌ์ฉ), ๊ทธsession_id๋ฅผ ์ด ๋๊ตฌ์ ์ ๋ฌํ์ธ์. PNG์ JPEG, ์ ์ฒด ํ์ด์ง ์บก์ฒ, JPEG ํ์ง ์ค์ , ์ผ๋ฐ์ ์ธ ๋๊ธฐ ์ต์ (wait,wait_selector,network_idle,timeout)์ ์ง์ํฉ๋๋ค(#244 ๊ตฌํ). - ์ํ๋ ์ด๋ฆ์ ์ง์ ํ๋
session_id๋งค๊ฐ๋ณ์๋ฅผopen_session์ ์ถ๊ฐํ์ต๋๋ค. ๊ธฐ๋ณธ๊ฐ์ธ ๋ฌด์์ 12์๋ฆฌ 16์ง์ ๋ฌธ์์ด ๋์ ์๋ฏธ ์๋ ์ด๋ฆ("search","checkout")์ ๋ถ์ผ ์ ์์ต๋๋ค. @hauntedhost์ #243 ๊ธฐ์ฌ์ ๋๋ค.
๐ ๋ฒ๊ทธ ์์ {#v0.4.7-bug-fixes}
FetcherSession์ ์ํ๊ฐ ์์๋๋ ๋ฌธ์ ์ ์ง์ฐ ์ด๊ธฐํ ์ธ์ ์ ๋ซ์ ๋ ๋น์ ์ ์ข ๋ฃ๋๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. @yetval์ #245 ๊ธฐ์ฌ์ ๋๋ค.TypeError: Session.request() got an unexpected keyword argument 'block_ads'์ค๋ฅ๋ฅผ ์์ ํ์ต๋๋ค. CLI์--ai-targetedํ๋๊ทธ๋ฅผ HTTP ๋ช ๋ น๊ณผ ํจ๊ป ์ฌ์ฉํ ๋ ๋ฐ์ํ๋ ๋ฌธ์ ์ ๋๋ค. @voidborne-d์ #249 ๊ธฐ์ฌ์ ๋๋ค(#247 ์์ ).
๋ฒ์ญ {#v0.4.7-translations}
v0.4.6 - 2026-04-13 {#v0.4.6}
๋ธ๋ผ์ฐ์ ์ ์คํ ์ค ๊ธฐ๋ฅ, ๊ฐ์ธ์ ๋ณด ๋ณดํธ, ๊ฐ๋ฐ ํธ์๋ฅผ ๊ฐ์ ํ๋ ์ ๋ฐ์ดํธ์ ๋๋ค ๐
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.4.6-new-stuff-and-quality-of-life-changes}
๋ธ๋ผ์ฐ์ Fetcher์ ๊ด๊ณ ์ฐจ๋จ ๊ธฐ๋ฅ์ ๋ด์ฅํ์ต๋๋ค.
block_ads=True๋ฅผ ์ ๋ฌํ๋ฉด ์๋ ค์ง ๊ด๊ณ ๋ฐ ์ถ์ ๋๋ฉ์ธ ์ฝ 3,500๊ฐ๋ก ํฅํ๋ ์์ฒญ์ ๋ผ์ฐํธ ๊ฐ๋ก์ฑ๊ธฐ ๋จ๊ณ์์ ๋ง์ต๋๋ค. DNS ์กฐํ๋ TCP ์ฐ๊ฒฐ ์์ด ์ฆ์ ์ค๋จํฉ๋๋ค.blocked_domains์ ํจ๊ป ์ฌ์ฉํด ์ง์ ๋ง๋ ๋ชฉ๋ก๋ ์ถ๊ฐํ ์ ์์ต๋๋ค. MCP ์๋ฒ์ CLI์--ai-targeted๋ชจ๋๋ ์ด๋ฅผ ์๋์ผ๋ก ์ผ์ ํ ํฐ์ ์๋ผ๊ณ ํ์ด์ง ๋ก๋๋ฅผ ๋น ๋ฅด๊ฒ ํฉ๋๋ค.page = StealthyFetcher.fetch('https://example.com', block_ads=True)DNS-over-HTTPS ์ง์์ ์ถ๊ฐํ์ต๋๋ค. ํ๋ก์๋ฅผ ์ฌ์ฉํ ๋ DNS ์ ๋ณด๊ฐ ์๋ ๊ฒ์ ๋ง์ต๋๋ค.
dns_over_https=True๋ฅผ ์ ๋ฌํ๋ฉด Cloudflare์ DoH๋ก DNS ์ฟผ๋ฆฌ๋ฅผ ๋ณด๋ ๋๋ค. HTTP ํธ๋ํฝ์ด ํ๋ก์๋ฅผ ๊ฑฐ์ณ๋ DNS ์กฐํ๋ก ์ค์ ์์น๊ฐ ๋ ธ์ถ๋๋ ๋ฌธ์ ๋ฅผ ๋ฐฉ์งํฉ๋๋ค.page = StealthyFetcher.fetch('https://example.com', proxy='http://proxy:8080', dns_over_https=True)๋ธ๋ผ์ฐ์ Fetcher์
page_setup์ฝ๋ฐฑ์ ์ถ๊ฐํ์ต๋๋ค.page.goto()์ ์ ์คํ๋๋ ํจ์๋ก, ํ์ด์ง ์ด๋ ์ ์ ํ์ํ ์ด๋ฒคํธ ๋ฆฌ์ค๋, ๋ผ์ฐํธ, ์คํฌ๋ฆฝํธ๋ฅผ ๋ฑ๋กํ ์ ์์ต๋๋ค. ํ์ด์ง ์ด๋ ํ ์คํ๋๋page_action๊ณผ ํจ๊ป ์ฌ์ฉํฉ๋๋ค(#237 ํด๊ฒฐ).def capture_websockets(page): page.on("websocket", lambda ws: print(f"WS: {ws.url}")) page = DynamicFetcher.fetch('https://example.com', page_setup=capture_websockets)CLI ์ต์
--block-ads์--dns-over-https๋ฅผ ์ถ๊ฐํ์ต๋๋ค.fetch์stealthy-fetch๋ช ๋ น ๋ชจ๋์์ ์ฌ์ฉํ ์ ์์ต๋๋ค.
๐ ๋ฒ๊ทธ ์์ {#v0.4.6-bug-fixes}
Secondsํ์ ๋ณ์นญ์ด ๋ถ๋์์์ ๊ฐ์ ํ์ฉํ์ง ์๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ๋ธ๋ผ์ฐ์ Fetcher์wait=1.5๋timeout=500.0์ ์ ๋ฌํ๋ฉด ํ์ ์ค๋ฅ๊ฐ ๋ฌ์ต๋๋ค. ํ์ ๋ณ์นญ์ดfloat๋ฅผ ํ์ ์ด ์๋๋ผ ๋ฉํ๋ฐ์ดํฐ๋ก ์๋ชป ์ทจ๊ธํ๊ธฐ ๋๋ฌธ์ ๋๋ค. @kuishou68์ #240 ๊ธฐ์ฌ์ ๋๋ค.- ์ ์ฒด ๊ฒฝ๋ก ์ ํ์๋ฅผ ์์ฑํ ๋ ID ๋ถ๋ถ์ด ์ค๋ณต๋๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ์ ์ฒด CSS/XPath ๊ฒฝ๋ก๋ฅผ ๋ง๋ค ๋
id์์ฑ์ด ์๋ ์์์ ์ ํ์๊ฐ ๋ ๋ฒ ์ถ๊ฐ๋์ดbody > #main > #main > #target > #target๊ฐ์ ๊ฒฐ๊ณผ๊ฐ ๋์์ต๋๋ค. ์ ์ฒด XPath ๊ฒฝ๋ก์์[@id='x']์กฐ๊ฑด๋ง ์ถ๋ ฅํด ์ ํจํ์ง ์์ XPath๊ฐ ๋๋ ๋ฌธ์ ๋ ์์ ํ๊ณ ,*[@id='x']๋ฅผ ์ถ๋ ฅํ๋๋ก ํ์ต๋๋ค. @sjhddh์ #241 ๊ธฐ์ฌ์ ๋๋ค. - ์
ธ ํจ์ ์๊ทธ๋์ฒ์์ ๋น ์ง ๋งค๊ฐ๋ณ์๋ฅผ ์ถ๊ฐํ์ต๋๋ค. ๋ํํ ์
ธ์ ํจ์ ์๊ทธ๋์ฒ์๋
blocked_domains,block_ads,retries,retry_delay,capture_xhr,executable_path,dns_over_https๊ฐ ๋น ์ ธ ์์์ต๋๋ค.
v0.4.5 - 2026-04-07 {#v0.4.5}
์คํ์ด๋ ๊ฐ๋ฐ์ ํฌ๊ฒ ํธํ๊ฒ ํด ์ฃผ๋ ๊ธฐ๋ฅ ํ๋์ ์ค์ํ ์์ ์ฌํญ์ ๋ด์ ์ ๋ฐ์ดํธ์ ๋๋ค ๐
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.4.5-new-stuff-and-quality-of-life-changes}
์คํ์ด๋ ๊ฐ๋ฐ ๋ชจ๋: ์ด์ ์๋ ์คํ์ด๋์
parse()๋ก์ง์ ์์ ํ๊ณ ์คํํ ๋๋ง๋ค ๋์ ์๋ฒ์ ๋ค์ ์์ฒญํด์ผ ํ์ต๋๋ค. ๋๋ฆฌ๊ณ ๋ถํ์ํ ํธ๋ํฝ์ ๋ง๋ค๋ฉฐ, ์ ํ์๋ฅผ ์กฐ์ ํ๋ ์ค์ ์์ฒญ ์ ์ ํ์ ๊ฑธ๋ฆด ์๋ ์์์ต๋๋ค. ์ ๊ฐ๋ฐ ๋ชจ๋๋ ์ฒซ ์คํ์์ ๋ชจ๋ ์๋ต์ ๋์คํฌ์ ์บ์ํ๊ณ , ์ดํ์๋ ๋์คํฌ์์ ๋ค์ ์ฝ์ต๋๋ค. ๋คํธ์ํฌ ์์ฒญ์ ํ๋๋ ๋ณด๋ด์ง ์๊ณ ์ฝ๋ฐฑ์ ์์ ํด ์ํ๋ ๋งํผ ๋ค์ ์คํํ ์ ์์ต๋๋ค. ํด๋์ค ์์ฑ ํ๋๋ก ์ผค ์ ์์ต๋๋ค:class MySpider(Spider): name = "my_spider" start_urls = ["https://example.com"] development_mode = True async def parse(self, response): yield {"title": response.css("title::text").get("")}๊ธฐ๋ณธ ์บ์ ์์น๋
.scrapling_cache/{spider.name}/์ด๋ฉฐdevelopment_cache_dir๋ก ๋ค๋ฅธ ์์น๋ฅผ ์ง์ ํ ์ ์์ต๋๋ค. ์ ํต๊ณ ์นด์ดํฐcache_hits์cache_misses๋ก ์บ์ ์ฌ์ฉ ์ํ๋ฅผ ํ์ธํ ์ ์์ต๋๋ค. ์บ์๋ฅผ ์ฝ์ ๋๋download_delay, ์์ฒญ ์ ์ ํ, ์ฐจ๋จ๋ ์์ฒญ์ ์ฌ์๋ ๊ณผ์ ์ ๊ฑด๋๋ฐ๋ฏ๋ก ๋์คํฌ๊ฐ ํ์ฉํ๋ ์๋๋ก ๋ฐ๋ณตํด์ ํ์ธํ ์ ์์ต๋๋ค.development_mode = True์ธ ์ํ๋ก ์คํ์ด๋๋ฅผ ์ด์ ํ๊ฒฝ์ ๋ฐฐํฌํ์ง ๋ง์ธ์. ๊ฐ๋ฐ ๋๊ตฌ์ด์ง ์ด์์ฉ ์บ์๊ฐ ์๋๋๋ค. ์์ธํ ๋ด์ฉ์ ๋ฌธ์๋ฅผ ์ฐธ๊ณ ํ์ธ์.๊ธฐ๋ณธ ๋ฆฌ๋๋ ์ ๋ฅผ ๋ ์์ ํ๊ฒ ๋ฐ๊ฟจ์ต๋๋ค. ๋ชจ๋ HTTP Fetcher, MCP ์๋ฒ, ์ ธ์์
follow_redirects์ ๊ธฐ๋ณธ๊ฐ์ด"safe"๊ฐ ๋์ต๋๋ค. ๋ฆฌ๋๋ ์ ๋ ๊ณ์ ๋ฐ๋ผ๊ฐ์ง๋ง, ๋ด๋ถ ๋๋ ์ฌ์ค IP(๋ฃจํ๋ฐฑ, ์ฌ์ค ๋คํธ์ํฌ, ๋งํฌ ๋ก์ปฌ)๋ก ํฅํ๋ ์ฃผ์๋ ๊ฑฐ๋ถํฉ๋๋ค. ์ฌ์ฉ์๊ฐ ์ ๊ณตํ URL์ ์คํฌ๋ํํ ๋ SSRF๋ฅผ ๋ฐฉ์งํฉ๋๋ค. ์ด์ ๋์์ ์ฌ์ฉํ๋ ค๋ฉดfollow_redirects="all"์, ๋ฆฌ๋๋ ์ ๋ฅผ ์์ ํ ๋๋ ค๋ฉดFalse๋ฅผ ์ ๋ฌํ์ธ์.
๐ ๋ฒ๊ทธ ์์ {#v0.4.5-bug-fixes}
- ๊ฐ์ ์ข
๋ฃํด๋ ์ฒดํฌํฌ์ธํธ๊ฐ ์ฌ๋ผ์ง์ง ์์ต๋๋ค.
crawldir์ ์ผ ์คํ์ด๋์์ Ctrl+C๋ฅผ ๋ ๋ฒ ๋๋ฌ ๊ฐ์ ์ข ๋ฃํ๋ฉด ์ฒดํฌํฌ์ธํธ ์ฐ๊ธฐ์ ์ถฉ๋ํ ์ ์์์ต๋๋ค. pickle ๊ธฐ๋ก์ด ๋๋๊ธฐ ์ ์ ์ทจ์ ๋ฒ์๊ฐ ์์ ์ ์ข ๋ฃํดpaused=False๊ฐ ๋จ๊ณ , ์ด์ ์ฒดํฌํฌ์ธํธ๋ฅผ ์ญ์ ํ๋ ์ ๋ฆฌ ๊ณผ์ ์ด ์คํ๋์ต๋๋ค. ๊ทธ๋์ ๊ธด ํฌ๋กค๋ง์ ๊ฐ์ ์ข ๋ฃํ๋ฉด ์ ์ฅํ๋ ค๋ ์งํ ์ํฉ์ ๋ชจ๋ ์์ ์ ์์์ต๋๋ค. ์ด์ ์์ง์ ์ฒดํฌํฌ์ธํธ๋ฅผ ๋จผ์ ๊ธฐ๋กํ ๋คcancel_scope.cancel()์ ํธ์ถํ๋ฏ๋ก, ๊ฐ์ ์ข ๋ฃํด๋ ์ต์ ๋๊ธฐ ์ํ๋ฅผ ํญ์ ๋ณด์กดํฉ๋๋ค. @voidborne-d์ #230 ๊ธฐ์ฌ์ ๋๋ค.
v0.4.4 - 2026-04-05 {#v0.4.4}
์ค์ํ ์คํ์ด๋ ๊ฐ์ ๊ณผ ๋ฒ๊ทธ ์์ ์ ๋ด์ ์ ๋ฐ์ดํธ์ ๋๋ค ๐
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.4.4-new-stuff-and-quality-of-life-changes}
- ์คํ์ด๋ ํ๋ ์์ํฌ์ robots.txt ์ค์ ๊ธฐ๋ฅ์ ์ถ๊ฐํ์ต๋๋ค. ์
robots_txt_obey์ต์ ์ ์ผ๋ฉด ํฌ๋กค๋ง ์ ์ robots.txt๋ฅผ ์๋์ผ๋ก ๊ฐ์ ธ์Disallow,Crawl-delay,Request-rate๋ฑ์ ๊ท์น์ ์งํต๋๋ค. robots.txt ํ์ผ์ ๋์์ ๊ฐ์ ธ์ค๊ณ , ํฌ๋กค๋ง์ด ๋๋ ๋๊น์ง ๋๋ฉ์ธ๋ณ๋ก ์บ์ํฉ๋๋ค. @AbdullahY36์ #226 ๊ธฐ์ฌ์ ๋๋ค. - robots.txt ์บ์๋ฅผ ๋ฏธ๋ฆฌ ์ค๋นํ๋ ๊ธฐ๋ฅ์ ์ถ๊ฐํ์ต๋๋ค. ํฌ๋กค๋ง ๋ฃจํ๊ฐ ์์๋๊ธฐ ์ ์ start_urls์ ๋ชจ๋ ๋๋ฉ์ธ์์ robots.txt๋ฅผ ๊ฐ์ ธ์ ํ์ฑํฉ๋๋ค. ๊ฐ ๋๋ฉ์ธ์ ์ฒซ ์์ฒญ์์ ๊ธฐ๋ค๋ฆด ํ์๊ฐ ์์ด์ง๋๋ค.
- ์ ํต๊ณ
robots_disallowed_count๋ฅผ ์ถ๊ฐํ์ต๋๋ค.CrawlStats์์ ํฌ๋กค๋ง ์ค robots.txt ๊ท์น์ ๋ฐ๋ผ ์ฐจ๋จ๋ ์์ฒญ ์๋ฅผ ๊ธฐ๋กํฉ๋๋ค.
์์ธํ ๋ด์ฉ์ ์น์ฌ์ดํธ์ ์ด ํ์ด์ง๋ฅผ ํ์ธํ์ธ์.
๐ ๋ฒ๊ทธ ์์ {#v0.4.4-bug-fixes}
ProxyRotator์ ์ฌ๊ฐํ MRO ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ์์ ๋ฉ์๋_build_context_with_proxy๊ฐ ์์ ํด๋์ค์ ์ค์ ๊ตฌํ์ ๊ฐ๋ ค, ํ๋ก์ ์ํ ๋๋ง๋คNotImplementedError๊ฐ ๋ฐ์ํ์ต๋๋ค(#215 ์์ ). @yetval์๊ฒ ๊ฐ์ฌ๋๋ฆฝ๋๋ค.- ๋ธ๋ผ์ฐ์ ์ธ์ ์์ ์์ฒญ๋ณ๋ก ํ๋ก์๋ฅผ ์ํํ ๋ ํ์ด์ง ํ์ ๋ถํ์ํ ์ฐธ์กฐ๊ฐ ๋จ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ์์ ์ปจํ ์คํธ์์ ๋ง๋ ํ์ด์ง๊ฐ ์ ๋ฆฌํ ๋ ํ์์ ์ ๊ฑฐ๋์ง ์์, ์ ํจํ์ง ์์ ์ฐธ์กฐ๊ฐ ๊ณ์ ์์์ต๋๋ค. @yetval์ #223 ๊ธฐ์ฌ์ ๋๋ค.
- ์ ์ Fetcher์ ๋น ์ ธ ์๋ ํ์
๊ฒ์ฆ์ ์ถ๊ฐํ์ต๋๋ค.
curl_cffi๊ฐNone์session.request()์์ ๋ฐํํ ์ ์์ด ํ์ ์ฒ๋ฆฌ์ ์ค๋ฅ๊ฐ ์๊ธฐ๋ ๋ฌธ์ ์ ๋๋ค.
๊ธฐํ {#v0.4.4-other}
- ์์กด์ฑ์ ๊ฐฑ์ ํด ์ต์ ์ง๋ฌธ๊ณผ ๋ค๋ฅธ ์ ๋ฐ์ดํธ๋ฅผ ํฌํจํ์ต๋๋ค.
- robots.txt ํ์ฑ์ ์ํด
protego๋ฅผ ์ ํ ์์กด์ฑ ๊ทธ๋ฃนfetchers์ ์ถ๊ฐํ์ต๋๋ค.
v0.4.3 - 2026-03-30 {#v0.4.3}
์ฌ๋ฌ ์ค์ํ ๋ณ๊ฒฝ ์ฌํญ์ ๋ด์ ์ ๋ฐ์ดํธ์ ๋๋ค ๐
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.4.3-new-stuff-and-quality-of-life-changes}
- ์ MCP ๋๊ตฌ๋ฅผ ์ถ๊ฐํ์ต๋๋ค. ์ผ๋ฐ ๋๋ ์คํ ์ค ๋ธ๋ผ์ฐ์ ๋ฅผ ์ด๊ณ ๊ทธ๋๋ก ์ ์งํด ๋ค๋ฅธ ๋๊ตฌ์์๋ ๊ณ์ ์ฌ์ฉํ ์ ์์ต๋๋ค. ๋ธ๋ผ์ฐ์ ๋ฅผ ๋ซ๋ ๋๊ตฌ๋ ์ถ๊ฐํ์ต๋๋ค(์์ ).
- ์ MCP ๋๊ตฌ๋ฅผ ์ถ๊ฐํ์ต๋๋ค. ๊ธฐ์กด ๋ธ๋ผ์ฐ์ ์ธ์ ์ ๋ชจ๋ ๋์ดํ๋ฉฐ, ์ ๋๊ตฌ๋ค๊ณผ ํจ๊ป ์ฌ์ฉํ๋๋ก ๋ง๋ค์์ต๋๋ค.
- ๋ธ๋ผ์ฐ์ ์ธ์ ์ ์ ์ต์ ์ ์ถ๊ฐํ์ต๋๋ค. ์์ฒญ ์ค์ ๋ฐ์ํ๋ ๋ชจ๋ ๋ฐฑ๊ทธ๋ผ์ด๋ ์์ฒญ์ ์๋์ผ๋ก ์์งํฉ๋๋ค(#159 ํด๊ฒฐ) [์์ ].
- ์ ์ ๋ฆฌ ๋๊ตฌ๋ฅผ ์ถ๊ฐํ์ต๋๋ค. ์จ๊ฒจ์ง๊ฑฐ๋ ๋ณด์ด์ง ์๋ ๋ด์ฉ์ ์ ๊ฑฐํด ์ผ๋ฐ์ ์ธ ํ๋กฌํํธ ์ธ์ ์ ๊ณต๊ฒฉ์ผ๋ก๋ถํฐ MCP ์๋ฒ๋ฅผ ๋ณดํธํฉ๋๋ค.
- ์น ์คํฌ๋ํ ๋ช
๋ น์ ์ ๋ช
๋ น์ค ์ต์
์ ์ถ๊ฐํ์ต๋๋ค.
--ai-targeted๋ฅผ ์ฌ์ฉํ๋ฉด MCP ์๋ฒ์ฒ๋ผ ๋ด์ฉ์ AI์ ๋ง๊ฒ ์ ๋ฆฌํ๊ณ , ์ผ๋ฐ์ ์ธ ํ๋กฌํํธ ์ธ์ ์ ๊ณต๊ฒฉ์ ๋ฐฉ์งํฉ๋๋ค. - ๋ธ๋ผ์ฐ์ ์ธ์
์ ์ ์ต์
์ ์ถ๊ฐํ์ต๋๋ค.
executable_path๋ก ์ํ๋ ๋ธ๋ผ์ฐ์ ๊ฒฝ๋ก๋ฅผ ์ง์ ํ ์ ์์ต๋๋ค(#202 ํด๊ฒฐ). - MCP ์๋ฒ ์ฝ๋๋ฅผ ๋ฆฌํฉํฐ๋งํด ์ ์ง ๋ณด์๋ฅผ ์ฝ๊ฒ ํ๊ณ , ๋ชจ๋ ๋๊ตฌ๋ฅผ ๋น๋๊ธฐ๋ก ํต์ผํ์ต๋๋ค.
- CLI ๋ช ๋ น ์ฝ๋๋ฅผ ๋ฆฌํฉํฐ๋งํด ์ ์ง ๋ณด์๋ฅผ ์ฝ๊ฒ ํ๊ณ , 210์ค ์ค์์ต๋๋ค.
๐ ๋ฒ๊ทธ ์์ {#v0.4.3-bug-fixes}
- ์คํ์ด๋ ์ธ์ ์์ ์ฌ์๋ํ ๋ HTTP ๋ฉ์๋๋ฅผ ์ ์งํ๋๋ก ์์ ํ์ต๋๋ค. @karesansui-u์ #201 ๊ธฐ์ฌ์ ๋๋ค.
- ํ์ด์ง ๋ด์ฉ์ ๊ฐ์ ธ์ฌ ๋ ์ฌ์๋ ํ์์ ์ํ์ ๋์ด ๋ฌดํ ๋ฃจํ๋ฅผ ๋ฐฉ์งํ์ต๋๋ค. @haosenwang1018 ๋ฐ @D4Vinci์ #197 ๊ธฐ์ฌ์ ๋๋ค.
- ์์ธ๋ฅผ ์ง์ ํ์ง ์์
raise๋ฅผreturn False๋ก ๋ฐ๊ฟจ์ต๋๋ค. ๋์์_restore_from_checkpoint์ ๋๋ค. @haosenwang1018์ #196 ๊ธฐ์ฌ์ ๋๋ค. get_all์getall๋ก ๋ฐ๊ฟTexthandler๋ฅผ Selector ํด๋์ค์ ๋ง์ท์ต๋๋ค.
์ปค๋ฒ๋ฆฌ์ง์ ํ ์คํธ ๊ฐ์ {#v0.4.3-coverage-tests-improvement}
_normalize_credentials์ ๊ฒฝ๊ณ ์ฌ๋ก๋ฅผ ๊ฒ์ฌํ๋ ํ ์คํธ๋ฅผ ์ถ๊ฐํ์ต๋๋ค. @Bortlesboat์ #192 ๊ธฐ์ฌ์ ๋๋ค.- ์ ์ฅ ํ ๊ฐ์ ๋ฐ์ดํฐ๋ฅผ ๋ค์ ์ฝ์ ์ ์๋์ง ํ์ธํ๋ ํ ์คํธ์ ํต์ฌ ์ ์ฅ์ ํ ์คํธ๋ฅผ ์ถ๊ฐํ์ต๋๋ค. @haosenwang1018์ #193 ๊ธฐ์ฌ์ ๋๋ค.
TextHandler์ ์ ๊ท์ ์ฒ๋ฆฌ ๊ฒฝ๋ก์TextHandlers.re()๋ฅผ ๊ฒ์ฌํ๋ ํ ์คํธ๋ฅผ ์ถ๊ฐํ์ต๋๋ค. @haosenwang1018์ #194 ๊ธฐ์ฌ์ ๋๋ค.filter,iterancestors,find_similar์ ๊ฒฝ๊ณ ์ฌ๋ก๋ฅผ ๊ฒ์ฌํ๋ ํ ์คํธ๋ฅผ ์ถ๊ฐํ์ต๋๋ค. @awanawana์ #200 ๊ธฐ์ฌ์ ๋๋ค.
Agent Skill ๊ฐ์ {#v0.4.3-agent-skill-improvement}
- ์คํฌ ์ฐธ๊ณ ์๋ฃ์ ์๋ชป๋ Markdown ๋งํฌ๋ฅผ ์์ ํ์ต๋๋ค. @yetval์ #204 ๊ธฐ์ฌ์ ๋๋ค.
- Clawhub ๊ฒ์ฆ์ ๋ ์ ํต๊ณผํ๋๋ก ์คํฌ ๊ตฌ์ฑ์ ๊ฐ์ ํ์ต๋๋ค.
- ์คํฌ์ด ๋ช
๋ น์ค๋ก ์คํฌ๋ํํ ๋
--ai-targeted์ต์ ์ ๋ฐ๋์ ์ฌ์ฉํ๋๋ก ํ์ต๋๋ค.
๋ฌธ์ ๊ฐ์ {#v0.4.3-docs-improvement}
- ํ๊ตญ์ด README ๋ฒ์ญ์ ์ถ๊ฐํ์ต๋๋ค. @greatsk55์ #187 ๊ธฐ์ฌ์ ๋๋ค.
- ์ค๊ตญ์ด์ ์ผ๋ณธ์ด README์์ CJK ๋ฌธ์์ ๋ผํด ๋ฌธ์ ์ฌ์ด์ ๊ณต๋ฐฑ์ ์์ ํ์ต๋๋ค.
- ์ด์ ์น์ฌ์ดํธ ๋์์ธ์์ ๋จ์ ์๋ ์๋ชป๋ ๋งํฌ๋ฅผ ์์ ํ์ต๋๋ค.
v0.4.2 - 2026-03-08 {#v0.4.2}
์ค์ํ ๋ณ๊ฒฝ ์ฌํญ์ด ํฌํจ๋ ์ ์ ์ง ๋ณด์ ์ ๋ฐ์ดํธ์ ๋๋ค
๋ฒ๊ทธ ์์ {#v0.4.2-bug-fixes}
- ์ด์
get_all_text()ํจ์๊ฐ ์์ ๋ค์ ์ค๋ ํ ์คํธ ๋ ธ๋๋ ๊ฐ์ ธ์ต๋๋ค. ๋ฐ๋ผ์ MCP ์๋ฒ์ ๋ช ๋ น์ด ์ด์ ์ ๋์ณค๋ ํ ์คํธ๋ ์ฝ์ ์ ์์ต๋๋ค(#168). @mhillebrand ๋ ๊ฐ์ฌํฉ๋๋ค. - ์ด์ Referer๋ Google ๊ฒ์ URL ๋์ Google ํํ์ด์ง URL์ ๋ฐํํฉ๋๋ค. ์ด์ ๋ก์ง์ ์๋ชป๋์์ผ๋ฉฐ, ๋ด์ ์๋ณํ๋ ์ง๋ฌธ ์ ํธ๊ฐ ๋์์ ์ ์์ต๋๋ค(#179). @Bortlesboat ๋ ๊ฐ์ฌํฉ๋๋ค.
- ๋ชจ๋ ๋ธ๋ผ์ฐ์ ์์ ์ถ๊ฐ ํ๋๊ทธ๋ฅผ ํฉ์น ๋ ๋ฐ์ํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. @rostchri ๋ ๊ฐ์ฌํฉ๋๋ค.
- 3.12 ๋ฏธ๋ง์ Python ๋ฒ์ ์์ ์คํ์ด ์ค๋จ๋๋ ํ์ ํํธ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. (#163 ํด๊ฒฐ)
๊ธฐํ {#v0.4.2-other}
- Claude Code / OpenClaw ๋ฐ ๋ค๋ฅธ AI ์์ด์ ํธ ๋๊ตฌ๋ฅผ ์ํ Agent Skill์ ์ถ๊ฐํ์ต๋๋ค.
- Clawhub์ Agent Skill์ ์ถ๊ฐํ์ต๋๋ค.
- ๋ชจ๋ ๋ธ๋ผ์ฐ์ ์ Playwright๋ฅผ ์ต์ ๋ฒ์ ์ผ๋ก ์ ๋ฐ์ดํธํ์ต๋๋ค.
- ๊ธฐ๋ณธ README ํ์ผ์ ํ๋์ค์ด ๋ฒ์ญ์ ์ถ๊ฐํ์ต๋๋ค.
v0.4.1 - 2026-02-27 {#v0.4.1}
์ค์ํ ๋ณ๊ฒฝ ์ฌํญ์ด ๋ง์ด ํฌํจ๋ ์ ์ ๋ฐ์ดํธ์ ๋๋ค
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.4.1-new-stuff-and-quality-of-life-changes}
- Cloudflare ๊ฒ์ฌ๋ฅผ ๊ฐ์งํ๋ ์ ๊ท์์ ์ ํ๋๋ฅผ ๊ฐ์ ํ์ต๋๋ค. (@Rinz27 ๋ ๊ฐ์ฌํฉ๋๋ค. #133)
- Cloudflare ๊ฒ์ฌ ์ฒ๋ฆฌ์ ์๋์ ํจ์จ์ ๊ฐ์ ํ์ต๋๋ค. ์ด์ ๊ฑฐ์ ๋ ๋ฐฐ ๋น ๋ฆ ๋๋ค.
- ์น์ฌ์ดํธ๊ฐ ๋ณธ ์ฌ์ดํธ๋ก ์ด๋ํ๊ธฐ ์ ์ Cloudflare ํ์ด์ง๋ฅผ ๋ ๋ฒ ํ์ํ๋ ๊ฒฝ์ฐ๋ ์ฒ๋ฆฌํ๋๋ก Cloudflare ๊ฒ์ฌ ์ฒ๋ฆฌ๋ฅผ ๊ฐ์ ํ์ต๋๋ค.
- ์ฝ์ ํ๋ JS ํ์ผ์ ์ ๊ฑฐํ์ฌ ์คํ ์ค ๋ธ๋ผ์ฐ์ ์ ์คํ ์ค ๋ชจ๋์ ์๋๋ฅผ ๊ฐ์ ํ์ต๋๋ค.
- OpenCode์์ ์ฌ์ฉํ ์ ์๋๋ก MCP ์คํค๋ง๋ฅผ ๊ฐ์ ํ์ต๋๋ค. (@robin-ede ๋ ๊ฐ์ฌํฉ๋๋ค. #137)
- VS Code Copilot๊ณผ ๊ฒ์ฌ๊ฐ ์๊ฒฉํ ๋ค๋ฅธ ๋๊ตฌ์์๋ ์ฌ์ฉํ ์ ์๋๋ก MCP ์คํค๋ง์ ํธํ์ฑ์ ๋ ๋์์ต๋๋ค. (#150 ํด๊ฒฐ)
main_content_only์ต์ ์ด ์ผ์ ธ ์์ ๋ ๋ถํ์ํ HTML ํ๊ทธ๋ฅผ ์ ๊ฑฐํ์ฌ MCP ์๋ฒ์ ํ ํฐ ์ฌ์ฉ๋์ ํฌ๊ฒ ์ค์์ต๋๋ค.- PyPI ํ์ด์ง๋ฅผ ์์ ํ๊ณ MCP ์๋ฒ ๋ ์ง์คํธ๋ฆฌ์ MCP ์๋ฒ๋ฅผ ๋ฑ๋กํ๋ ๋ฐ ํ์ํ ํ์ผ์ ์ถ๊ฐํ์ต๋๋ค.
- ์๋ํํ๊ธฐ ์ฝ๋๋ก ๋ช ๋ น์ค ๋์ ์ฝ๋๋ก ๋ธ๋ผ์ฐ์ ์์กด์ฑ์ ์ค์นํ๋ ์์ ๋ฅผ ์ถ๊ฐํ์ต๋๋ค.
- ์ต์ ๋ฒ์ ์ ์ก์ ์ ์ฌ์ฉํ๋๋ก ๋ชจ๋ ์ํฌํ๋ก๋ฅผ ๊ฐ์ ํ์ต๋๋ค. (@salmanmkc ๋ ๊ฐ์ฌํฉ๋๋ค. #143/#144)
v0.4 - 2026-02-15 {#v0.4}
์ง๊ธ๊น์ง ๊ฐ์ฅ ํฐ Scrapling ๋ฆด๋ฆฌ์ค์ ๋๋ค. ์คํ์ด๋ ํ๋ ์์ํฌ, ํ๋ก์ ์ํ, ์ฃผ์ ํ์ ๊ฐ์ ์ฌํญ์ ์๊ฐํฉ๋๋ค
์ด๋ฒ ๋ฆด๋ฆฌ์ค๋ ์์ ํ ๋น๋๊ธฐ ์คํ์ด๋/ํฌ๋กค๋ง ํ๋ ์์ํฌ, ์ค๋งํธํ ํ๋ก์ ๊ด๋ฆฌ, ์ค์ํ API ๋ณ๊ฒฝ์ ์ ๊ณตํฉ๋๋ค. Scrapling์ ๊ธฐ๋ฅ์ด ๋ ๊ฐ๋ ฅํด์ง๊ณ ์ผ๊ด์ฑ๋ ๋์์ก์ต๋๋ค. ์ ๋ฐ์ดํธํ๊ธฐ ์ ์ ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ ์ฌํญ์ ์์ธํ ํ์ธํ์ธ์.
๐ท๏ธ ์คํ์ด๋ ํ๋ ์์ํฌ {#v0.4-spider-framework}
anyio๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๋ง๋ ์ ๋น๋๊ธฐ ํฌ๋กค๋ง ํ๋ ์์ํฌ๋ก ๋๊ท๋ชจ ์คํฌ๋ํ์ ์ฒด๊ณ์ ์ผ๋ก ์ฒ๋ฆฌํ ์ ์์ต๋๋ค.
from scrapling.spiders import Spider, Response
class MySpider(Spider):
name = "demo"
start_urls = ["https://example.com/"]
async def parse(self, response: Response):
for item in response.css('.product'):
yield {"title": item.css('h2::text').get()}
MySpider().start()
- Scrapy์ ๋น์ทํ ์คํ์ด๋ API:
start_urls, ๋น๋๊ธฐparse์ฝ๋ฐฑ,Request/Response๊ฐ์ฒด, ์ฐ์ ์์ ํ๋ฅผ ์ฌ์ฉํ์ฌ ์คํ์ด๋๋ฅผ ์ ์ํฉ๋๋ค. - ๋์ ํฌ๋กค๋ง: ๋์ ์์ฒญ ์ ์ ํ, ๋๋ฉ์ธ๋ณ ์๋ ์ ํ, ๋ค์ด๋ก๋ ์ง์ฐ์ ์ค์ ํ ์ ์์ต๋๋ค.
- ์ฌ๋ฌ ์ธ์ ์ง์: ํ๋์ ์คํ์ด๋์์ HTTP ์์ฒญ๊ณผ ์ฐฝ ์๋ ๋ชจ๋์ ์คํ ์ค ๋ธ๋ผ์ฐ์ ๋ฅผ ๊ฐ์ ์ธํฐํ์ด์ค๋ก ์ฌ์ฉํฉ๋๋ค. ID๋ก ์์ฒญ์ ๋ค๋ฅธ ์ธ์ ์ ๋ณด๋ผ ์ ์์ผ๋ฉฐ, ์ธ์ ์ ์ฒ์ ์ฌ์ฉํ ๋ ์ด๊ธฐํํ๋ ๋ฐฉ์๋ ์ง์ํฉ๋๋ค.
- ์ผ์ ์ค์ง์ ์ฌ๊ฐ: ์ฒดํฌํฌ์ธํธ๋ก ํฌ๋กค๋ง ์ํ๋ฅผ ์ ์ฅํฉ๋๋ค. Ctrl+C๋ก ์์ ํ๊ฒ ์ข ๋ฃํ ๋ค ๋ค์ ์คํํ๋ฉด ์ค๋จํ ๊ณณ๋ถํฐ ๊ณ์ํฉ๋๋ค.
- ์คํธ๋ฆฌ๋ฐ ๋ชจ๋:
async for item in spider.stream()์ผ๋ก ์์งํ ํญ๋ชฉ์ ์ฆ์ ๋ฐ์ ์ฒ๋ฆฌํ๊ณ ์ค์๊ฐ ํต๊ณ๋ ํ์ธํฉ๋๋ค. UI, ํ์ดํ๋ผ์ธ, ์ฅ์๊ฐ ํฌ๋กค๋ง์ ์ ํฉํฉ๋๋ค. - ์ฐจ๋จ๋ ์์ฒญ ๊ฐ์ง: ์ฐจ๋จ๋ ์์ฒญ์ ์๋์ผ๋ก ๊ฐ์งํ๊ณ ๋ค์ ์๋ํฉ๋๋ค. ์ฒ๋ฆฌ ๋ก์ง์ ๋ฐ๊ฟ ์ ์์ต๋๋ค.
- ๊ธฐ๋ณธ ๋ด๋ณด๋ด๊ธฐ ๊ธฐ๋ฅ: ํ
๊ณผ ์ง์ ๋ง๋ ํ์ดํ๋ผ์ธ์ผ๋ก ๊ฒฐ๊ณผ๋ฅผ ๋ด๋ณด๋ด๊ฑฐ๋, ๊ธฐ๋ณธ ์ ๊ณตํ๋
result.items.to_json()/result.items.to_jsonl()๋ก ๊ฐ๊ฐ JSON/JSONL ํ์์ผ๋ก ๋ด๋ณด๋ ๋๋ค. - ์๋ช
์ฃผ๊ธฐ ํ
:
on_start(),on_close(),on_error(),on_scraped_item()๋ฑ ์ฌ๋ฌ ํ ์ผ๋ก ํฌ๋กค๋ง์ ์ ์ฒด ์๋ช ์ฃผ๊ธฐ๋ฅผ ์ ์ดํฉ๋๋ค. - ์์ธํ ํฌ๋กค๋ง ํต๊ณ: ์์ฒญ, ์๋ต, ๋ฐ์ดํธ ์, ์ํ ์ฝ๋, ํ๋ก์, ๋๋ฉ์ธ๋ณ/์ธ์ ๋ณ ํต๊ณ, ๋ก๊ทธ ์์ค๋ณ ๊ฐ์ ๋ฑ์ ๊ธฐ๋กํฉ๋๋ค.
- uvloop ์ง์:
use_uvloop=True๋ฅผspider.start()์ ์ ๋ฌํ๋ฉด uvloop๋ฅผ ์ฌ์ฉํ ์ ์๋ ํ๊ฒฝ์์ ๋น๋๊ธฐ ์คํ์ด ๋นจ๋ผ์ง๋๋ค.
์น์ฌ์ดํธ์ ์์ธํ ์ค๋ช ์ ๋ด์ ์ ์น์ ์ ์ถ๊ฐํ์ต๋๋ค. ์ฌ๊ธฐ๋ฅผ ํ์ธํ์ธ์.
๐ ํ๋ก์ ์ํ {#v0.4-proxy-rotation}
์ฌ๋ฌ ์ค๋ ๋์์ ์์ ํ๊ฒ ํ๋ก์๋ฅผ ์ํํ๋ ์
ProxyRotatorํด๋์ค์ ๋๋ค. ๋ชจ๋ Fetcher์ ์ธ์ ์์ ์ฌ์ฉํ ์ ์์ต๋๋ค.from scrapling import ProxyRotator rotator = ProxyRotator(["http://proxy1:8080", "http://proxy2:8080"]) Fetcher.get(url, proxy_rotator=rotator)์ฌ์ฉ์ ์ ์ ์ํ ์ ๋ต: ํ๋ก์ ์ํ ๋ก์ง์ ์ง์ ๋ง๋ค ์ ์์ต๋๋ค.
์์ฒญ๋ณ ํ๋ก์ ๋ณ๊ฒฝ:
proxy=๋ฅผ ๊ฐ๋ณget()/post()/fetch()ํธ์ถ์ ์ ๋ฌํ๋ฉด ํด๋น ์์ฒญ์์ ์ธ์ ์ ํ๋ก์ ๋์ ์ฌ์ฉํฉ๋๋ค.
๐ ๋ธ๋ผ์ฐ์ Fetcher ๊ฐ์ {#v0.4-browser-fetcher-improvements}
- ๋๋ฉ์ธ ์ฐจ๋จ: ์
blocked_domains๋งค๊ฐ๋ณ์๋ฅผDynamicFetcher/StealthyFetcher์ ์ถ๊ฐํ์ต๋๋ค. ํน์ ๋๋ฉ์ธ์ผ๋ก ๊ฐ๋ ์์ฒญ์ ์ฐจ๋จํ๋ฉฐ, ํ์ ๋๋ฉ์ธ๋ ์๋์ผ๋ก ํฌํจํฉ๋๋ค. - ์๋ ์ฌ์๋: ์ด์ ๋ธ๋ผ์ฐ์ Fetcher๋
retries(๊ธฐ๋ณธ๊ฐ: 3)์retry_delay(๊ธฐ๋ณธ๊ฐ: 1s) ๋งค๊ฐ๋ณ์์ ๋ฐ๋ผ ์คํจํ ์์ฒญ์ ๋ค์ ์๋ํฉ๋๋ค. ํ๋ก์ ๊ด๋ จ ์ค๋ฅ๋ ๊ฐ์งํฉ๋๋ค. - ์๋ต ๋ฉํ๋ฐ์ดํฐ:
Response.meta๋์ ๋๋ฆฌ๋ ์ฌ์ฉํ ํ๋ก์๋ฅผ ์๋์ผ๋ก ์ ์ฅํ๊ณ ์์ฒญ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ํฉ์นฉ๋๋ค. - Response.follow(): ์คํ์ด๋ ์์คํ
์ ์ํด ๋ง๋ ๊ธฐ๋ฅ์ผ๋ก, Referer๋ฅผ ์๋์ผ๋ก ์ ๋ฌํ๋ ํ์
Request๊ฐ์ฒด๋ฅผ ์์ฑํฉ๋๋ค. - ์๋ ์ฌ์ ์ฐจ๋จ: ๋ธ๋ผ์ฐ์ ์ธ์ ์ด ์ด์ ์ ๋ฌธ์ ๋ฅผ ์ผ์ผํค๋ ์๋ ์ฌ์ ์ฝํ ์ธ ๋ฅผ ์ฐจ๋จํฉ๋๋ค.
- ์๋: ๋ธ๋ผ์ฐ์ ํ๋๊ทธ๋ฅผ ์กฐ์ ํ์ฌ ํ์ง ํํผ์ ์๋๋ฅผ ๊ฐ์ ํ์ต๋๋ค.
๐ง ๋ฒ๊ทธ ์์ ๋ฐ ๊ฐ์ {#v0.4-bug-fixes-improvements}
- ํ์ ์ต์ ํ: ๋ฐ๋ณต ์์ ์ ์ต์ ํํ์ฌ ํ์์ ์ฑ๋ฅ์ ๋์์ต๋๋ค.
- ํ์ด์ง ์ค๋ฅ: ํ์ด์ง์์ ์ค๋ฅ๊ฐ ๋ฐ์ํ๋ฉด ๋ธ๋ผ์ฐ์ ๊ฐ ๋ซํ์ง ์๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค.
- ๋น ๋ณธ๋ฌธ: ๋ณธ๋ฌธ์ด ๋น์ด ์๋ ์๋ต์ ์ฒ๋ฆฌํฉ๋๋ค.
- Playwright ๋ฃจํ: CDP ์ฐ๊ฒฐ์ด ์คํจํ๋ฉด Playwright ๋ฃจํ๊ฐ ์ด๋ฆฐ ์ฑ๋ก ๋จ๋ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ์ต๋๋ค.
- ํ์ ์์ ์ฑ: ๋ชจ๋ mypy ์ค๋ฅ๋ฅผ ์์ ํ๊ณ ํ์ ์ด ์๋ ํจ์ ๋ณธ๋ฌธ ์ ์ฒด์ ํ์ ํํธ๋ฅผ ์ถ๊ฐํ์ต๋๋ค. CI ์ํฌํ๋ก์ mypy์ pyright๋ฅผ ์ถ๊ฐํ์ต๋๋ค.
โ ๏ธ ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ ์ฌํญ {#v0.4-breaking-changes}
css_first/xpath_first์ ๊ฑฐ: ๋์css('.selector').first,css('.selector')[0]๋๋css('.selector').get()์ ์ฌ์ฉํ์ธ์.- ๋ชจ๋ ์ ํ ์์
์ด
Selectors๋ฐํ: ์ด์ css('::text'),xpath('//text()'),css('::attr(href)'),xpath('//@href')๋Selectors๋ฅผ ๋ฐํํฉ๋๋ค. ํ ์คํธ ๋ ธ๋๋ฅผSelector๊ฐ์ฒด๋ก ๊ฐ์ธ๊ณtag="#text"๋ฅผ ์ค์ ํ๋ฉฐ, ๋ ์ด์TextHandlers๋ฅผ ๋ฐํํ์ง ์์ต๋๋ค. ๋ชจ๋ ์ ํ ๋ฉ์๋์ ํ์ ํํธ์์ API๊ฐ ์ผ๊ด๋๊ฒ ๋์ํฉ๋๋ค. Response.body๋ ํญ์bytes: ์ด์ ์๋str๋๋bytes์์ง๋ง ์ด์ ํญ์bytes๋ฅผ ๋ฐํํฉ๋๋ค.get()/getall()๋์:Selector์์get()์TextHandler(์ง๋ ฌํ๋ HTML ๋๋ ํ ์คํธ ๊ฐ)๋ฅผ,getall()์TextHandlers๋ฅผ ๋ฐํํฉ๋๋ค. ๋ณ์นญ์extract_first = get,extract = getall์ ๋๋ค. ์ด์ get_all()๋ฉ์๋๋Selectors์์ ์ ๊ฑฐํ์ต๋๋ค.Selectors.first/.last:Selector | None์ ๋ฐํํ๋ฉฐIndexError๋ฅผ ๋ฐ์์ํค์ง ์๋ ์์ ํ ์ ๊ทผ ์์ฑ์ ๋๋ค.- ๋ด๋ถ ์์ ์ด๋ฆ ๋ณ๊ฒฝ:
DEFAULT_FLAGSโDEFAULT_ARGS,DEFAULT_STEALTH_FLAGSโSTEALTH_ARGS,HARMFUL_DEFAULT_ARGSโHARMFUL_ARGS,DEFAULT_DISABLED_RESOURCESโEXTRA_RESOURCES.
๐จ ๊ธฐํ ๋ณ๊ฒฝ ์ฌํญ {#v0.4-other-changes}
- ์์กด์ฑ ๋ณ๊ฒฝ:
tldextract๋ฅผtld๋ก ๊ต์ฒดํ๊ณ ๋ด๋ถ_html_utils.py๋์w3lib.html.replace_entities๋ฅผ ์ฌ์ฉํฉ๋๋ค.typing_extensions๋ฅผ ํ์ ์์กด์ฑ์ผ๋ก ์ถ๊ฐํ์ต๋๋ค. - ๋ฌธ์ ๊ฐํธ: MkDocs์์ Zensical๋ก ์์ ํ ์ ํํ์ต๋๋ค. ์คํ์ด๋ ๋ฌธ์ ์น์ ์ ์๋ก ๋ง๋ค๊ณ ๊ธฐ์กด ํ์ด์ง๋ฅผ ๋ชจ๋ ์ ๋ฐ์ดํธํ์ผ๋ฉฐ ์ API ์ฐธ๊ณ ๋ฌธ์๋ฅผ ์ถ๊ฐํ์ต๋๋ค.
v0.3.14 - 2026-01-03 {#v0.3.14}
v0.3.13์์ ์ผ๋ถ ๊ธฐ๊ธฐ์ ๋ฐ์ํ ๋ฌธ์ ๋ฅผ ์์ ํ๋ ์์ ์ ์ง ๋ณด์ ์ ๋ฐ์ดํธ์ ๋๋ค
- Windows ๊ธฐ๊ธฐ์์ ํ์ด์ง ๊ฐ์ ์ฟ ํค๊ฐ ์ ์ง๋์ง ์์
StealthyFetcher์ ํด๋น ์ธ์ ํด๋์ค์ ์ํฌ๋ฆฟ ๋ชจ๋๋ฅผ ๊ป์ต๋๋ค. MacOS์ Linux์์๋ ๋ฐ์ํ์ง ์์์ต๋๋ค. (#123 ์์ . ๋ฌธ์ ๋ฅผ ์๋ ค ์ค @frugality4121 ๋๊ณผ ํด๊ฒฐ ๋ฐฉ๋ฒ์ ์๋ ค ์ค @gembleman ๋ ๊ฐ์ฌํฉ๋๋ค.) - ์ด๋ฏธ ์ค๋๋ browserforge๋ฅผ ์ฌ์ฉํ๋ ํ๊ฒฝ์์ ์ด์ ํค๋ ๋ชจ๋ธ ๋๋ฌธ์ ๋ฐ์ํ๋ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋๋ก browserforge์ ์ต์ ๋ฒ์ ์ ๊ณ ์ ํ์ต๋๋ค.
v0.3.13 - 2026-01-01 {#v0.3.13}
์ฌ๋ฌ ๋ถ๋ถ์ ๊ฐ์ ํ ํฐ ์ ๋ฐ์ดํธ์ ๋๋ค. ํ์์ ๋ฐ๋ผ ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ๋ ๋ง์ด ํฌํจํ์ต๋๋ค. ์ ๋ฐ์ดํธํ๊ธฐ ์ ์ ์๋ ๋ด์ฉ์ ์ฝ์ด ์ฃผ์ธ์
์ฌ๋ฌ ์ด์ ๋ก ์์ผ๋ก Camoufox ์ฌ์ฉ์ ์์ ํ ์ค๋จํ๊ธฐ๋ก ํ์ต๋๋ค. ๊ฐ๋ฐ์ด ๊ณ์๋๋ค๋ฉด ๋์ค์ ๋ค์ ์ฌ์ฉํ ์๋ ์์ต๋๋ค. ์ด๋ฒ ๋ฆด๋ฆฌ์ค ์ด์ ์ฒ๋ผ Camoufox๋ฅผ ๊ณ์ ์ฌ์ฉํ๋ ค๋ฉด ์ด ์น์ ์ ์ค๋ช ์ ๋ฐ๋ฅด์ธ์.
์ด์ ์๋
DynamicFetcher์ ํด๋น ์ธ์ ํด๋์ค์ ์คํ ์ค ๋ชจ๋์์ patchright๋ฅผ ์ฌ์ฉํ์ต๋๋ค. ์ด์ ํด๋น ํด๋์ค์์ ์คํ ์ค ๋ชจ๋๋ฅผ ์ ๊ฑฐํ๊ณStealthyFetcher์ ํด๋น ์ธ์ ํด๋์ค์์ patchright๋ฅผ ์ฌ์ฉํฉ๋๋ค. ์๋์์ ์ค๋ช ํ๋ ์ฌ๋ฌ ๊ฐ์ ์ ๋ํด patchright์ ๊ธฐ๋ณธ ๊ธฐ๋ฅ๋ณด๋ค ์ ๋ฐ์ ์ธ ํ์ง ํํผ ์ฑ๋ฅ์ ๋์์ต๋๋ค.
์ด ๋ณ๊ฒฝ์ผ๋ก StealthyFetcher์ ํด๋น ์ธ์
ํด๋์ค๋ ์ด์ ๋ณด๋ค 101% ๋นจ๋ผ์ก๊ณ ๋ฉ๋ชจ๋ฆฌ์ ์ ์ฅ ๊ณต๊ฐ๋ ๋ ์ฌ์ฉํ๋ฉฐ, ์ฝ๋๊ฐ ์ฝ 400์ค ์ค์์ต๋๋ค. ๋ฌด์๋ณด๋ค ์ด์ ์ Camoufox๋ฅผ ์ฌ์ฉํ ๋๋ณด๋ค ์์ ์ ์
๋๋ค.
๋ํ scrapling install ๋ช
๋ น์ ์ค์น ์๊ฐ์ ์ค์ด๊ณ Docker ์ด๋ฏธ์ง ํฌ๊ธฐ๋ฅผ ์ค์ด๋ฉฐ, GitHub CI์์ ํ
์คํธ๊ฐ ๋ ์ํํ๊ฒ ์คํ๋ฉ๋๋ค. ์ฒ์ ์ฐ๋ ์ฌ๋๋ Scrapling์ ๋ ์ฝ๊ฒ ์ดํดํ ์ ์์ต๋๋ค.
ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ ์ฌํญ {#v0.3.13-breaking-changes}
stealth์ธ์๋ฅผDynamicFetcherํด๋์ค์ ํด๋น ์ธ์ ํด๋์ค์์ ์ ๊ฑฐํ์ต๋๋ค.hide_canvas์ธ์๋StealthyFetcher์ ํด๋น ์ธ์ ํด๋์ค๋ก ์ฎ๊ฒผ์ต๋๋ค.disable_webgl์ธ์๋ฅผDynamicFetcher์์StealthyFetcherํด๋์ค๋ก ์ฎ๊ธฐ๊ณ ์ด๋ฆ์allow_webgl๋ก ๋ฐ๊ฟจ์ต๋๋ค. ๋ชจ๋ ์ธ์ ํด๋์ค์๋ ์ ์ฉ๋ฉ๋๋ค.- ์ด์
StealthyFetcherํด๋์ค๋ ๊ธฐ๋ณธ์ ์ผ๋กDynamicFetcher์ ์ ์คํ ์ค ๋ฒ์ ์ ๋๋ค. ๋ฐ๋ผ์block_images,humanize,addons,os_randomize,disable_ads,geoip์ธ์๋ฅผ ์ ๊ฑฐํ์ต๋๋ค. Chromium์์ ๊ฐ์ ๊ธฐ๋ฅ์ ๊ตฌํํ๋ ค๊ณ ํ์ง๋ง ๊ฐ ๊ธฐ๋ฅ๋ง๋ค ๋ฌธ์ ๊ฐ ์์์ต๋๋ค. v0.4 ์ด์ ์ ํ์ ๋ฆด๋ฆฌ์ค์์ ๋ฐ๋ ์๋ ์์ต๋๋ค.
์ข์ ์์๋ ์์ต๋๋ค. ๋ง์ ๋ถ๋ถ์ ๊ฐ์ ํ๊ณ ์์ ํ์ต๋๋ค :)
๊ฐ์ ์ฌํญ {#v0.3.13-improvements}
- ์์์ ์ค๋ช
ํ๋ฏ์ด
StealthyFetcherํด๋์ค์ ํด๋น ์ธ์ ํด๋์ค๋ ์ด์ ๋ณด๋ค 101% ๋นจ๋ผ์ก์ต๋๋ค.DynamicFetcherํด๋์ค์ ํด๋น ์ธ์ ํด๋์ค๋ 20% ๋นจ๋ผ์ก์ต๋๋ค. - Cloudflare ๊ฒ์ฌ ์ฒ๋ฆฌ ์๊ณ ๋ฆฌ์ฆ์ ๊ฐ์ ํ์ฌ ๋ ๋น ๋ฅด๊ฒ ์๋ฃํ๊ณ ๋ ๋ง์ ๊ฒฝ์ฐ๋ฅผ ์ฒ๋ฆฌํฉ๋๋ค. ์ ๋ฆฌํฉํฐ๋ง ๋๋ถ์ CAPTCHA๋ ๋ ๋ฐฐ ๋น ๋ฅด๊ฒ ํด๊ฒฐํ ์ ์์ต๋๋ค!
- ๋ชจ๋ Fetcher๊ฐ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๋ ์ฌ์ฉํฉ๋๋ค.
- MCP ์๋ฒ์ ํ ํฐ ์ฌ์ฉ๋์ด ์ค์ด ๋น์ฉ์ ๋ ์๋ ์ ์์ต๋๋ค!
- Docker ์ด๋ฏธ์ง๊ฐ 60% ์์์ก์ต๋๋ค.
- ๋ฌธ์ ์น์ฌ์ดํธ ์ ์ฒด์ ์ ๋ด์ฉ์ ๋ฐ์ํ์ต๋๋ค. ๋์์ ์ค๋ช ์ ๋ ๋ช ํํ๊ฒ ์ฐ๊ณ ์ฌ๋ฌ ์น์ ์ ์งง๊ฒ ์ค์์ผ๋ฉฐ, ์์ ๋ฅผ ์ถ๊ฐํ๊ณ ๋๋ฝ๋ ์ธ์๋ฅผ ํฌํจํ์ต๋๋ค. API ์ฐธ๊ณ ๋ฌธ์์ ๊ทธ๋ํ๋ฅผ ์ถ๊ฐํ๋ ๋ฑ ์ฌ๋ฌ ๋ถ๋ถ์ ๊ฐ์ ํ์ต๋๋ค. ์ด์ ์น์ฌ์ดํธ๊ฐ 130% ๋นจ๋ฆฌ ๋ก๋๋๊ณ ๋ฐ์ดํฐ๋ฅผ ๋ ์ฌ์ฉํ๋ฉฐ SEO์๋ ๋ ์ ํฉํฉ๋๋ค.
์์ ์ฌํญ {#v0.3.13-fixes}
- ์น ์คํฌ๋ํ ์ ธ์ ๋จ์ถ ํจ์์ ๋๋ฝ๋์๋ ์ธ์๋ฅผ ์ถ๊ฐํ๊ณ ๋ ์ ํํ๊ฒ ๋์ํ๋๋ก ์์ ํ์ต๋๋ค.
- URL์ด localhost/IP์ฌ๋
google_search์ธ์๊ฐ Google Referer๋ฅผ ๋ง๋ค๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค.
v0.3.12 - 2025-12-18 {#v0.3.12}
๋ณ๊ฒฝ ์ฌํญ {#v0.3.12-what-s-changed}
DynamicSession/AsyncDynamicSessionํด๋์ค์timezone_id๋ผ๋ ์ ์ธ์๋ฅผ ์ถ๊ฐํ์ต๋๋ค. ์ฌ์ฉ ์ค์ธ ํ๋ก์/VPN์ ์๊ฐ๋์ ๋ง๊ฒ ๋ธ๋ผ์ฐ์ ์ ์๊ฐ๋๋ฅผ ์ค์ ํ ์ ์์ต๋๋ค. ๋ฐ๋ผ์ ์น์ฌ์ดํธ๊ฐ ์๊ฐ๋ ๋ถ์ผ์น๋ก ํ๋ก์ ์ฌ์ฉ์ ๊ฐ์งํ ์ ์์ต๋๋ค.- ์๋ต์ JSON์ผ๋ก ์๋ ๋ณํํ๋ ๊ธฐ๋ฅ์ ๊ฐ์ ํ์ต๋๋ค.
- Fetcher์ ์ธ์
ํด๋์ค์์ ๋ด๋ถ ํจ์
__create__์ ์ด๋ฆ์start๋ก ๋ฐ๊ฟจ์ต๋๋ค.with์ปจํ ์คํธ ๋ฐ์์๋ ๋ ์ฝ๊ฒ ์ฌ์ฉํ ์ ์์ต๋๋ค. curl_cffi์ ๋ค๋ฅธ ์์กด์ฑ์ ์ต์ ๋ฒ์ ์ผ๋ก ์ ๋ฐ์ดํธํ์ต๋๋ค.
v0.3.11 - 2025-12-03 {#v0.3.11}
๋ณ๊ฒฝ ์ฌํญ {#v0.3.11-what-s-changed}
- ๋ถ์์ ํ ์น์ฌ์ดํธ(๋ฏธ๋์ด๊ฐ ์ฌ์๋๋ ์ฌ์ดํธ ๋ฑ)์์
network_idle์ธ์๋ฅผ ์ฌ์ฉํ ๋ ํ์์์ ์ค๋ฅ๋ฅผ ๋ ์ ์ฒ๋ฆฌํ๋๋ก ๊ฐ์ ํ์ต๋๋ค. - ์น ์คํฌ๋ํ ์
ธ์์
stealthy_fetch๋จ์ถ ํจ์์ ์๋ ์์ฑ์ ์์ ํ์ต๋๋ค.
v0.3.10 - 2025-11-26 {#v0.3.10}
๋ง์ ์ฃผ์ ๋ณ๊ฒฝ ์ฌํญ๊ณผ ํธํ์ฑ์ ์ํฅ์ ์ค ์ ์๋ ๋ณ๊ฒฝ์ด ํฌํจ๋ ์ ์ง ๋ณด์ ์ ๋ฐ์ดํธ์ ๋๋ค
- ์ธ์ฝ๋ฉ์ด ์ฌ๋ฐ๋ฅด๊ฒ ์ ์ธ๋์ง ์์ ์นํ์ด์ง๋ ์ฒ๋ฆฌํ๋ ๋ ๋์ ๋ฐฉ์์ผ๋ก ๋ชจ๋ ์ธ์ฝ๋ฉ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ์ต๋๋ค. (@Kemsty2 ๋์ด #110 #111์์ ๋ฌธ์ ๋ฅผ ์๋ ค ์ฃผ์ จ์ต๋๋ค. ๊ฐ์ฌํฉ๋๋ค.)
- ๋ชจ๋ ๋ธ๋ผ์ฐ์ Fetcher์์ ์์ฒญ ์์ค์ ๋งค๊ฐ๋ณ์๋ก ์ธ์ ์์ค์ ๋งค๊ฐ๋ณ์๋ฅผ ๋ฎ์ด์ธ ๋ ๋ฐ์ํ๋ ๋ก์ง ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ์ต๋๋ค. v0.3๋ถํฐ ์๋ ๋ฌธ์ ์ ๋๋ค.
- ๋ํํ ์น ์คํฌ๋ํ ์ ธ์ ๋จ์ถ ํจ์ ์๊ทธ๋์ฒ๋ฅผ ์์ ํ์ฌ ์ ธ์์ ๋จ์ถ ํจ์์ ์๋ ์์ฑ์ด ์๋ฒฝํ๊ฒ ๋์ํ๋๋ก ํ์ต๋๋ค. ์ด ๋ฌธ์ ๋ v0.3๋ถํฐ ์์์ต๋๋ค.
- Maxmind ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋ฒ์ ์ ๋์์ต๋๋ค.
geoip์ธ์๊ฐStealthyFetcher์ ํด๋น ์ธ์ ํด๋์ค์์ ๋ ์ ๋์ํฉ๋๋ค. - ์ฌ์ฉํ๋ ๋ชจ๋ ๋ธ๋ผ์ฐ์ ๋ฅผ ์ต์ ๋ฒ์ ์ผ๋ก ์ ๋ฐ์ดํธํ์ต๋๋ค.
- ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ - ๋ชจ๋ Fetcher๋ฅผ ํฌ๊ฒ ๋ฆฌํฉํฐ๋งํ์ต๋๋ค. ๋ค์ ๋ณ๊ฒฝ์ผ๋ก ๊ธฐ์กด ์ฝ๋๊ฐ ๋์ํ์ง ์์ ์ ์์ต๋๋ค.
- Scrapling ์ฝ๋๊ฐ ์ฝ 750์ค ์ค์์ต๋๋ค. ์ฌ๋ฌ ๋ณ๊ฒฝ์ผ๋ก ์์ผ๋ก ์ ์ง ๋ณด์๊ฐ ํจ์ฌ ์ฌ์์ง๊ณ ๋ฆฌ์์ค ์ฌ์ฉ๋๋ ์กฐ๊ธ ์ค์ด๋ญ๋๋ค.
- ๋ชจ๋ Fetcher์ ํด๋น ์ธ์ ํด๋์ค์ ๊ฒ์ฆ ์๋๊ฐ ํฌ๊ฒ ๋นจ๋ผ์ ธ ์ ์ฒด ์๋๋ ๋์์ง๋๋ค.
- ์ด๋ฅผ ์ํด ๋ชจ๋ Fetcher์์
url์ธ์๋ง ์์น ์ธ์๋ก ๋ฐ์ ์ ์๊ฒ ํ์ต๋๋ค. ๋๋จธ์ง๋ ํค์๋ ์ธ์์ฌ์ผ ํฉ๋๋ค. ์ฝ๋๋ฅผFetcher.get('https://google.com', stealthy_headers=True)์ฒ๋ผ ์์ฑํด์ผ ํฉ๋๋ค. ์ด๋ค ์ด์ ๋ก๋Fetcher.get('https://google.com', True)์ฒ๋ผ ์ฌ์ฉํ๋ค๋ฉด ์์ ํ์ธ์! - v0.3๋ถํฐ ๋ธ๋ผ์ฐ์ Fetcher์ ํด๋น ์ธ์
ํด๋์ค ์ฌ์ด์ ๋ถํธํ ์ฐจ์ด๊ฐ ์์์ต๋๋ค. ์์ฒญ๋ณ ํ์ ์ค์ ์ ์ ๋ฌํ๋ ์ธ์๊ฐ Fetcher์์๋
custom_config, ์ธ์ ํด๋์ค์์๋selector_config์์ต๋๋ค. ์ด๋ฒ ๋ฆฌํฉํฐ๋ง์ผ๋ก ๊ธฐ์กด ์ฝ๋๋ฅผ ๊นจ๋จ๋ฆฌ์ง ์๊ณ ์ด๋ฆ์selector_config๋ก ํต์ผํ์ต๋๋ค. ๊ธฐ๋ณธ ์ด๋ฆ์ ์ด์ selector_config์ด๋ฉฐ,custom_config์ธ์์์ ํ์ ํธํ์ฑ๋ ์ ์งํฉ๋๋ค. ์๋ ์์ฑ์selector_config์ธ์์๋ง ์ง์๋ฉ๋๋ค. - ์ด ๋ชจ๋ ๋ณ๊ฒฝ์ ์ํด Fetcher ํจ์์ ํ์ ํํธ๋ฅผ ๋์ ์ผ๋ก ์์ฑํ๋๋ก ๋ฐ๊ฟจ์ต๋๋ค. IDE์ ์๋ ์์ฑ์ด ์ ๋๋ก ๋์ํ์ง ์์ผ๋ฉด ์ค๋๋ ๋ฒ์ ์ ์๋์ง ํ์ธํ์ธ์. ๊ฑฐ์ ๋ชจ๋ ์ฃผ์ IDE์ ํธ์ง๊ธฐ์์ ํ ์คํธํ์ต๋๋ค.
๋ชจ๋ ๋ฒค์น๋งํฌ ํ๋ ํ์ฌ ์์น๋ก ์ ๋ฐ์ดํธํ์ฌ ๋ค๋ฅธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ์ต์ ๋ฒ์ ๊ณผ ๋น๊ตํ์ต๋๋ค.
v0.3.9 - 2025-11-17 {#v0.3.9}
์ค์ํ ๋ณ๊ฒฝ ์ฌํญ์ด ๋ง์ด ํฌํจ๋ ์ ์ ๋ฐ์ดํธ์ ๋๋ค
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.3.9-new-stuff-and-quality-of-life-changes}
- ์ด์
impersonate์ธ์๋Fetcher์FetcherSession์์ ๋ธ๋ผ์ฐ์ ๋ชฉ๋ก์ ๋ฐ์ ์ ์์ต๋๋ค. ์์ฒญ๋ง๋ค ๋ชฉ๋ก์์ ๋ธ๋ผ์ฐ์ ํ๋๋ฅผ ๋ฌด์์๋ก ์ ํํฉ๋๋ค.
from scrapling.fetchers import FetcherSession
with FetcherSession(impersonate=['chrome', 'firefox', 'safari']) as s:
s.get('https://github.com/D4Vinci/Scrapling')
clean๋ฉ์๋์ ์ ์ธ์๋ฅผ ์ถ๊ฐํ์ต๋๋ค.TextHandler์ ํ์ฌ ํ ์คํธ์์ HTML ์ํฐํฐ๋ฅผ ์ฝ๊ฒ ์ ๊ฑฐํ ์ ์์ต๋๋ค.- ์ฌ๋ฌ ๋ถ๋ถ์ ์ค๋ช
์ ๋ ์ ํํ๊ฒ ์ฐ๊ณ ๊ธฐ๋ณธ
README.mdํ์ผ์ ์๋ ๋ฒ์ญ์ ์ถ๊ฐํ๋ ๋ฑ ๋ฌธ์๋ฅผ ํฌ๊ฒ ๊ฐ์ ํ์ต๋๋ค.
๐ ๋ฒ๊ทธ ์์ {#v0.3.9-bug-fixes}
- ๋ธ๋ผ์ฐ์ Fetcher์์ ์๋ต์ ๊ฐ์ ธ์ฌ ๋ ๋ฐ์ํ๋ ํฐ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ์ด์ ์ฝํ
์ธ ์ ํ์ ๊ฐ์งํ์ฌ HTML์ผ ๋๋ง
response.body์ ๋ธ๋ผ์ฐ์ ๊ฐ ๋ ๋๋งํ ๋ด์ฉ์ ๋ฃ์ต๋๋ค. ๊ทธ ์ธ์๋ ๋ง์ง๋ง ์์ฒญ์ ์๋ณธ ๋ด์ฉ์ ๋ฃ์ต๋๋ค. ๋ฐ๋ผ์ ๋ฐ์ด๋๋ฆฌ ํ์ผ๊ณผ ํ ์คํธ ํ์ผ์ HTML ํ๊ทธ๋ก ๊ฐ์ธ์ง ์์ ์ํ๋ก ๋ค์ด๋ก๋ํ ์ ์์ผ๋ฉฐ, ์น์ฌ์ดํธ๋ฅผ ๊ฐ์ ธ์ฌ ๋๋ ์ํ๋ ๋ ๋๋ง ๊ฒฐ๊ณผ๋ ๋ฐ์ ์ ์์ต๋๋ค.
๐จ ๊ธฐํ {#v0.3.9-misc}
- ๊ธฐ์ฌ ๊ฐ์ด๋๋ฅผ ๋ ๋ช ํํ๊ณ ์ฝ๊ฒ ์ ๋ฐ์ดํธํ์ต๋๋ค.
- ์ฝ๋ ํ์ง ๋๊ตฌ๋ฅผ ๋ฐ๋์ ์คํํ๋ ์ ์ํฌํ๋ก๋ฅผ ์ถ๊ฐํ์ต๋๋ค. pre-commit ํ ๊ณผ ๊ฐ์ ๋๊ตฌ๋ฅผ ์ฌ์ฉํฉ๋๋ค.
v0.3.8 - 2025-10-27 {#v0.3.8}
์ค์ํ ๋ณ๊ฒฝ ์ฌํญ์ด ๋ง์ด ํฌํจ๋ ์ ์ ๋ฐ์ดํธ์ ๋๋ค
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.3.8-new-stuff-and-quality-of-life-changes}
- ๋ชจ๋ ๋ธ๋ผ์ฐ์ Fetcher์์ ์์ฒญ ๋ก๋ฉ์ด ๋๋์ง ์๋ ์น์ฌ์ดํธ์
network_idle์ ์ฌ์ฉํด๋ ์ฝ๋ ์คํ์ด ์ค๋จ๋์ง ์์ต๋๋ค. - ๋ธ๋ผ์ฐ์ Fetcher๊ฐ ํ์ด์ง ๋ด์ฉ์ ๊ฐ์ ธ์ค๊ณ ํ์ธํ๋ ๋ก์ง์ ๋ฐ๊ฟจ์ต๋๋ค. ์ด์ Windows์์๋ Linux/MacOS์ฒ๋ผ ๋ธ๋ผ์ฐ์ ๊ฐ ๋ ์์ ์ ์ผ๋ก ๋์ํฉ๋๋ค. ์ด ๋์ ์ฐจ์ด๋ Windows์์ Playwright์ ๊ตฌํ ๋ฐฉ์์ด ๋ค๋ฅด๊ธฐ ๋๋ฌธ์ ๋ฐ์ํ์ต๋๋ค.
- ๋ชจ๋ ๊ฒ์ฆ ๋ก์ง์ ๋ฆฌํฉํฐ๋งํ์ฌ ๋ชจ๋ ๋ธ๋ผ์ฐ์ Fetcher์ ์์ฒญ์ด 8-15% ๋นจ๋ผ์ก์ต๋๋ค.
extra_flags๋ผ๋ ์ ์ต์ ์DynamicFetcher์ ํด๋น ์ธ์ ์ ์ถ๊ฐํ์ต๋๋ค. ๋ธ๋ผ์ฐ์ ๋ฅผ ์์ํ ๋ ๊ธฐ์กด Chrome ํ๋๊ทธ์ ์ํ๋ ํ๋๊ทธ๋ฅผ ๋ํ ์ ์์ต๋๋ค.page_action์ ์ฌ์ฉํ ๋๋ ์๋ต์ ๊ฐ์ ธ์ค๋ ๋ผ์ฐํ ๋ก์ง์ ์ด์ ๋ฒ์ ์ผ๋ก ๋๋๋ ธ์ต๋๋ค. ์ด ๋ก์ง์ ์ง์ ๋ฒ์ ์์ ๋ฐ๋์์ต๋๋ค.page_action์ด ์์ฒญ์ ๋ณด๋ด์ง ์๊ณ ํ์ด์ง ๋ด์ฉ์ ๋ฐ๊พธ๋๋ผ๋ ์ต์ ๋ด์ฉ์ ๊ฐ์ ธ์ค๊ธฐ ์ํ ๋ณ๊ฒฝ์ ๋๋ค. (#100๊ณผ #102์์ ์๋ ค ์ค @gembleman ๋ ๊ฐ์ฌํฉ๋๋ค.)
๐ ๋ฒ๊ทธ ์์ {#v0.3.8-bug-fixes}
- DynamicSession์ async_fetch์์
load_dom์ ์คํ๋ฅผ ์์ ํ์ต๋๋ค. - ํต๊ณผํ ๋ค์๋ ์ฌ๋ผ์ง์ง ์๋ ์ฝ์ ํ CAPTCHA๋ฅผ Cloudflare ๊ฒ์ฌ ์ฒ๋ฆฌ ์ค์ ๊ณ์ ๊ธฐ๋ค๋ฆฌ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ์ด์ CAPTCHA๊ฐ ์ฌ๋ผ์ง ๋๊น์ง 30์ด ๋์ ๊ธฐ๋ค๋ฆฐ ๋ค์, ์ฌ๋ผ์ง์ง ์๋ ์ ํ์ผ๋ก ๊ฐ์ฃผํฉ๋๋ค. (#100 ์์ )
๐จ ๊ธฐํ {#v0.3.8-misc}
- ์ฌ์ฉ์๊ฐ ํธ๋ฆฌํ๊ฒ ์ธ ์ ์๋๋ก Docker ์ด๋ฏธ์ง๋ฅผ Dockerhub์ GitHub ์ปจํ ์ด๋ ๋ ์ง์คํธ๋ฆฌ์ ์๋์ผ๋ก ํธ์ํฉ๋๋ค.
- Scrapling์์ Scrapeless ๋ธ๋ผ์ฐ์ ๋ฅผ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ์ ์ค๋ช ํ๋ ์ ๋ฌธ์ ํ์ด์ง๋ฅผ ์ถ๊ฐํ์ต๋๋ค.
v0.3.7 - 2025-10-12 {#v0.3.7}
์ค์ํ ๋ณ๊ฒฝ ์ฌํญ์ด ๋ง์ด ํฌํจ๋ ์ ์ ๋ฐ์ดํธ์ ๋๋ค
๐ ์ ๊ธฐ๋ฅ๊ณผ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.3.7-new-stuff-and-quality-of-life-changes}
solve_cloudflare์ธ์๋ฅผ ๋ค์ ๊ตฌํํ์ฌStealthyFetcher๊ฐ ๋ชจ๋ ์ข ๋ฅ์ ์ฌ์ฉ์ ์ ์ Turnstile ๊ตฌํ์ ํด๊ฒฐํ ์ ์๊ฒ ํ์ต๋๋ค.- Pyright ๊ฒ์ฌ๋ฅผ ํต๊ณผํ๋๋ก ์ ์ฒด ์ฝ๋๋ฅผ ๋ฆฌํฉํฐ๋งํ์ต๋๋ค. ์ด์ ๋ชจ๋ IDE์์ ์ํํ๊ฒ ์์ ํ ์ ์์ผ๋ฉฐ, ์ฌ๋ฌ ๋ฒ๊ทธ๋ ํด๊ฒฐํ์ต๋๋ค.
- ์์ฒญ ๋ก์ง์ ๋ ๊น๋ํ๊ณ ๋น ๋ฅด๊ฒ ๋ฆฌํฉํฐ๋งํ์ต๋๋ค. (#97๋ ํด๊ฒฐ)
- ๋ชจ๋ ๋ธ๋ผ์ฐ์ ์ธ์
ํด๋์ค์ ์
user_data_dir์ต์ ์ ์ถ๊ฐํ์ต๋๋ค. ์ด์ ์ธ์ ์ ๋ธ๋ผ์ฐ์ ๋ฐ์ดํฐ(์ฟ ํค/์ ์ฅ์ ๋ฑ)๋ฅผ ๋ค์ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์ง์ ํ์ง ์์ผ๋ฉด ์ด์ ์ฒ๋ผ Playwright๊ฐ ์คํํ ๋๋ง๋ค ๋ฌด์์ ๋๋ ํฐ๋ฆฌ๋ฅผ ์ฌ์ฉํฉ๋๋ค. - ์
additional_args์ต์ ์Dynamic fetcher์ ํด๋น ์ธ์ ํด๋์ค์ ์ถ๊ฐํ์ต๋๋ค. ์ด์ ์StealthyFetcher์ฒ๋ผ Playwright ์ปจํ ์คํธ์ ์ถ๊ฐ ์ธ์๋ฅผ ์ ๋ฌํ ์ ์์ต๋๋ค. - ๋ชจ๋ ๋ธ๋ผ์ฐ์ ์์ ๋ง์ง๋ง ํ์ ์๋ต์ ๊ฐ์ ธ์ค๋ ๋ผ์ฐํ ๋ก์ง์ ๊ฐ์ ํ์ต๋๋ค. ์ด์ ์๋ ๋ธ๋ผ์ฐ์ ๊ฐ ๋จผ์ ์ฒ๋ฆฌํ์ง๋ง, ์ด์ ์ฒ๋ฆฌ ์ ์ ์๋ณธ ์๋ต์ ํ์์ ์ ๋ฌํฉ๋๋ค. ํ ์คํธ/JSON ์๋ต์ ๋งค์ฐ ์ ์ฉํฉ๋๋ค.
๐ ๋ฒ๊ทธ ์์ {#v0.3.7-bug-fixes}
- ๋ผ์ฐํ ๋ก์ง์ ๋ค์ ๊ตฌํํ์ฌ ์ผ๋ถ Windows ๊ธฐ๊ธฐ์์ ๋ถ์์ ํ ์น์ฌ์ดํธ์ ๋ด์ฉ์ ๊ฐ์ ธ์ค์ง ๋ชปํ๋ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ์ต๋๋ค.
- ์ด๋ฒ ๋ฒ์ ์ ์ฌ๋ฌ ๋ฆฌํฉํฐ๋ง ๊ณผ์ ์์ ์ด์ ์๋ ์ฐพ๊ธฐ ์ด๋ ค์ ๋ ๋ง์ ๋ฒ๊ทธ์ ์ผ๋ถ IDE์ ์ด์ํ ์๋ ์์ฑ ๋ฌธ์ ๋ ํด๊ฒฐํ์ต๋๋ค.
- ๋ฌธ์ ์น์ฌ์ดํธ์ ์ฌ๋ฌ ๋ถ๋ถ์ ์์ ํ์ต๋๋ค.
v0.3.6 - 2025-10-01 {#v0.3.6}
๐ ์ ๊ธฐ๋ฅ {#v0.3.6-new-stuff}
solve_cloudflare์ธ์๋ฅผ ๊ฐ์ ํ์ฌStealthyFetcher์ ํด๋น ์ธ์ ํด๋์ค๊ฐ ๋ชจ๋ ์ข ๋ฅ์ Cloudflare Turnstile/Interstitial ๊ฒ์ฌ๋ฅผ ํต๊ณผํ ์ ์๊ฒ ํ์ต๋๋ค ๐- ์ด์ MCP ์๋ฒ์์
Streamable HTTP๋ฅผ ์ฌ์ฉํ ์ ์์ด ์๋ฒ๋ฅผ ์ฝ๊ฒ ์ธ๋ถ์ ์ ๊ณตํ ์ ์์ต๋๋ค. - Docker ์ง์์ ์ถ๊ฐํ์ต๋๋ค. ์ด์ ๋ฆด๋ฆฌ์ค๋ง๋ค ๋ชจ๋ ๋ธ๋ผ์ฐ์ ๊ฐ ํฌํจ๋ ์ด๋ฏธ์ง๋ฅผ ์๋์ผ๋ก ๋น๋ํ๊ณ Docker Hub์ ํธ์ํฉ๋๋ค.
๐ ๋ฒ๊ทธ ์์ {#v0.3.6-bug-fixes}
- ์ผ๋ถ ์ํฉ์์ ํ์์ ๋ฐ์ํ๋ ์ธ์ฝ๋ฉ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. ์ ์๋ ค์ง
invalid start byte์ค๋ฅ์ ๋๋ค. - ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ์ฌ๋ฌ ๋ถ๋ถ์ ์ฌ๊ตฌ์ฑํ์ฌ ๋ฉ๋ชจ๋ฆฌ ๋์๋ฅผ ์์ ํ์ต๋๋ค. ์ด์ ์ค์ ์ ๋ฐ๋ผ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ด ๋์ ๋๊ฒ ์ค์ด๋ญ๋๋ค. (#92๋ ํด๊ฒฐ)
- ์ฝ๋ ๊ณณ๊ณณ์ ํ์ ํ๊ธฐ๋ฅผ ๊ฐ์ ํ์ฌ IDE๋ฅผ ๋ ํธํ๊ฒ ์ฌ์ฉํ ์ ์๊ฒ ํ์ต๋๋ค. (#93๋ ํด๊ฒฐ)
v0.3.5 - 2025-09-20 {#v0.3.5}
์ฌ๋ฌ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ํ์ ๋ฆด๋ฆฌ์ค์ ๋๋ค
๐ ์ ๊ธฐ๋ฅ {#v0.3.5-new-stuff}
๋ชจ๋ ๋ธ๋ผ์ฐ์ Fetcher(
DynamicFetcher/StealthyFetcher/...)์ ํด๋น ์ธ์ ํด๋์ค๊ฐ ์น์ฌ์ดํธ๋ฅผ 15-20% ๋ ๋น ๋ฅด๊ฒ ๊ฐ์ ธ์ต๋๋ค.- @AbdullahY36 ๋์ด #87์์ ๋ก์ง์ ๊ฐ์ ํ์ฌ ํ์ด์ง ๊ด๋ฆฌ๊ฐ ํจ์ฌ ๋นจ๋ผ์ก์ต๋๋ค.
- ์ ์ฒด ๊ฒ์ฆ ๋ก์ง์ ์ต์ ํํ๊ณ ๋๊ธฐ ์์ฒญ์ ํ์ด์ง ์์ฑ์ ๊ฐ์ ํ์ฌ ์๋๊ฐ ํฌ๊ฒ ๋์์ก์ต๋๋ค.
DynamicFetcher์ ํด๋น ์ธ์ ํด๋์ค์์rebrowser-playwright๋ฅผPatchRight๋ก ๊ต์ฒดํ์ฌ ์คํ ์ค ๋ชจ๋๋ฅผ ํฌ๊ฒ ๊ฐ์ ํ์ต๋๋ค.- ์ด์ ์๋
rebrowser-playwright๊ฐstealth์real_chrome์ ํจ๊ป ์ฌ์ฉํ๋ฉด ์ ๋๋ก ๋์ํ์ง ์์ ๋นํ์ฑํ๋์์ต๋๋ค. ์ด์ PatchRight์์๋ ์ด ๋ฌธ์ ๊ฐ ์์ต๋๋ค. - ์ด์ closed ๋ชจ๋์ Shadow Root์ ์ํธ์์ฉํ ์ ์์ต๋๋ค.
PatchRight๊ฐ ์๋์ผ๋ก ์ฒ๋ฆฌํฉ๋๋ค.
- ์ด์ ์๋
๐ ๋ฒ๊ทธ ์์ {#v0.3.5-bug-fixes}
re๋ฉ์๋๋ฅผSelectorsํด๋์ค์์ ์ฌ์ฉํ ๋ ๋ฐ์ํ๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค.- ์น ์คํฌ๋ํ ์
ธ์
uncurl๊ณผcurl2fetcher๋ช ๋ น์ด curl์--data-rawํ๋๊ทธ๋ฅผ ์๋ชป ํ์ฑํ๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค. - ์น ์คํฌ๋ํ ์
ธ์
view๋ช ๋ น์์ ์น์ฌ์ดํธ์ ์ธ์ฝ๋ฉ์ ๋ฐ๋ผ ๋ฐ์ํ๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค. mcp๋ชจ๋์extract๋ช ๋ น์ ์ํฅ์ ์ฃผ๋ ์ฝํ ์ธ ๋ณํ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค.
์ ๊ธฐ์ฌ์ {#v0.3.5-new-contributors}
- @AbdullahY36 ๋์ด #87์์ ์ฒ์์ผ๋ก ๊ธฐ์ฌํ์ต๋๋ค.
v0.3.4 - 2025-09-16 {#v0.3.4}
์ฌ๋ฌ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ํ์ ๋ฆด๋ฆฌ์ค์ ๋๋ค
๐ ์ ๊ธฐ๋ฅ {#v0.3.4-new-stuff}
- ๋ํํ ์ ธ์ ๋ชจ๋ Fetcher ์ธ์ ํด๋์ค๋ฅผ ์ถ๊ฐํ์ต๋๋ค. ์ํฌํธ ์์ด ๋ฐ๋ก ์ฌ์ฉํ ์ ์์ต๋๋ค.
๐ ๋ฒ๊ทธ ์์ {#v0.3.4-bug-fixes}
- Cloudflare ๊ฒ์ฌ๋ฅผ ์ฒ๋ฆฌํ๋ฉด์ ํ์ด์ง ๋ด์ฉ์ ๊ฐ์ ธ์ฌ ๋ Windows์ Playwright API์์ ๋ฐ์ํ๋ ๋ฒ๊ทธ๋ฅผ ์ฐํํ๋ ๋ฐฉ๋ฒ์ ์ถ๊ฐํ์ต๋๋ค.
- ๋ํํ ์
ธ์์
view๋ช ๋ น์ ์ธ์ฝ๋ฉ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. max_pages์ธ์๋ก ์ธํดAsyncStealthySession์์ ์คํ์ด ์ค๋จ๋๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค.html_content์prettify์์ฑ์ ์ต๊ทผ ์ ๋ฐ์ดํธ๋ก ์๊ธด ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค.Selectorํด๋์ค์ ๋ ์์ฑ์ด ์ธ์ฝ๋ฉ์ ๋ฐ๋ผ ๋ฐ์ดํธ๋ฅผ ๋ฐํํ์ต๋๋ค. ์ด์ ๋ ๋ค ์ด์ ์ฒ๋ผ ๋ฌธ์์ด์ ๋ฐํํฉ๋๋ค.
v0.3.3 - 2025-09-15 {#v0.3.3}
- ๋ธ๋ผ์ฐ์ Fetcher์์ ๊ธฐ๋ณธ ๋ธ๋ผ์ฐ์ ํญ์ ์ ๊ฑฐํ๋ ๋ก์ง์ ์์ด์ต๋๋ค. ์ด ๋ก์ง์ด ์คํ์ ์ค๋จ์ํค๋ ์ค๋ฅ๋ฅผ ์ผ์ผ์ผฐ๊ธฐ ๋๋ฌธ์ ๋๋ค. Mac์์๋ ๋ฐ์ํ์ง ์์๊ณ Windows์ Linux์์๋ง ์ฌํํ์ต๋๋ค.
v0.3.2 - 2025-09-15 {#v0.3.2}
v0.3.2 ๋ฆด๋ฆฌ์ค ๋ ธํธ
๐ ์ ๊ธฐ๋ฅ {#v0.3.2-new-stuff}
์ ํ์ Fetcher ์์กด์ฑ: ๋ชจ๋ Fetcher๋ฅผ ์ ํ์ ์์กด์ฑ ๊ทธ๋ฃน์ผ๋ก ์ฎ๊ฒจ ํต์ฌ ํจํค์ง ํฌ๊ธฐ๋ฅผ ์ค์์ต๋๋ค. ์ด์ ๊ธฐ๋ณธ
scrapling๋ชจ๋์๋ ํ์๋ง ์์ต๋๋ค. Fetcher๋ ๋ช ๋ น์ค ์ต์ ์ ์ฌ์ฉํ๋ ค๋ฉดpip install "scrapling[fetchers]"๋ฅผ ์คํํด์ผ ํฉ๋๋ค. ์์ธํ ์ค์น ๋ฐฉ๋ฒ์ ์ฌ๊ธฐ๋ฅผ ํ์ธํ์ธ์.์ธ์ ์ ํ์ด์ง๋ณ ์ค์ : ๋ธ๋ผ์ฐ์ Fetcher์ ์ธ์ ํด๋์ค์์ ๊ฐ ํ์ด์ง๋ฅผ ๋ณ๋๋ก ์ค์ ํ ์ ์์ต๋๋ค. ์ด์ ์์ฒญ ์์ค์ ๋ชจ๋ ๋งค๊ฐ๋ณ์๋ ์ธ์ ์์ค์ ๋งค๊ฐ๋ณ์์ฒ๋ผ ๊ฒ์ฆํฉ๋๋ค. ์์ธํ ๋ด์ฉ์ ๋ฌธ์ ์น์ฌ์ดํธ์ ์ด ํ์ด์ง๋ฅผ ํ์ธํ์ธ์.
์์ :with StealthySession(headless=True, solve_cloudflare=True) as session: page = session.fetch('https://nopecha.com/demo/cloudflare', google_search=False)๋ธ๋ผ์ฐ์ Fetcher ๊ฐ์
ํ์ด์ง์์ JavaScript ์คํ์ด ๋๋ ๋๊น์ง ๊ธฐ๋ค๋ฆด์ง ์ ํ๋ ์ ์ต์ ์ ์ถ๊ฐํ์ต๋๋ค. ์ด์ ๊ณผ ๊ฐ์ด ๊ธฐ๋ณธ์ ์ผ๋ก ์ผ์ ธ ์์ต๋๋ค.
with DynamicSession(headless=True, disable_resources=False, network_idle=True) as session: page = session.fetch('https://quotes.toscrape.com/', load_dom=False)DynamicFetcher์ ํด๋น ์ธ์ ํด๋์ค์ ์คํ ์ค ๋ชจ๋๊ฐ ๋ ์์ ์ ์ผ๋ก ๋์ํฉ๋๋ค.DynamicFetcher์StealthyFetcher๋ชจ๋ ๋ฆฌ์์ค๋ฅผ ๋ ์ฌ์ฉํฉ๋๋ค. Playwright API์ ์๊ตฌ ์ปจํ ์คํธ๊ฐ ์ฌ๋ ๊ธฐ๋ณธ ํญ์ ์๋์ผ๋ก ์ฐพ์ ๋ซ์ต๋๋ค.๋ธ๋ผ์ฐ์ Fetcher์ ํ์ด์ง ์ํ ๋ก์ง์์ ์ค์ํ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค. ์ด์ ์ด์ ํ์ด์ง๋ฅผ ์ ํ์ด์ง๋ก ๊ต์ฒดํฉ๋๋ค. ์ํํ๋ฉฐ ์ฌ์ฌ์ฉํ๋ ํญ์๋ ์ด์ ์ค์ ์ด ๋จ์ ์์ ์ ์์ต๋๋ค.
StealthyFetcher์ ํด๋น ์ธ์ ํด๋์ค๊ฐ ์กฐ๊ธ ๋ ๋นจ๋ผ์ก์ต๋๋ค(5%).
.body์์ฑ ๊ฐ์ : ์ ๋ฌ๋ฐ์ ๋ด์ฉ์ ์ฒ๋ฆฌํ์ง ์๊ณ ๊ทธ๋๋ก ๋ฐํํ๋ฏ๋ก ํ์ผ์ ๋ค์ด๋ก๋ํ๊ณ HTML์ด ์๋ ์์ฒญ๋ ์ฒ๋ฆฌํ ์ ์์ต๋๋ค. ๋ค์์ ์ฌ์ง์ ๋ค์ด๋ก๋ํ๋ ์์ ์ ๋๋ค.from scrapling.fetchers import Fetcher page = Fetcher.get('https://raw.githubusercontent.com/D4Vinci/Scrapling/main/images/poster.png') with open(file='poster.png', mode='wb') as f: f.write(page.body)
๐ ๋ฒ๊ทธ ์์ {#v0.3.2-bug-fixes}
- ์ธ์ฝ๋ฉ ๋ฌธ์ ํด๊ฒฐ: ์ผ๋ถ ์น์ฌ์ดํธ์์ ํ์, mcp ๋ชจ๋, extract ๋ช ๋ น์ ๋ฐ์ํ๋ ์ฌ๋ฌ ์ธ์ฝ๋ฉ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. (#80๊ณผ #81๋ ํด๊ฒฐ)
- ๋ ๋น ๋ฅธ ํ์ฑ: ์ฌ๋ฌ ๋ณ๊ฒฝ์ผ๋ก ๋ผ์ด๋ธ๋ฌ๋ฆฌ๊ฐ ๋ ๋นจ๋ผ์ก์ผ๋ฉฐ, ์ ๋ฐ์ดํธ๋ ๋ฒค์น๋งํฌ์์ ํ์ธํ ์ ์์ต๋๋ค.
๐จ ๊ธฐํ {#v0.3.2-misc}
- ๋ฒค์น๋งํฌ ์ ๋ฐ์ดํธ: ํ์ฌ ์๋ ๊ฐ์ ์ ๋น์ทํ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ์ต์ ๋ฒ์ ๊ณผ ๋น๊ตํ๋๋ก ์ฑ๋ฅ ๋ฒค์น๋งํฌ๋ฅผ ๊ฐฑ์ ํ์ต๋๋ค.
- ๋ง์ ์ฝ๋๋ฅผ ๋ฆฌํฉํฐ๋งํ๊ณ ์ฌ์ฉํ์ง ์๋ ์ฝ๋๋ฅผ ๋ ๋์ ๊ตฌํ์ผ๋ก ๊ต์ฒดํ์ต๋๋ค: ์ฝ๋๊ฐ ์ค๊ณ ๋ ๊น๋ํด์ ธ ์ ์ง ๋ณด์๊ฐ ์ฌ์์ก์ต๋๋ค.
- YouTube ์์ ์ถ๊ฐ: MCP ๋ฌธ์์ ์์์ ํฌํจํ์ต๋๋ค.
- ์ ์ด์ ํ ํ๋ฆฟ: ๊ธฐ์กด ํ ํ๋ฆฟ์ ์ฌ์ฉํ ์ ์๋ ์ฌ์ฉ์๋ฅผ ์ํด ์ฌ์ด ์ ํ ํ๋ฆฟ์ ์ถ๊ฐํ์ต๋๋ค.
- CI ์ํฌํ๋ก ์ต์ ํ: ๋ฌธ์๋ ์ฝ๋๊ฐ ์๋ ํ์ผ๋ง ๋ฐ๋๋ฉด ํ ์คํธ ์ํฌํ๋ก๋ฅผ ๊ฑด๋๋๋๋ค.
- ์์กด์ฑ ์ ๋ฐ์ดํธ: ์ฌ๋ฌ ์์กด์ฑ์ ์ต์ ๋ฒ์ ์ผ๋ก ๋์์ต๋๋ค.
- ์ฝ๋ ์คํ์ผ ๊ฐ์ : ๋ชจ๋ ํ์ผ์ ์ ruff ๊ท์น์ ์ ์ฉํ์ต๋๋ค.
- Pre-commit ํ : pre-commit ์ค์ ์ ์ ๋ฐ์ดํธํ์ต๋๋ค.
๐ฏ ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ ์ฌํญ {#v0.3.2-breaking-changes}
max_pages๋งค๊ฐ๋ณ์๋ฅผ ๋๊ธฐStealthySession์์ ์ ๊ฑฐํ์ฌDynamicSession๊ณผ ๋ง์ท์ต๋๋ค. ๋๊ธฐ ๋ฒ์ ์์๋ ์๋ฏธ๊ฐ ์๋ ๋งค๊ฐ๋ณ์์ ๋๋ค.
v0.3.1 - 2025-09-02 {#v0.3.1}
shell์ ํ ์์กด์ฑ ๊ทธ๋ฃน ์์ด Scrapling์ ์ค์นํ ๋ ๋ฐ์ํ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. (#76)- ๋ชจ๋ ๋ธ๋ผ์ฐ์ Fetcher์ ํด๋น ์ธ์ ํด๋์ค์ ํ์ด์ง ์์ฑ ์ ์คํํ JS ํ์ผ์ ์ง์ ํ๋ ์ ์ธ์๋ฅผ ์ถ๊ฐํ์ต๋๋ค. (#56):
from scrapling.fetchers import StealthyFetcher
StealthyFetcher.fetch('https://example.com', init_script="/absolute/path/to/js/script.js")
v0.3 - 2025-09-01 {#v0.3}
๐ ์ฃผ์ ๋ฆด๋ฆฌ์ค - ์ ์ฒด ๊ตฌ์กฐ ๊ฐํธ
Scrapling v0.3์ ํ๋ก์ ํธ ์ญ์ฌ์ ๊ฐ์ฅ ํฐ ์ ๋ฐ์ดํธ์ ๋๋ค. ์ ์ฒด ๊ตฌ์กฐ๋ฅผ ์๋ก ์์ฑํ๊ณ ์ฑ๋ฅ์ ํฌ๊ฒ ๊ฐ์ ํ์ผ๋ฉฐ, AI ์ฐ๋๊ณผ ๋ํํ ์น ์คํฌ๋ํ ์ ธ์ ๋น๋กฏํ ๊ฐ๋ ฅํ ์ ๊ธฐ๋ฅ์ ์ถ๊ฐํ์ต๋๋ค.
์ด๋ฒ ๋ฆด๋ฆฌ์ค์๋ ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ ์ฌํญ์ด ์ฌ๋ฌ ๊ฐ ์์ต๋๋ค. ๋ฆด๋ฆฌ์ค ๋ ธํธ๋ฅผ ์ฃผ์ ๊น๊ฒ ์ฝ์ด ์ฃผ์ธ์.
๐ ์ฃผ์ ์ ๊ธฐ๋ฅ {#v0.3-major-new-features}
์ธ์ ๊ธฐ๋ฐ ๊ตฌ์กฐ {#v0.3-session-based-architecture}
- ์ ์ธ์
ํด๋์ค: ์ฝ๋๋ฅผ ์์ ํ ์๋ก ์์ฑํด ์ธ์
์ ์ ์งํ๋ ๊ธฐ๋ฅ์ ์ถ๊ฐํ์ต๋๋ค.
FetcherSession- ์ํ๋ฅผ ์ ์งํ๋ HTTP ์์ฒญ์ ๋๊ธฐ ์ฝ๋์ ๋น๋๊ธฐ ์ฝ๋ ๋ชจ๋์์ ์ฌ์ฉํ ์ ์์ต๋๋ค.DynamicSession/AsyncDynamicSession- ์์ ์ด ๋๋ ๋๊น์ง ๋ธ๋ผ์ฐ์ ๋ฅผ ์ด์ด๋ ์ฑ๋ก ๋ธ๋ผ์ฐ์ ๋ฅผ ์๋ํํฉ๋๋ค.StealthySession/AsyncStealthySession- ์์ ์ด ๋๋ ๋๊น์ง ๋ธ๋ผ์ฐ์ ๋ฅผ ์ด์ด๋ ์ฑ๋ก ์คํ ์ค ๋ชจ๋์์ ํ์ํฉ๋๋ค.
- ๋น๋๊ธฐ ๋ธ๋ผ์ฐ์ ํญ ๊ด๋ฆฌ: ์ ํญ ํ ๊ธฐ๋ฅ์
max_pages์ธ์๋ก ๋ธ๋ผ์ฐ์ ํญ์ ๋ฒ๊ฐ์ ์ฌ์ฉํ๋ฉฐ ์ฌ๋ฌ ํ์ด์ง๋ฅผ ๋์์ ๊ฐ์ ธ์ฌ ์ ์์ต๋๋ค. - ๋์ ์ธ์ : ์๋ก ๋ถ๋ฆฌ๋ ์ฌ๋ฌ ์ธ์ ์ ๋์์ ์คํํฉ๋๋ค.
์์ธํ ๋ด์ฉ์ ์น์ฌ์ดํธ์ Fetching ์น์
์ ์ฐธ๊ณ ํ์ธ์.
๋ค์ํ ์ ์คํ ์ค ๋ฐ ๋ด ์ฐจ๋จ ์ฐํ ๊ธฐ๋ฅ {#v0.3-a-lot-of-new-stealth-anti-bot-capabilities}
- ๐ค Cloudflare ๊ฒ์ฌ ํต๊ณผ: Cloudflare Turnstile ๊ฒ์ฌ๋ฅผ ์๋์ผ๋ก ํต๊ณผํ๋ ๊ธฐ๋ฅ์
StealthyFetcher์ ํด๋น ์ธ์ ํด๋์ค์ ์ถ๊ฐํ์ต๋๋ค. - ๋ธ๋ผ์ฐ์ ์ง๋ฌธ ๋ชจ๋ฐฉ: ์์ ํ ์๋ก ๋ง๋ Fetcher ํด๋์ค๋ก ์ค์ ๋ธ๋ผ์ฐ์ ์ TLS ์ง๋ฌธ๊ณผ ๋ฒ์ ์ ๋ง๋ ๋ธ๋ผ์ฐ์ ํค๋๋ฅผ ๋ชจ๋ฐฉํ๊ณ , HTTP/3 ๋ฑ์ ์ฌ์ฉํ ์ ์์ต๋๋ค.
- ์คํ
์ค ๋ชจ๋ ๊ฐ์ :
DynamicFetcher์ ํด๋น ์ธ์ ํด๋์ค์ ์คํ ์ค ๋ชจ๋๊ฐ ๋ ๊ฐ๋ ฅํ๊ณ ์์ ์ ์ผ๋ก ๋ฐ๋์์ต๋๋ค. (ํด๋์ค์ ๋ค๋ฅธ ์ด๋ฆ์PlayWrightFetcher์ ๋๋ค.)
AI ์ฐ๋ ๋ฐ MCP ์๋ฒ {#v0.3-ai-integration-mcp-server}
- ๊ธฐ๋ณธ ์ ๊ณต MCP ์๋ฒ: AI๋ก ์น ์คํฌ๋ํ์ ๋๋ Model Context Protocol ์๋ฒ์ ๋๋ค.
- ๊ฐ๋ ฅํ ๋๊ตฌ 6๊ฐ:
get,bulk_get,fetch,bulk_fetch,stealthy_fetch,bulk_stealthy_fetch - ์ค๋งํธ ์ฝํ ์ธ ์ถ์ถ: ์นํ์ด์ง๋ ์์๋ฅผ Markdown ๋๋ HTML๋ก ๋ณํํ๊ฑฐ๋ ์ ๋ฆฌ๋ ํ ์คํธ๋ง ์ถ์ถํฉ๋๋ค.
- CSS ์ ํ์ ์ง์: AI์ ์ฝํ ์ธ ๋ฅผ ์ ๋ฌํ๊ธฐ ์ ์ Scrapling ์์ง์ผ๋ก ํน์ ์์๋ฅผ ์ ํํ๊ฒ ์ ํํฉ๋๋ค.
- ๋ด ์ฐจ๋จ ์ฐํ: Cloudflare Turnstile๊ณผ ๋ค๋ฅธ ๋ณดํธ ์ฅ์น๋ฅผ ์ฒ๋ฆฌํฉ๋๋ค.
- ํ๋ก์ ์ง์: ํ๋ก์๋ก ์ต๋ช ์ฑ์ ์ ์งํ๊ณ ํน์ ์ง์ญ์์ ์ ์ํ ์ ์์ต๋๋ค.
- ๋ธ๋ผ์ฐ์ ๋ชจ๋ฐฉ: TLS ์ง๋ฌธ๊ณผ ๋ฒ์ ์ ๋ง๋ ์ค์ ๋ธ๋ผ์ฐ์ ํค๋ ๋ฑ์ผ๋ก ์ค์ ๋ธ๋ผ์ฐ์ ๋ฅผ ๋ชจ๋ฐฉํฉ๋๋ค.
- ๋ณ๋ ฌ ์ฒ๋ฆฌ: ์ฌ๋ฌ URL์ ๋์์ ์คํฌ๋ํํด ํจ์จ์ ๋์ ๋๋ค.
- ๊ทธ ๋ฐ์ ๊ธฐ๋ฅ...
์๋ก์ด ๋ํํ ์น ์คํฌ๋ํ ์ ธ {#v0.3-new-interactive-web-scraping-shell}
- ์๋ก์ด ์
ธ:
get,post,put,delete,fetch,stealthy_fetch๊ฐ์ ํธ๋ฆฌํ ๋จ์ถ ํจ์๋ฅผ ๊ธฐ๋ณธ ์ ๊ณตํ๋ ๋ง์ถคํ IPython ์ ธ์ ๋๋ค. - ์ค๋งํธ ํ์ด์ง ๊ด๋ฆฌ: ์ ๋ช
๋ น์ธ
page์pages๊ฐ ์ ธ์์ ๋ณด๋ธ ๋ชจ๋ ์์ฒญ์ ํ์ฌ ํ์ด์ง์ ๊ธฐ๋ก์ ์๋์ผ๋ก ์ ์ฅํฉ๋๋ค. - curl ์ฐ๋: ๋ธ๋ผ์ฐ์ DevTools์ curl ๋ช
๋ น์
uncurl๊ณผcurl2fetcherํจ์๋กFetcher์์ฒญ์ผ๋ก ๋ณํํฉ๋๋ค. - ๊ทธ ๋ฐ์ ๊ธฐ๋ฅ...
ํ๋ก๊ทธ๋๋ฐ ์์ด ํฐ๋ฏธ๋์์ ์คํฌ๋ํํ๊ธฐ {#v0.3-scrape-from-the-terminal-without-programming}
- ์ ์ถ์ถ ๋ช
๋ น: ํ๋ก๊ทธ๋๋ฐ ์์ด ํฐ๋ฏธ๋์์ ์คํฌ๋ํํฉ๋๋ค.
scrapling extract get/post/put/delete- ๊ฐ๋จํ HTTP ์์ฒญscrapling extract fetch- ๋์ ์ฝํ ์ธ ์คํฌ๋ํscrapling extract stealthy-fetch- ๋ด ์ฐจ๋จ ์ฐํ
- ์นํ์ด์ง๋ฅผ ๋ค์ด๋ก๋ํ๊ณ ์ฝํ ์ธ ๋ฅผ ํ์ผ์ ์ ์ฅํฉ๋๋ค.
- HTML์ Markdown์ฒ๋ผ ์ฝ๊ธฐ ์ฌ์ด ํ์์ผ๋ก ๋ณํํ๊ฑฐ๋, HTML ๊ทธ๋๋ก ์ ์ฅํ๊ฑฐ๋, ํ์ด์ง์ ํ ์คํธ๋ง ์ถ์ถํฉ๋๋ค.
- ์ฌ์ฉ์ ์ง์ CSS ์ ํ์๋ฅผ ์ง์ํด ํ์ด์ง์ ํน์ ๋ถ๋ถ์ ์ถ์ถํ ์ ์์ต๋๋ค.
- HTTP ์์ฒญ๊ณผ ๋ธ๋ผ์ฐ์ ๋ฅผ ํตํ ๊ฐ์ ธ์ค๊ธฐ๋ฅผ ์ฒ๋ฆฌํฉ๋๋ค.
- ๋ค์ํ ์ค์ ์ ์ง์ํฉ๋๋ค. ์ฌ์ฉ์ ์ง์ ํค๋, ์ฟ ํค, ํ๋ก์ ๋ฑ ์ฌ๋ฌ ์ต์ ์ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์ฝ๋์์ ์ธ ์ ์๋ ๊ฑฐ์ ๋ชจ๋ ์ต์ ์ ํฐ๋ฏธ๋์์๋ ์ธ ์ ์์ต๋๋ค.
- ๊ทธ ๋ฐ์ ๊ธฐ๋ฅ...
๐ง ๊ธฐ์ ๊ฐ์ {#v0.3-technical-improvements}
์ฑ๋ฅ ๊ฐ์ {#v0.3-performance-enhancements}
- Fetcher๊ฐ ์ด์ 4๋ฐฐ ๋น ๋ฆ ๋๋ค. ๋ค, ์ ๋๋ก ์ฝ์ผ์ จ์ต๋๋ค!
- DynamicFetcher๊ฐ ์ด์ ์ฝ 60% ๋น ๋ฆ ๋๋ค. ์ค์ ์ ๋ฐ๋ผ ํจ์ฌ ๋นจ๋ผ์ง๋๋ค. ํนํ ์คํ ์ค ๋ชจ๋์์ ๊ทธ๋ ์ต๋๋ค.
- StealthyFetcher๊ฐ ์ด์ 20โ30% ๋น ๋ฆ
๋๋ค. ์ ๊ตฌ์กฐ๋ฅผ ์ฌ์ฉํ๊ณ
CamoufoxPython ์ธํฐํ์ด์ค ๋์ ์์ฒด ๊ตฌํ์ ์ฌ์ฉํ๊ธฐ ์์ํ์ต๋๋ค. - ์ฃผ์ ์ ํ ๋ฉ์๋(
find_by_text,find_similar,find_by_regex,relocate๋ฑ)์ ์ ์ฒด ์๋๊ฐ 50%+ ํฅ์๋์ต๋๋ค. ๐ - ์ฒซ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํํ๋ CSS/XPath ๋ฉ์๋์ ์๋๊ฐ ์ฝ 10% ํฅ์๋์ต๋๋ค.
css_first์xpath_first๊ฐ ์ด์ css์xpath๋ณด๋ค ๋น ๋ฆ ๋๋ค. - ์ฝํ
์ธ ์ถ์ถ์ ์ฐ๋
get_all_text()๋ฉ์๋๊ฐ 40% ๋นจ๋ผ์ก์ต๋๋ค. - ์ ์ํ ๊ธฐ๋ฅ์ผ๋ก ์์๋ฅผ ๋ค์ ์ฐพ๋ ์๋๊ฐ 20% ํฅ์๋์ต๋๋ค.
- ํ์ ์์ฑ ์ต์ ํ:
next,previous,below_elements๋ฑ์ ์์ฑ์ด ๋์ ๋๊ฒ ๋นจ๋ผ์ก์ต๋๋ค. - ํ ์คํธ ์ ๋ฆฌ ์์ ์ด 5๋ฐฐ ๋นจ๋ผ์ก์ต๋๋ค.
- ๊ฐ์ ธ์ค๊ธฐ ๊ตฌ๋ฌธ์ ์ต์ ํํ๊ณ ๋ถ๊ฐ ์์ ์ ์ค์ฌ ๋ฉ๋ชจ๋ฆฌ ํจ์จ์ ๊ฐ์ ํ์ต๋๋ค.
- โก ๋งค์ฐ ๋น ๋ฅธ ๊ฐ์ ธ์ค๊ธฐ: ๋ชจ๋ ๋ก๋ฉ์ ์ต์ ํํด ์์ ์๊ฐ์ ์ค์์ต๋๋ค.
- ๋ฒค์น๋งํฌ ๊ฐ์ : ์๋ ๊ฐ์ ์ผ๋ก Scrapling์ด ๋ค๋ฅธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๋น๊ตํด ์ด์ ๋ณด๋ค ํจ์ฌ ๋นจ๋ผ์ก์ต๋๋ค. BeautifulSoup๋ณด๋ค 1775๋ฐฐ, AutoScraper๋ณด๋ค 5.1๋ฐฐ ๋น ๋ฆ ๋๋ค. ๋ฒค์น๋งํฌ๋ฅผ ํ์ธํ์ธ์.
๊ตฌ์กฐ, ์ฝ๋ ํ์ง ๋ฐ ์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.3-architecture-code-quality-and-quality-of-life}
- ์๊ตฌ ์ปจํ ์คํธ: ๋ชจ๋ ๋ธ๋ผ์ฐ์ ๊ธฐ๋ฐ Fetcher๊ฐ ์ด์ ๊ธฐ๋ณธ์ ์ผ๋ก ์๊ตฌ ์ปจํ ์คํธ๋ฅผ ์ฌ์ฉํฉ๋๋ค. (#64๋ ํด๊ฒฐํฉ๋๋ค.)
- msgspec์ผ๋ก ๋ชจ๋ ๋ธ๋ผ์ฐ์ ๊ธฐ๋ฐ Fetcher์ ์ค์ ์ ๋น ๋ฅด๊ฒ ๊ฒ์ฆํฉ๋๋ค. ์์ฒญ์ ์คํํ๊ธฐ ์ ์ ๊ฒ์ฆํ๋ฏ๋ก ์ค๋ฅ๋ฅผ ๋ ์ฝ๊ฒ ์ฐพ์ ์ ์์ต๋๋ค.
- Fetcher๊ฐ ๋ฐํํ๋ ๋ชจ๋ ์ฟ ํค๊ฐ ์ด์ ํด๋น Fetcher์์ ๋ฐ๋ ํ์๊ณผ ์ผ์นํฉ๋๋ค. ๋ฐ๋ผ์ ์ฟ ํค๋ฅผ ๊ฐ์ ธ์จ ๋ค ๋ชจ๋ Fetcher์ ํด๋น ์ธ์ ํด๋์ค์ ๋ค์ ์ ๋ฌํ ์ ์์ต๋๋ค.
ruff๋ก ์ ํํด ๋ฆฐํธ ๊ฒ์ฌ์ ์์ ์ง์ ์ด ๋นจ๋ผ์ก์ต๋๋ค.- ํ๋์ ์ธ ๋น๋ ์์คํ : setup.py์์ pyproject.toml๋ก ์ ํํ์ต๋๋ค. ๐ฆ
- GitHub Actions์ ์ํฌํ๋ก๋ฅผ ๊ฐ์ ํด ๊ฐ๋ฐ๊ณผ ํ ์คํธ๋ฅผ ๋ ์ํํ๊ฒ ์งํํ ์ ์์ต๋๋ค.
- ๐จ ํ์ ํํธ ๊ฐ์ : ์ต์ Python ํ์ค์ผ๋ก ๋ชจ๋ ํ์ ์ ํ์ํด IDE ์ง์๊ณผ ์์ ์ฑ์ ๋์์ต๋๋ค.
- ๋ ๊น๋ํ ์ฝ๋: ์ฌ์ฉํ์ง ์๋ ์ฝ๋๋ฅผ ์ ๊ฑฐํ๊ณ ํต์ฌ ํจ์๋ฅผ ์ต์ ํํ์ต๋๋ค. ๐งน
- ๐ ํ์ ํธํ์ฑ: ์ด์ ์ฝ๋์์ ํธํ์ฑ์ ์ ์งํ๋ ๋จ์ถ ๊ธฐ๋ฅ์ ์ถ๊ฐํ์ต๋๋ค.
ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ ์ฌํญ {#v0.3-breaking-changes}
์ต์ Python ๋ฒ์ {#v0.3-minimum-python-version}
- Python 3.10+ ํ์: Python 3.9 ์ดํ ๋ฒ์ ์ ์ง์์ ์ค๋จํ์ต๋๋ค.
ํด๋์ค์ ๋ฉ์๋ ์ด๋ฆ {#v0.3-class-and-method-naming}
ํนํ ์ ์ฌ์ฉ์๊ฐ ๋ ์ฝ๊ฒ ์ดํดํ๊ณ ์ผ๊ด๋๊ฒ ์ฌ์ฉํ ์ ์๋๋ก ์ด๋ฆ์ ๋ฐ๊ฟจ์ต๋๋ค.
AdaptorโSelector: ํต์ฌ ํ์ฑ ํด๋์ค์ ์ด๋ฆ์ ๋ฐ๊ฟจ์ต๋๋ค. ํ์ ํธํ์ฑ์ ์ํดAdaptor๋ก๋ ๊ฐ์ ธ์ฌ ์ ์์ต๋๋ค.AdaptorsโSelectors: ์ปฌ๋ ์ ํด๋์ค์ ์ด๋ฆ์ ๋ฐ๊ฟจ์ต๋๋ค. ํ์ ํธํ์ฑ์ ์ํดAdaptors๋ก๋ ๊ฐ์ ธ์ฌ ์ ์์ต๋๋ค.auto_matchโadaptive: ๋ชจ๋ ๋ฉ์๋์์ ์ธ์ ์ด๋ฆ์ ๋ฐ๊ฟจ์ต๋๋ค.adaptor_argumentsโselector_config: ์ค์ ์ธ์์ ์ด๋ฆ์ ๋ฐ๊ฟจ์ต๋๋ค.automatch_domainโadaptive_domain: ๋๋ฉ์ธ ์ธ์์ ์ด๋ฆ์ ๋ฐ๊ฟจ์ต๋๋ค.additional_argumentsโadditional_args: ์ธ์ ์ด๋ฆ์ ์ค์์ต๋๋ค.- โ ๏ธ
text/bodyโcontent: Selector ์์ฑ์ ์ธ์๊ฐ ์ด์ str๊ณผbytesํ์์ ๋ชจ๋ ๋ฐ์ต๋๋ค. PlayWrightFetcherโDynamicFetcher: ๋ธ๋ผ์ฐ์ ์๋ํ ํด๋์ค์ ์ด๋ฆ์ ๋ฐ๊ฟจ์ต๋๋ค. ํ์ ํธํ์ฑ์ ์ํดPlayWrightFetcher๋ก๋ ๊ฐ์ ธ์ฌ ์ ์์ต๋๋ค.- DynamicFetcher์์ NSTBrowser ๋ก์ง๊ณผ ์ธ์๋ฅผ ์ ๊ฑฐํ์ต๋๋ค. ์ด์ ์ด ๋ก์ง์ ๋จ๊ฒจ๋ ์ด์ ๊ฐ ์๊ธฐ ๋๋ฌธ์ ๋๋ค.
- StealthyFetcher์ headless ์ธ์์ ๋ ์ด์ 'virtual'์ ์ ๋ฌํ ์ ์์ต๋๋ค. ์ด์ Camoufox ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ ๋ธ๋ผ์ฐ์ ์ค์น ๊ฒฝ๋ก์ ๋๋จธ์ง ์คํ ์ต์ ์ ๊ฐ์ ธ์ค๋ ์ฉ๋๋ก๋ง ์ฌ์ฉํ๊ธฐ ๋๋ฌธ์ ๋๋ค.
๐ ๋ฒ๊ทธ ์์ {#v0.3-bug-fixes}
get_all_text์์ ๋ฌด์ํ๋ ํ๊ทธ ์์ ์ค์ฒฉ๋ ์์ ์์๋ฅผ ์ธ๋ ๋ฐฉ์์ ์์ ํ์ต๋๋ค. (#61)- Python ์คํ ํ์ผ ๊ฒฝ๋ก์ ๊ณต๋ฐฑ์ด ์์ผ๋ฉด ์ค์น์ ๋ฌธ์ ๊ฐ ์๊ธฐ๋ ์ค๋ฅ๋ฅผ ์์ ํ์ต๋๋ค. (#57)
- ์ ์ํ ๊ธฐ๋ฅ์ ์ผฐ์ ๋ ์ ์ฅ์์ ์ฌ๊ท ์ฒ๋ฆฌ์์ ์๊ธฐ๋ ์ค๋ ๋ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ์ต๋๋ค.
FetcherSession์ Sentinel ํจํด์ ์ฌ์ฉํด ์ธ์ ์ฐ์ ์์ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค.StealthyFetcher์ ํ๋ก์ ํ์ ์ฒ๋ฆฌ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ์ต๋๋ค.referer์google_search์ธ์์ ์ถฉ๋์ ์์ ํ์ต๋๋ค.- ๋น๋๊ธฐ ์คํ ์ค ์คํฌ๋ฆฝํธ ์ฝ์ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค.
v0.2.99 - 2025-04-08 {#v0.2.99}
Scrapling์ ๊ธฐ๋ฅ์ ์จ์ ํ ์ฌ์ฉํ๋ ค๋ฉด ๊ผญ ํ์ํ ์ ๋ฐ์ดํธ์ ๋๋ค.
๋ณ๊ฒฝ ์ฌํญ {#v0.2.99-what-s-changed}
์ ์ฒด ๋ฌธ์๋ฅผ ๋ด์ ์ ์น์ฌ์ดํธ {#v0.2.99-new-full-documentation-website}
- ๋๋์ด ์์ฑํ์ต๋๋ค. ๐ ์ฌ๊ธฐ์์ ํ์ธํ์ธ์.
Fetcher ๊ฐ์ ธ์ค๊ธฐ ๋ฐฉ์ ํต์ผ {#v0.2.99-unified-import-logic-for-fetchers}
- ์ด์
from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher, PlayWrightFetcher๋ก ๋ชจ๋ Fetcher๋ฅผ ๊ฐ์ ธ์จ ๋ค, ๊ฐ์ฒด๋ฅผ ๋ง๋ค์ง ์๊ณpage = Fetcher.get(...)์ฒ๋ผ ๋ฐ๋ก ์ฌ์ฉํ ์ ์์ต๋๋ค.
๊ธฐ์กด์from scrapling.defaults import Fetcher, AsyncFetcher, StealthyFetcher, PlayWrightFetcher๋ฅผ ๋์ฒดํฉ๋๋ค.
ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ: automatch๊ฐ ์ด์ ๊ธฐ๋ณธ์ ์ผ๋ก ๊บผ์ง๋๋ค {#v0.2.99-breaking-change-automatch-is-now-turned-off-by-default}
- Fetcher์์ automatch๋ฅผ ์ผ๊ฑฐ๋ ๋ค๋ฅธ ํ์ฑ ์ต์
์ ์ค์ ํ๋ ์ ๋ฐฉ์์ ์ถ๊ฐํ์ต๋๋ค. ์์ธํ ๋ด์ฉ์ ๋ฌธ์ ํ์ด์ง๋ฅผ ์ฐธ๊ณ ํ์ธ์.
ํ์ ํธํ์ฑ์ ์ํด ๊ธฐ์กด ๊ฐ์ ธ์ค๊ธฐ ๊ตฌ๋ฌธ๊ณผ ๋ก์ง๋ ๊ฒฝ๊ณ ์ ํจ๊ป ๊ณ์ ์ฌ์ฉํ ์ ์์ต๋๋ค.
Fetcher์ ์ ์ต์ ์ถ๊ฐ {#v0.2.99-new-options-added-to-fetchers}
StealthyFetcher์PlayWrightFetcher๋ชจ๋ ํ์ด์ง๋ฅผ ๊ฐ์ ธ์ฌ ๋ ์ฐ๋ ์ ์ธ์wait๋ฅผ ์ง์ํฉ๋๋ค. ํ์ด์ง๋ฅผ ๋ซ๊ณ ์๋ต์ ๋ฐํํ๊ธฐ ์ ์ ์ง์ ํ ์๊ฐ(๋ฐ๋ฆฌ์ด)๋งํผ ๊ธฐ๋ค๋ฆฝ๋๋ค.- ์ด์
StealthyFetcher์fetch์async_fetch๋ฉ์๋๊ฐadditional_arguments์ธ์๋ฅผ ์ง์ํฉ๋๋ค. Camoufox์ ์ถ๊ฐ ์ค์ ์ผ๋ก ์ ๋ฌํ๋ฉฐ Scrapling ์ค์ ๋ณด๋ค ์ฐ์ ํฉ๋๋ค. (#54)
๋ฒ๊ทธ ์์ {#v0.2.99-bugs-squashed}
async_fetch์์ ๋ฆฌ๋๋ ์ ์ ์ฒ๋ฆฌํ๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค.StealthyFetcher์PlayWrightFetcherํด๋์ค ๋ชจ๋์ ํด๋นํฉ๋๋ค.
๋ชจ๋ ์์๊ณผ ๊ธฐ๋ถ์ ๊ฐ์ฌ๋๋ฆฝ๋๋ค!
v0.2.98 - 2025-03-17 {#v0.2.98}
Scrapling์ ๊ธฐ๋ฅ์ ์จ์ ํ ์ฌ์ฉํ๋ ค๋ฉด ๊ผญ ํ์ํ ์ ๋ฐ์ดํธ์ ๋๋ค.
๋ณ๊ฒฝ ์ฌํญ {#v0.2.98-what-s-changed}
๋ค์ํ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋ ๋ฐ ์๋ ์ต์ ํ {#v0.2.98-various-memory-usage-and-speed-optimizations}
- ๋ชจ๋ ์ ํ ๋ฉ์๋์ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ด ์ด์ ์ ์ฝ 40%๋ก ์ค์๊ณ ์๋๋ ์กฐ๊ธ ๋นจ๋ผ์ก์ต๋๋ค.
- ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๋ชจ๋ ํ์ ๋ชจ๋์ ์ง์ฐ ๋ก๋ฉ์ ์ ์ฉํด ์ฌ์ฉํ๋ ๋ถ๋ถ๋ง ๋ก๋ํฉ๋๋ค. ์๋ฅผ ๋ค๋ฉด ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
์
๋ฐ์ดํธ ์ ์๋
from scrapling import Adaptor๋ฅผ ์คํํ๋ฉด ๋ชจ๋ Fetcher ๋ฑ๋ ํจ๊ป ๋ก๋๋์ด RAM์30-40mb์ฌ์ฉํ์ต๋๋ค. ์ด์ ๋~1.2mb๋ง ์ฌ์ฉํฉ๋๋ค. - ์ง๋ ์ ๋ฐ์ดํธ์์๋ ํฐ ์์ฒญ ํ์ ์ฌ์ฉํ ๋ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ ์ด์ ์ ์ฝ 32%๋ก ์ค์์ต๋๋ค. ์ด๋ฒ์๋ ์บ์๋ฅผ ๋ ์กฐ์ ํด ๊ทธ๋ณด๋ค ์ ๊ฒ ์ฌ์ฉํฉ๋๋ค.
- ํ์์ ์ ์ฒด ์๋๊ฐ 2-5% ์ ๋ ํฅ์๋์ต๋๋ค.
๋ชจ๋ ์์๊ณผ ๊ธฐ๋ถ์ ๊ฐ์ฌ๋๋ฆฝ๋๋ค!
v0.2.97 - 2025-03-15 {#v0.2.97}
Scrapling์ ๊ธฐ๋ฅ์ ์จ์ ํ ์ฌ์ฉํ๋ ค๋ฉด ๊ผญ ํ์ํ ์ ๋ฐ์ดํธ์ ๋๋ค.
๋ณ๊ฒฝ ์ฌํญ {#v0.2.97-what-s-changed}
๋ชจ๋ Fetcher์ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋ ๊ฐ์ ๋ฐ ์ํญ ์๋ ํฅ์ {#v0.2.97-lower-memory-usage-and-small-speed-increase-across-all-fetchers}
- ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ ๋ฐ์ ์บ์ ํฌ๊ธฐ ์ ํ์ ์๋ก ์ ์ฉํ์ต๋๋ค. ๋ง์ ์์ฒญ์ด๋ ์์ ์ ์ฒ๋ฆฌํ ๋ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ด ๋์ ๋๊ฒ ์ค์ด๋ญ๋๋ค.
- Fetcher ์ฝ๋์ ๋ง์ ๋ถ๋ถ์ ์ ๋ฆฌํด ์ ์ง๋ณด์๋ฅผ ์ฝ๊ฒ ํ๊ณ ์๋๋ฅผ ์กฐ๊ธ ๋์์ต๋๋ค.
๋ฒ๊ทธ ์์ {#v0.2.97-bugs-fixed}
TextHandler๋ง ๊ฐ์ ธ์ ๋ฌธ์์ด์ด ์๋ ๊ฐ์ ์ ๋ฌํ๋ฉด ๋น ๋ฌธ์์ด๋ก ๋ฐ๋๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค. ์ด์ TextHandler์ ์ ๋ฌํ ๊ฐ์ ๋จผ์ ๋ฌธ์์ด๋ก ๋ฐ๋ ๋ค์TextHandler๋ก ๋ณํ๋ฉ๋๋ค. ์ด๋ค ๊ฐ์ด๋ ์ด ๊ณผ์ ์ ๊ฑฐ์นฉ๋๋ค.TextHandler๋ ์ด๋ฆ ๊ทธ๋๋ก ๋ฌธ์์ด๋ง ๋ค๋ฃจ๋ ํด๋์ค์ ๋๋ค! (#45)- ๋๋ถ๋ถ์ AsyncFetcher ๋ฉ์๋์์
retries์ธ์๊ฐ ๋ฐ์๋์ง ์๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค.
๊ธฐํ {#v0.2.97-miscellaneous}
- ๋ชจ๋ Fetcher์์ ๋๋ถ๋ถ์ ์ธ์์ ๋ํ ํ์ ํํธ๋ฅผ ๋ ๋ช ํํ๊ณ ์ ํํ๊ฒ ๋ฐ๊ฟจ์ต๋๋ค.
๋ชจ๋ ์์๊ณผ ๊ธฐ๋ถ์ ๊ฐ์ฌ๋๋ฆฝ๋๋ค!
v0.2.96 - 2025-03-05 {#v0.2.96}
Scrapling์ ๊ธฐ๋ฅ์ ์จ์ ํ ์ฌ์ฉํ๋ ค๋ฉด ๊ผญ ํ์ํ ์ ๋ฐ์ดํธ์ ๋๋ค.
๋ณ๊ฒฝ ์ฌํญ {#v0.2.96-what-s-changed}
-f์ต์ ์scrapling install์ ์ถ๊ฐํด ๋ธ๋ผ์ฐ์ ์์กด ํจํค์ง๋ฅผ ๊ฐ์ ๋ก ๋ค์ ์ค์นํ ์ ์์ต๋๋ค. ์ง๊ธscrapling install -f๋ฅผ ์คํํ๋ ๊ฒ์ ๊ถ์ฅํฉ๋๋ค. ์ Camoufox ๋ธ๋ผ์ฐ์ ๋ฒ์ ์ผ๋กStealthyFetcher๊ฐ ํจ์ฌ ๋นจ๋ผ์ง ๊ฒ์ ๋๋ ์ ์์ต๋๋ค. :)TextHandler๋ฅผ ์ฌ๋ผ์ด์ฑํ๋ฉดTextHandlers๊ฐ ๋ฐํ๋๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค. ์ด์ TextHandler๋ฅผ ๋ฐํํ๋ฉฐ ๊ด๋ จ ํ์ ํํธ๋ ์์ ํ์ต๋๋ค. (#41)scrapling install์ด ์ผ๋ถ ์ํฉ์์ Python ์ ธ์ ์ด๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค!
v0.2.95 - 2025-02-25 {#v0.2.95}
Scrapling์ ๊ธฐ๋ฅ์ ์จ์ ํ ์ฌ์ฉํ๋ ค๋ฉด ๊ผญ ํ์ํ ์ ๋ฐ์ดํธ์ ๋๋ค.
๋ณ๊ฒฝ ์ฌํญ {#v0.2.95-what-s-changed}
Fetcher์์stealthy_headers์ธ์๋ก ์์ฑํ ํค๋๊ฐAccept๋ฑ ์ฌ์ฉ์๊ฐ ์ง์ ํ ์ผ๋ถ ํค๋๋ฅผ ๋ฎ์ด์ฐ๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค. (#39)- ํค๋ ์์ฑ ๋ก์ง์ ์กฐ๊ธ ๊ฐ์ ํด ์๋๋ ์ฝ๊ฐ ๋นจ๋ผ์ง ๊ฒ์ ๋๋ค.
v0.2.94 - 2025-02-22 {#v0.2.94}
Scrapling์ ๊ธฐ๋ฅ์ ์จ์ ํ ์ฌ์ฉํ๋ ค๋ฉด ๊ผญ ํ์ํ ์ ๋ฐ์ดํธ์ ๋๋ค.
๋ณ๊ฒฝ ์ฌํญ {#v0.2.94-what-s-changed}
- ๋ฆฌ๋๋ ์
์ ํ์ธํ ์ ์๋๋ก ๋ชจ๋ Fetcher์
history์์ฑ์ ์ถ๊ฐํ์ต๋๋ค. (#32) case_sensitive์ธ์์ ๋ก์ง์ ๋ชจ๋re/re_first์์ ์์ ํ์ต๋๋ค. ์ด ์ธ์๋ฅผ ์ฌ์ฉํ๋ค๋ฉด ์ฝ๋๊ฐ ๋ค๋ฅธ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํํ ์ ์์ต๋๋ค. (์ ๋๋ก ์๋ํ์ง ์๋ ๊ฒ์ ์๋ฉด์ ์ด์๋ฅผ ์ด์ง ์์ผ์ จ์ผ๋ ์ด์ฉ ์ ์์ฃ . ใ ใ )- ์์กด ํจํค์ง๋ฅผ ์
๋ฐ์ดํธํ๊ณ Camoufox ์์ง(StealthyFetcher)์์
coop์ ๋ค์ ์ผฐ์ต๋๋ค.
v0.2.93 - 2025-01-31 {#v0.2.93}
Scrapling์ ๊ธฐ๋ฅ์ ์จ์ ํ ์ฌ์ฉํ๋ ค๋ฉด ๊ผญ ํ์ํ ์ ๋ฐ์ดํธ์ ๋๋ค.
๋ณ๊ฒฝ ์ฌํญ {#v0.2.93-what-s-changed}
- ํ์ฑ ์์ง ์ ์ฒด์ ๋ฐํ ํ์
์ ํต์ผํ์ต๋๋ค. ํญ์
Adaptor,Adaptors,TextHandler,TextHandlers,None์ค ํ๋๋ฅผ ๋ฐํํ๋ฉฐ, CSS ์ ํ์๋ฅผ ์กฐํฉํ ๊ฒฝ์ฐ์ฒ๋ผ ๊ฒฐ๊ณผ๊ฐ ์์ฌ ์์ผ๋ฉด ๋ฆฌ์คํธ๋ฅผ ๋ฐํํฉ๋๋ค. ํ์ ์ ์ง์ ํ์ธํ๋ ์์ ์ ์ค์ฌ ์ฝ๋๋ฅผ ๋ ํธํ๊ฒ ์์ฑํ๊ณ , ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ๋ ์์ ์ ์ผ๋ก ์ฌ์ฉํ๋ฉฐ, ๋ฉ์๋๋ฅผ ํญ์ ์ด์ด์ ํธ์ถํ ์ ์์ต๋๋ค. - ํ์ฑ ์์ง ๋๋ถ๋ถ, ํนํ
Adaptorํด๋์ค๋ฅผ ๋ ๊น๋ํ๊ณ ๋น ๋ฅด๊ฒ ์ ๋ฆฌํ์ต๋๋ค. ๊ฑฐ์ ๋ชจ๋ ๋ฉ์๋์ ์์ฑ, ํนํ ๊ฒ์ ๋ฉ์๋์ ์๋๊ฐ 5-40% ํฅ์๋์ต๋๋ค. ์ผ๋ถ ๋ฉ์๋๋ ๋ ํฌ๊ฒ ๋นจ๋ผ์ก์ต๋๋ค.find_by_regex๋ ์ฝ 60% ๋นจ๋ผ์ก์ต๋๋ค! automatch ๊ธฐ๋ฅ๋ ์ฝ 5% ๋นจ๋ผ์ก์ต๋๋ค. find_all/find๋ฉ์๋๊ฐ ์ ๋ฌ๋ฐ์ ํํฐ๋ฅผ ์ด๋ค ๋๋ OR๋ก, ์ด๋ค ๋๋ AND๋ก ์ ์ฉํ๋ ๋ก์ง ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค. ์ด์ ๋ฐํ๋๋ ๋ชจ๋ ์์๋ ์ ๋ฌํ ๋ชจ๋ ํํฐ๋ฅผ ๋ง์กฑํด์ผ ํฉ๋๋ค.- ์ ๊ท์ ๊ด๋ จ ๋ฉ์๋๊ฐ ๋ชจ๋
TextHandler/TextHandlers๋ฅผ ๋ฐํํด ๋ฉ์๋๋ฅผ ์ฝ๊ฒ ์ด์ด์ ํธ์ถํ ์ ์์ต๋๋ค. - ์๋ก์ด
below_elements์์ฑ์ ์ถ๊ฐํ์ต๋๋ค. DOM ํธ๋ฆฌ์์ ํ์ฌ ์์ ์๋์ ์๋ ๋ชจ๋ ์์๋ฅผ ๋ด์Adaptors๊ฐ์ฒด๋ฅผ ๋ฐํํฉ๋๋ค. - HTML ์์ค๋ฅผ ๋ฌธ์์ด๋ก ๋ฐํํ๋ ๋ชจ๋ ๋ฉ์๋์ ์์ฑ์ด ์ด์
TextHandler๋ก ๋ฐํํฉ๋๋ค. ๊ฒฐ๊ณผ์ ์ ๊ท์์ ์ฝ๊ฒ ์ ์ฉํ๋ ๋ฑ์ ์์ ์ ํ ์ ์์ต๋๋ค. - StealthyFetcher๊ฐ ์กฐ๊ธ ๋ ๋นจ๋ผ์ก๊ณ ํ์ง๋ ๋ ์ ํผํฉ๋๋ค. Cloudflare Turnstile์ฒ๋ผ iframe ์์ ์๋ CAPTCHA๋ ํด๋ฆญํ ์ ์์ต๋๋ค.
- ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๊ฑฐ์ ์ ๋ฐ์์ ์๋ ์์ฑ๊ณผ ํ์
ํํธ๋ฅผ ํฌ๊ฒ ๊ฐ์ ํ์ต๋๋ค. ํนํ
Adaptor,TextHandler,TextHandlers๋ฅผ ๊ฐ์ ํ์ต๋๋ค. TextHandler๋ฅผ ์ฌ๋ผ์ด์ฑํ๊ฑฐ๋ ์ธ๋ฑ์ค๋ก ์ ๊ทผํ๊ฑฐ๋split๋ฉ์๋๋ฅผ ์ฐ๋ฉด ์ด์ ๋ค๋ฅธTextHandler๋ฅผ ๋ฐํํฉ๋๋ค. ํ์ค Python ๋ฌธ์์ด์ ๋ฐํํ์ง ์์ต๋๋ค. ๊ฑฐ์ ๋ชจ๋ ํ์ค ๋ฌธ์์ด ์ฐ์ฐ๊ณผ ๋ฉ์๋๊ฐ ์ผ๋ฐ ๋ฌธ์์ด ๋์ ๋ค๋ฅธTexthandler๋ฅผ ๋ฐํํ๋ฏ๋ก ๋ฉ์๋์ ํจ์๋ฅผ ํญ์ ์ด์ด์ ํธ์ถํ ์ ์์ต๋๋ค.- ์์ ๋ฒ๊ทธ์ ์คํ๋ฅผ ์์ ํ์ต๋๋ค. ์๋ฅผ ๋ค์ด Fetcher์ async_put์ด put ์์ฒญ ๋์ post ์์ฒญ์ ๋ณด๋ด๊ณ ์์์ต๋๋ค. ๐ถโ๐ซ๏ธ
- ๋ฌธ์ ์น์ฌ์ดํธ๋ฅผ ์์ฑํ๊ธฐ ์ ์ README๋ฅผ ์กฐ๊ธ ๊ฐ์ ํ์ต๋๋ค.
์๋๋ 0.3 ๋ฒ์ ๊น์ง ๊ธฐ๋ค๋ฆฌ๋ ๋์ ์์ ์ ๋ฐ์ดํธ๋ง ํ๋ ค ํ์ง๋ง, ๋ ๋์ ๋ฒ์ ์ผ๋ก ๋ง๋ค๊ธฐ๋ก ํ์ต๋๋ค.
v0.2.92 - 2024-12-26 {#v0.2.92}
๋ณ๊ฒฝ ์ฌํญ {#v0.2.92-what-s-changed}
- ๋ก๋ํ ํ์ด์ง์ iframe์ด ๋ง์ ๋ ๋ธ๋ผ์ฐ์ ๊ธฐ๋ฐ Fetcher๊ฐ ๋ฐํํ๋ ์๋ต์ ์ด์ ๋ ์ ๋ขฐํ ์ ์๋ ๋ฐ์ดํฐ ์์ค๋ฅผ ์ฌ์ฉํฉ๋๋ค.
Scrapling์ค์น๊ฐ ๋ ์ฌ์์ก์ต๋๋ค. pip๋ก ์ค์นํ ๋ค์ ํฐ๋ฏธ๋์์scrapling install์ ์คํํ๋ฉด ์ค๋น๊ฐ ๋๋ฉ๋๋ค!- ํ์์ ๋ถ์ ํํ ํ์ ํํธ๋ฅผ ์์ ํ์ต๋๋ค.
v0.2.91 - 2024-12-19 {#v0.2.91}
๋ณ๊ฒฝ ์ฌํญ {#v0.2.91-what-s-changed}
- ํ์ด์ง๋ฅผ ๊ฐ์ ธ์๋ค๋ ๋ก๊ทธ๊ฐ ์ฒซ ์์ฒญ์์๋ง ํ์๋๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค.
- Playwright API๋ ๊ธฐ๋ณธ์ ์ผ๋ก ํ์ด์ง๋ฅผ ํ์ํ ๋
goto๋ฉ์๋์ ์ง์ ํ ๋ก๋ ์ํ["load", "domcontentloaded", "networkidle"]๋ฅผ ๋ง์กฑํ๋ ์ฒซ ์๋ต์ ๋ฐํํฉ๋๋ค. ๋ฐ๋ผ์ Cloudflare์ฒ๋ผ ๋๊ธฐ ํ์ด์ง๋ฅผ ๊ฑฐ์ณ ์ค์ ์น์ฌ์ดํธ๋ก ์ด๋ํ๋ฉด Playwright๋ ์ฒซ ์ํ ์ฝ๋๋ฅผ ๋ฐํํ๋ฉฐ, ์ด ์ฝ๋๋ 403์ผ ์ ์์ต๋๋ค. ์ด๋ฒ ์ ๋ฐ์ดํธ์์๋ Playwright API๋ฅผ ์ฌ์ฉํ๋PlaywrightFetcher์StealthyFetcher๋ชจ๋์์ ์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ์ต๋๋ค. ์ด์ ๊ฒฐ๊ณผ๊ฐ Playwright์ ๊ธฐ๋ณธ ๋์์ ์ํฅ์ ๋ฐ์ง ์์ต๋๋ค. Fetcherํด๋์ค์ SOCKS ํ๋ก์ ์ง์์ ์ถ๊ฐํ์ต๋๋ค.wait_selector_state์ธ์์ ํ์ ํํธ๋ฅผ ์์ ํ์ต๋๋ค. ์ด์ ์๋ ์์ฑ์์ ์ค์ ๋ก ์ฌ์ฉํ ์ ์๋ ๊ฐ์ด ํ์๋ฉ๋๋ค.
v0.2.9 - 2024-12-16 {#v0.2.9}
๋ณ๊ฒฝ ์ฌํญ {#v0.2.9-what-s-changed}
์ ๊ธฐ๋ฅ {#v0.2.9-new-features}
- ์ค๋ซ๋์ ๊ธฐ๋ค๋ ค์จ Scrapling์ ๋น๋๊ธฐ ์ง์์ ์ถ๊ฐํ์ต๋๋ค!
AsyncFetcher๋Fetcher์ ๋น๋๊ธฐ ๋ฒ์ ์ ๋๋ค.StealthyFetcher์PlayWrightFetcher๋ชจ๋ ๊ฐ์ ์ต์ ์ ์ง์ํ๋ ์ ๋ฉ์๋async_fetch๋ฅผ ์ ๊ณตํฉ๋๋ค.
>> from scrapling import StealthyFetcher
>> page = await StealthyFetcher().async_fetch('https://www.browserscan.net/bot-detection') # the async version of fetch
>> page.status == 200
True
StealthyFetcherํด๋์ค์ ๊ฐ์ ธ์ค๊ธฐ ๋ฉ์๋์geoip์ธ์๋ฅผ ์ถ๊ฐํ์ต๋๋ค. ์ผ๋ฉด IP ์ฃผ์์ ๊ฒฝ๋, ์๋, ์๊ฐ๋, ๊ตญ๊ฐ, ๋ก์บ์ ์๋์ผ๋ก ์ฌ์ฉํ๊ณ WebRTC IP ์ฃผ์๋ฅผ ์์ฅํฉ๋๋ค. ๋์ ์ง์ญ์ ์ธ์ด ์ฌ์ฉ์ ๋ถํฌ๋ฅผ ๋ฐํ์ผ๋ก ๋ธ๋ผ์ฐ์ ์ธ์ด๋ ๊ณ์ฐํ๊ณ ์์ฅํฉ๋๋ค.retries์ธ์๋ฅผFetcher/AsyncFetcherํด๋์ค์ ์ถ๊ฐํ์ต๋๋ค. ์ด์ httpx๋ก ๋ณด๋ด๋ ๊ฐ ์์ฒญ์ ์ฌ์๋ ํ์๋ฅผ ์ค์ ํ ์ ์์ต๋๋ค.url_join๋ฉ์๋๋ฅผAdaptor์ Fetcher์ ์ถ๊ฐํ์ต๋๋ค. ์๋ URL์ ํ์ฌ URL๊ณผ ํฉ์ณ ์์ ํ ์ ๋ URL์ ๋ง๋ญ๋๋ค!keep_cdata๋ฉ์๋๋ฅผAdaptor์ Fetcher์ ์ถ๊ฐํ์ต๋๋ค. ํ์ํ ๋ ํ์๊ฐ cdata๋ฅผ ์ ๊ฑฐํ์ง ์๋๋ก ํ ์ ์์ต๋๋ค.์ด์
Adaptor/Response์body๋ฉ์๋๊ฐ ๊ฐ๋ฅํ๋ฉด ์๋ณธ HTML ์๋ต์ ๋ฐํํฉ๋๋ค. ๋ผ์ด๋ธ๋ฌ๋ฆฌ์์ ์ฒ๋ฆฌํ์ง ์์ ์๋ต์ ๋๋ค.Responseํด๋์ค์ ๋ก๊น ์ ์ถ๊ฐํ์ต๋๋ค. ์ด์ Fetcher๋ฅผ ์ฌ์ฉํ๋ฉด ๋ฐ์ ์๋ต์ ์ ๋ณด๋ฅผ ๋ก๊ทธ๋ก ํ์ธํ ์ ์์ต๋๋ค. ์:>> from scrapling.defaults import Fetcher >> Fetcher.get('https://books.toscrape.com/index.html') [2024-12-16 13:33:36] INFO: Fetched (200) <GET https://books.toscrape.com/index.html> (referer: https://www.google.com/search?q=toscrape) >>์ด์
TextHandler์.replace()๊ฐ์ ํ์ค ๋ฌธ์์ด ๋ฉ์๋๋ฅผ ์ฌ์ฉํ๋ฉด ๋ค๋ฅธTextHandler๋ฅผ ๋ฐํํฉ๋๋ค. ์ด์ ์๋ ํ์ค ๋ฌธ์์ด์ ๋ฐํํ์ต๋๋ค.๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ ๋ฐ์ ์๋๋ฅผ ํฌ๊ฒ ๊ฐ์ ํ๊ณ Fetcher ํด๋์ค ์ ์ฒด์ ํ์ง ํํผ ์ฑ๋ฅ๋ ๊ฐ์ ํ์ต๋๋ค.
extract_first`extract`์ฒ๋ผ ์๋ ๊ฐ์ฒด์ ๊ฐ์ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํํ๋ ํธํ์ฉ ํจ์๋ฅผ ์ถ๊ฐํ์ต๋๋ค. ์ด ํจ์๋ค์ Scrapy/Parsel์์ ์ฐ์ด๋ฏ๋ก, ํ์ํ ๋ ๊ทธ ์ฝ๋๋ฅผ Scrapling์ผ๋ก ์ฝ๊ฒ ์ฎ๊ธฐ๊ธฐ ์ํด์๋ง ์ถ๊ฐํ์ต๋๋ค!์ฝ๋์ ๋ง์ ๋ถ๋ถ์ ์ ๋ฆฌํ๊ณ ํ์ํ ๊ณณ์ ์บ์๋ฅผ ์ ์ฉํ์ต๋๋ค. ์ด์ ์์ฒญ์ ํ๊บผ๋ฒ์ ๋ง์ด ๋ณด๋ด๋ฉด ์๋๊ฐ ํฌ๊ฒ ๋นจ๋ผ์ง๋๋ค.
ํธํ์ฑ์ ์ํฅ์ ์ฃผ๋ ๋ณ๊ฒฝ ์ฌํญ {#v0.2.9-breaking-changes}
Python 3.8 ์ง์์ ์ค๋จํ์ต๋๋ค. ์ฃผ๋ ์ด์ ๋ Playwright๊ฐ ์ง์์ ์ค๋จํ๊ธฐ ๋๋ฌธ์ด์ง๋ง, ์๋ ๋ฌธ์ ๊ฐ ๋ง๋ ๋ฒ์ ์ด๊ธฐ๋ ํฉ๋๋ค.
๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ ์ฒด์์
debug์ธ์๋ฅผ ์ ๊ฑฐํ์ต๋๋ค. ์ด์ ๋๋ฒ๊น ๋ชจ๋๋ก ์ค์ ํ๋ ค๋ฉด ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ๊ฐ์ ธ์จ ๋ค ๋ค์ ์ฝ๋๋ฅผ ์คํํ์ธ์.>>> import logging >>> logging.getLogger("scrapling").setLevel(logging.DEBUG)
๋ฒ๊ทธ ์์ {#v0.2.9-bugs-squashed}
- ๋ง์ ๋ณดํธ ์ฅ์น๊ฐ WebGL์ ํ์ฑํ ์ฌ๋ถ๋ฅผ ํ์ธํ๋ฏ๋ก ์ด์ ๊ธฐ๋ณธ์ ์ผ๋ก ์ผ์ง๋๋ค.
- ๋ฌธ์์ README์ ์ผ๋ถ ์๋ชป๋ ๋ด์ฉ๊ณผ ์คํ๋ฅผ ์์ ํ์ต๋๋ค.
์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.2.9-quality-of-life-changes}
- ๋ชจ๋ ๋ก๊น
์
scrapling์ด๋ผ๋ ๋ก๊ฑฐ๋ก ํต์ผํด ๋ ์ฝ๊ณ ๊น๋ํ๊ฒ ์ ์ดํ ์ ์์ต๋๋ค. ์ด์ ์๋ ๋ฃจํธ ๋ก๊ฑฐ๋ฅผ ์ฌ์ฉํ์ต๋๋ค. - ํ ์คํธ ํด๋๋ฅผ ๋ ๊น๋ํ๊ฒ ๊ตฌ์ฑํ๊ณ ์ ๊ธฐ๋ฅ์ ํ ์คํธ๋ฅผ ์ถ๊ฐํ์ต๋๋ค. ๋ชจ๋ ํ ์คํธ๋ฅผ ๋ ๊น๋ํ๊ฒ ๋ค์ ์์ฑํ์ผ๋ฉฐ, ๋ ๋ง์ ์ฝ๋๋ฅผ ํ์ธํ๋๋ก ํ ์คํธ๋ฅผ ์ถ๊ฐํ์ต๋๋ค.
- ์ฝ๋์ ๋ง์ ๋ถ๋ถ์ ๋ ๊น๋ํ๊ณ ์ ์ง๋ณด์ํ๊ธฐ ์ฝ๊ฒ ์ ๋ฆฌํ์ต๋๋ค.
์ด ๋ณ๊ฒฝ ์ฌํญ์ ์๋ 0.3์ ๋ฃ์ผ๋ ค๋ ๋ด์ฉ์ ๋๋ค. ๋ค์ ๋ฒ์ ๊น์ง ์๊ฐ์ด ๊ฑธ๋ฆด ๊ฒ ๊ฐ์ ์ด๋ฒ์ ๋ฃ์์ต๋๋ค. ์ด์ ์์ธํ ์ค๋ช ์ ๋ด์ ๋ฌธ์ ์น์ฌ์ดํธ๋ฅผ ์์ฑํ ๋ค 0.3 ๋ฒ์ ์ ์์ ํ ์์ ์ ๋๋ค.
v0.2.8 - 2024-11-30 {#v0.2.8}
๋ณ๊ฒฝ ์ฌํญ {#v0.2.8-what-s-changed}
- ์ฝ๋ ์ฌ์ฉ์ ๊ผญ ํ์ํ ํธ์ ๊ฐ์ ์ ํ๊ณ ๊ธฐ๋ณธ README ํ์ผ์ ์คํ๋ฅผ ์์ ํ ์์ ์ ๋ฐ์ดํธ์ ๋๋ค. (#20)
v0.2.7 - 2024-11-26 {#v0.2.7}
๋ณ๊ฒฝ ์ฌํญ {#v0.2.7-what-s-changed}
์ ๊ธฐ๋ฅ {#v0.2.7-new-features}
- ์ด์
wait_selector์ธ์๋ฅผStealthyFetcher์PlayWrightFetcherํด๋์ค์์ ์ฌ์ฉํ๋ฉด, Scrapling์ด ํ์์ฒ๋ผ JS๊ฐ ์์ ํ ๋ก๋๋๊ณ ์คํ๋ ๋๊น์ง ๋ค์ ๊ธฐ๋ค๋ฆฝ๋๋ค.network_idle์ธ์๋ ์ฌ์ฉํ๋ค๋ฉด ์ด ๊ณผ์ ์ด ๋๋ ๋ค ํด๋น ์ํ๋ ๋ค์ ๊ธฐ๋ค๋ฆฝ๋๋ค. ๋ฌผ๋ก ๋ชจ๋ ์ํ๊ฐ ์ด๋ฏธ ์ถฉ์กฑ๋๋ค๋ฉด ๊ธฐ๋ค๋ฆฌ์ง ์์ต๋๋ค. - ์ด์
StealthyFetcher์์disable_ads์ธ์๋ก ๊ด๊ณ ๋ฅผ ์ผ๊ฑฐ๋ ๋ ์ ์์ต๋๋ค. ์ด ์ต์ ์ ๊ธฐ๋ณธ์ ์ผ๋ก ์ผ์ ธ ์์ผ๋ฉฐublock originํ์ฅ ๊ธฐ๋ฅ์ ์ค์นํฉ๋๋ค. - ์ด์
PlayWrightFetcher๊ฐ ์ฌ์ฉํ๋ ๋ก์บ์locale์ธ์๋ก ์ค์ ํ ์ ์์ต๋๋ค. ๊ธฐ๋ณธ๊ฐ์ ์ฌ์ ํen-US์ ๋๋ค. - ์ด์
Fetcher๋ก ๋ณด๋ด๋ ๊ธฐ๋ณธ ์์ฒญ์http://username:password@localhost:8030ํ์์ ํ๋ก์๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค. PlayWrightFetcher์ ์คํ ์ค ๋ชจ๋๋ฅผ ์กฐ๊ธ ๊ฐ์ ํ์ต๋๋ค.
๋ฒ๊ทธ ์์ ๋ฐ ๊ฐ์ {#v0.2.7-bugs-squashed-improvements}
- ์ด์
PlayWrightFetcherํด๋์ค์์ ํ๋ก์๋ฅผ ์ผ๋ ๊ฒ์stealth๋ชจ๋์ ํ์ฑํ ์ฌ๋ถ์ ๊ด๊ณ์์ต๋๋ค. ์๋ ค์ฃผ์ @AbdullahY36 ๋๊ป ๊ฐ์ฌ๋๋ฆฝ๋๋ค. - ์ด์
ResponseEncoding์ด ์๋ต์์ ๋ฐ์ ์ธ์ฝ๋ฉ์ ํด๋น ํ์ด์ง์ ์ฌ์ฉํ ์ ์๋์ง ํ์ธํฉ๋๋ค. ๋ฐ์ ์ธ์ฝ๋ฉ์์ ์ค๋ฅ๊ฐ ๋๋ฉด Scrapling์utf-8์ ์ฌ์ฉํฉ๋๋ค.
v0.2.6 - 2024-11-24 {#v0.2.6}
๋ณ๊ฒฝ ์ฌํญ {#v0.2.6-what-s-changed}
์ ๊ธฐ๋ฅ {#v0.2.6-new-features}
- ์ด์
PlayWrightFetcher๋real_chrome์ธ์๋ฅผPlayWrightFetcher.fetchํจ์์ ์ ๋ฌํด ์ค์ ๋ธ๋ผ์ฐ์ ๋ฅผ ๋ฐ๋ก ์ฌ์ฉํ ์ ์์ต๋๋ค. Chrome์ด ์ค์น๋์ด ์์ด์ผ ํฉ๋๋ค. Scrapling์ด ์ค์น๋ Chrome์ ์คํํ๋ฉฐ ๋๋ถ๋ถ์ ์ต์ ์ ํ์์ฒ๋ผ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์ด์ ์๋cdp_url์ธ์๋ก๋ง ๊ฐ๋ฅํ์ต๋๋ค. - ์ค์ ๋ธ๋ผ์ฐ์ ์ฉ์ผ๋ก ์์ฑํ๋ ํค๋์ ๋ฒ์ ์ ๋์์ต๋๋ค.
๋ฒ๊ทธ ์์ {#v0.2.6-bugs-squashed}
BrowserForge๊ฐ ์์ฑํ๋ ๋ธ๋ผ์ฐ์ ํค๋์ ํ์์ด ์ค๋๋์ด ์ผ๋ถ ๋ณดํธ ์ฅ์น๊ฐ Scrapling์ ํ์งํ๋ค๋ ๊ฒ์ ์๊ฒ ๋์ต๋๋ค. ์ด์ BrowserForge๋ ์ค์ ๋ธ๋ผ์ฐ์ ์ User-Agent๋ฅผ ์์ฑํ๋ ๋ฐ๋ง ์ฌ์ฉํฉ๋๋ค.- Google์ ReCaptcha๊ฐ ํ์งํ๋ฏ๋ก ์ด์
hide_canvas์ธ์๋ ๊ธฐ๋ณธ์ ์ผ๋ก ๊บผ์ ธ ์์ต๋๋ค.
v0.2.5 - 2024-11-23 {#v0.2.5}
๋ณ๊ฒฝ ์ฌํญ {#v0.2.5-what-s-changed}
๋ฒ๊ทธ ์์ {#v0.2.5-bugs-squashed}
- 'wait_selector' ์ธ์์ ๋ง๋ ์์๊ฐ 1๊ฐ๋ณด๋ค ๋ง์ ๋ ์๊ธฐ๋ ์ค๋ฅ๋ฅผ ์ฒ๋ฆฌํ์ต๋๋ค.
StealthyFetcher์PlayWrightFetcherํด๋์ค์ ํด๋นํฉ๋๋ค. content_typeํค๋์ ๊ฐ์charset๊ฐ์ ๋งค๊ฐ๋ณ์๊ฐ ์์ ๋ ์ธ์ฝ๋ฉ ํ์ ์ด ์๋ชป๋๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ต๋๋ค. #12๋ฅผ ์๋ ค์ฃผ์ @andyfcx ๋๊ป ๊ฐ์ฌ๋๋ฆฝ๋๋ค.
์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.2.5-quality-of-life}
- ์๋ก์ด ์ฝ๋ ์์ญ๋ ํ์ธํ๋๋ก ํ ์คํธ๋ฅผ ์ถ๊ฐํ๊ณ ์ค๋ ๋์์ ํ ์คํธ๋ฅผ ์คํํ๊ฒ ํ์ต๋๋ค.
- Sphinx์ apidoc์ด๋ ๋น์ทํ ๋๊ตฌ์์ ์ ๋๋ก ์ฝ์ ์ ์๋๋ก docstring์ ์์ ํ์ต๋๋ค.
์ ๊ธฐ์ฌ์ {#v0.2.5-new-contributors}
v0.2.4 - 2024-11-20 {#v0.2.4}
๋ณ๊ฒฝ ์ฌํญ {#v0.2.4-what-s-changed}
๋ฒ๊ทธ ์์ {#v0.2.4-bugs-squashed}
network_idle์ธ์๋ฅผ ์ฌ์ฉํ ๋ค ์๋ต ๋ฐ์ดํธ๋ฅผ ๊ฐ์ ธ์ฌ ๋ ์๊ธฐ๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค.StealthyFetcher์PlayWrightFetcherํด๋์ค ๋ชจ๋์ ํด๋นํฉ๋๋ค.
์ด ๋ฒ๊ทธ๋ก ๋ค์ ์ค๋ฅ ๋ฉ์์ง๊ฐ ํ์๋์ต๋๋ค.Response.body: Protocol error (Network.getResponseBody): No resource with given identifier foundPlayWright API๊ฐ ์๋ต์ ๋น ์ํ ๋ฉ์์ง๋ฅผ ๋ฐํํ ๋๊ฐ ์์ต๋๋ค. ์ด์ ์ด๋ฐ ๊ฒฝ์ฐ
Scrapling์ด ์ํ ๋ฉ์์ง๋ฅผ ์ง์ ์์ฑํฉ๋๋ค.StealthyFetcher์PlayWrightFetcherํด๋์ค ๋ชจ๋์ ํด๋นํฉ๋๋ค.
v0.2.3 - 2024-11-19 {#v0.2.3}
๋ณ๊ฒฝ ์ฌํญ {#v0.2.3-what-s-changed}
๋ฒ๊ทธ ์์ {#v0.2.3-bugs-squashed}
- pip๋ก ์ค์นํ๋ฉด PlayWright Fetcher์ ์คํ ์ค ๋ชจ๋๊ฐ ์ ํ ์๋ํ์ง ์๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค.
v0.2.2 - 2024-11-16 {#v0.2.2}
๋ณ๊ฒฝ ์ฌํญ {#v0.2.2-what-s-changed}
์ ๊ธฐ๋ฅ {#v0.2.2-new-features}
์์ฑ๋๋
Adaptor๊ฐ์ฒด์ ์ธ์๋ฅผ ์ ๋ฌํ์ง ์๊ณ ๊ธฐ๋ณธ๊ฐ์ ์ฐ๋ ค๋ฉด, ์ด์ ๋ค์ ๊ฐ์ ธ์ค๊ธฐ ๊ตฌ๋ฌธ์ผ๋ก ์ฝ๋๋ฅผ ๋ ๊น๋ํ๊ฒ ์์ฑํ ์ ์์ต๋๋ค.>> from scrapling.default import Fetcher, StealthyFetcher, PlayWrightFetcher >> page = Fetcher.get('https://example.com', stealthy_headers=True)๊ทธ๋ ์ง ์์ผ๋ฉด ๋ค์์ฒ๋ผ ์์ฑํฉ๋๋ค.
>> from scrapling import Fetcher, StealthyFetcher, PlayWrightFetcher >> page = Fetcher(auto_match=False).get('https://example.com', stealthy_headers=True)
๋ฒ๊ทธ ์์ {#v0.2.2-bugs-squashed}
- ์ด์ ๋ฐฐํฌํ v0.2.1 ํจ์น์์
Response๊ฐ์ฒด์ ์๊ธด ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค. ์ผ๋ถ ์ค์ฒฉ๋ ์ ํ ๋ฐ ํ์ฑ ์์ ์์ ๋ฐ์ํ์ต๋๋ค.
v0.2.1 - 2024-11-15 {#v0.2.1}
๋ณ๊ฒฝ ์ฌํญ {#v0.2.1-what-s-changed}
์ ๊ธฐ๋ฅ {#v0.2.1-new-features}
์ด์ ๋ชจ๋ Fetcher๊ฐ ๋ฐํํ๋
Response๊ฐ์ฒด๋Adaptor๊ฐ์ฒด์ ๊ฐ์ผ๋ฉฐ,status,reason,cookies,headers,request_headers์์ฑ๋ง ์ถ๊ฐ๋ก ์์ต๋๋ค.cookies,headers,request_headers๋ ํญ์dictionaryํ์ ์ ๋๋ค.
์ด์ ๋ค์์ฒ๋ผ ์ฝ๋๋ฅผ ์์ฑํ ์ ์์ต๋๋ค.>> from scrapling import Fetcher >> page = Fetcher().get('https://example.com', stealthy_headers=True) >> print(page.status) 200 >> products = page.css('.product')์ด์ ์๋ ๋ค์์ฒ๋ผ ์์ฑํ์ต๋๋ค.
>> from scrapling import Fetcher >> fetcher = Fetcher().get('https://example.com', stealthy_headers=True) >> print(fetcher.status) 200 >> page = fetcher.adaptor >> products = page.css('.product')ํ์ ํธํ์ฑ์ ์ํด
.adaptor์์ฑ๋ ๊ณ์ ์๋ํ๋๋ก ๋จ๊ฒจ๋์์ต๋๋ค.์ด์
StealthyFetcher์PlayWrightFetcherํด๋์ค ๋ชจ๋ ๊ฐ์ ธ์ค๊ธฐ ๋ฉ์๋์proxy์ธ์๋ฅผ ๋ฐ์ต๋๋ค. ๋ฌธ์์ด์ด๋ ๋์ ๋๋ฆฌ๋ฅผ ์ ๋ฌํ ์ ์์ต๋๋ค.์ด์
StealthyFetcherํด๋์ค์os_randomize์ธ์๊ฐ ์์ต๋๋ค.fetch๋ฉ์๋์์ ์ฌ์ฉํฉ๋๋ค. ์ผ๋ฉด Scrapling์ด ์ฌ์ฉํ OS ์ง๋ฌธ์ ๋ฌด์์๋ก ์ ํํฉ๋๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก๋ ํ์ฌ OS์ ์ผ์นํ๋ ์ง๋ฌธ์ ์ฌ์ฉํฉ๋๋ค.
๋ฒ๊ทธ ์์ {#v0.2.1-bugs-squashed}
Fetcherํด๋์ค์์ ํค๋๋ฅผ ์ ๋ฌํ ๋ ์๊ธฐ๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค.- Fetcher ์ ํ์ ํด๋์ค์์ ์ ๋ฌํ JSON ์๋ต์ ํ์ฑํ ๋ ์๊ธฐ๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค.
์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.2.1-quality-of-life-changes}
- ํ
์คํธ ๊ธฐ๋ฅ์ ์๋ ํ
์คํธ๋ฅผ ๋ฐํํ๊ธฐ ์ ์ HTML ์ฃผ์์ ์ ๊ฑฐํ๋ ค๊ณ ํ์ต๋๋ค. ํ์ง๋ง ์ผ๋ถ ์ํฉ์์ ์ค๋ฅ๊ฐ ๋ฐ์ํ๊ณ ์ฝ๋๊ฐ ํ์ ์ด์์ผ๋ก ๋ณต์กํด์ก์ต๋๋ค. ์ด์ lxml์ ๊ธฐ๋ณธ ๋์์ผ๋ก ๋๋๋ ธ์ต๋๋ค. ์ ํ์์ฒ๋ผ ์์์ ํ
์คํธ๋ฅผ ์ฌ์ฉํ๋ ๋ชจ๋ ์์
์ด ์กฐ๊ธ ๋นจ๋ผ์ง๋๋ค. lxml/parsel/scrapy์์ ํ
์คํธ๊ฐ ์ด์ํ๊ฒ ๋๋๋ ๊ฒ์ ํผํ๋ ค๊ณ ํ
์คํธ๋ฅผ ๋ฐํํ๊ธฐ ์ ์ ์์์ HTML ์ฃผ์์ ์ ๊ฑฐํ๋ ค๋ฉด,
keep_comments์ธ์๋ฅผ ๊ธฐ๋ณธ๊ฐ์ธ True๋ก ์ ์งํ์ธ์.
v0.2 - 2024-11-11 {#v0.2}
๋ณ๊ฒฝ ์ฌํญ {#v0.2-what-s-changed}
์ ๊ธฐ๋ฅ {#v0.2-new-features}
- 3๊ฐ์ ์๋ก์ด ์ฃผ์ ์ ํ์ ๊ฐ์ถ
Fetchers๊ธฐ๋ฅ์ ์ถ๊ฐํ์ต๋๋ค. ๋ค์ํ ์ต์ ์ผ๋ก Scrapling์ด ํ์ด์ง๋ฅผ ๊ฐ์ ธ์ค๊ฒ ํ ์ ์์ต๋๋ค!Fetcherํด๋์ค๋ ๊ธฐ๋ณธ HTTP ์์ฒญ์ ์ฌ์ฉํฉ๋๋ค.StealthyFetcherํด๋์ค๋ ์คํ ์ค ๊ธฐ๋ฅ์ ์ถ๊ฐํ Firefox๋ฅผ ์ฌ์ฉํ๋ ์์ ํ ์คํ ์ค Fetcher์ ๋๋ค.PlayWrightFetcherํด๋์ค๋ ๊ธฐ๋ณธ PlayWright, ์ ๊ฐ ๋ง๋ ์คํ ์ค ๋ชจ๋์ PlayWright, CDP๋ฅผ ํตํ ์ค์ ๋ธ๋ผ์ฐ์ , NSTBrowser์ docker browserless๋ก ๋ธ๋ผ์ฐ์ ๊ธฐ๋ฐ ์์ฒญ์ ๋ณด๋ผ ์ ์์ต๋๋ค!
- ํ์ด์ง์์ ๋ง๋ฒ์ฒ๋ผ ์์๋ฅผ ์ฝ๊ฒ ์ฐพ๋ ์์ ํ ์๋ก์ด
find_all/find๋ฉ์๋๋ฅผ ์ถ๊ฐํ์ต๋๋ค! filter์search๋ฉ์๋๋ฅผAdaptorsํด๋์ค์ ์ถ๊ฐํดAdaptor๊ฐ์ฒด ๊ทธ๋ฃน์ ํ๊บผ๋ฒ์ ์ฝ๊ฒ ์ฒ๋ฆฌํ ์ ์์ต๋๋ค.- ๋ ํธํ๊ฒ ์ธ ์ ์๋๋ก
css_first์xpath_first๋ฉ์๋๋ฅผ ์ถ๊ฐํ์ต๋๋ค. - ์ ํด๋์ค ํ์
TextHandlers๋ฅผ ์ถ๊ฐํ์ต๋๋ค.TextHandler๊ฐ์ฒด๋ฅผ ํ๊บผ๋ฒ์ ์ฒ๋ฆฌํ๋ ๋ฐ ์ฌ์ฉํ๋ฉฐ,Adaptorsํด๋์ค์ ๋น์ทํฉ๋๋ค. generate_full_css_selector์generate_full_xpath_selector๋ฉ์๋๋ฅผ ์ถ๊ฐํ์ต๋๋ค.
๋ฒ๊ทธ ์์ {#v0.2-bugs-squashed}
- ์ด์
Adaptorsํด๋์ค์re_first๋ ๋ด๋ถ์ ๋ชจ๋Adaptor๊ฐ์ฒด์์ ์ฒ์ ์ผ์นํ๋ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํํฉ๋๋ค. ์ด์ ์๋re_first๋ฅผ ๋ชจ๋Adaptor๊ฐ์ฒด์ ํธ์ถํ ๊ฒฐ๊ณผ๋ฅผ ๋ชจ์ ๋ฐํํ๋ ์๋ชป๋ ๋ก์ง์ด ์์์ต๋๋ค. - CSS์
::textํจ์์ฒ๋ผ ํ ์คํธ ์ฝํ ์ธ ๋ฅผ ์ ํํด ๋ฐํํ๋ ค๊ณ.css๋.xpath๊ฐ์ ๋ฉ์๋๋ฅผ ์ฌ์ฉํ๋ฉด, ์ด์ Adaptor๊ฐ์ฒด๊ฐTextHandlersํด๋์ค๋ฅผ ๋ฐํํฉ๋๋ค. ์ด์ ์ฒ๋ผ ๋ฌธ์์ด ๋ฆฌ์คํธ๋ฅผ ๋ฐํํ์ง ์์ต๋๋ค. ๋ฐ๋ผ์ ์ด์ page.css('something::text').re_first(r'regex_pattern').json()์ ์ฌ์ฉํ ์ ์์ผ๋ฉฐ, ๊ธฐ์กด์page.css('something::text')[0].re_first(r'regex_pattern').json()์ ํ์ํ์ง ์์ต๋๋ค. - ์ด์
Adaptor/Adaptors์ re/re_first ์ธ์๊ฐTextHandler์ ์ผ์นํฉ๋๋ค.clean_match์case_sensitive์ธ์๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค. - ์ด์
auto_match์ธ์๋Adaptor๋ฅผ ์ด๊ธฐํํ ๋ ๊ธฐ๋ณธ์ ์ผ๋ก ์ผ์ง๋๋ค. ํ์ง๋ง ์์๋ฅผ ์ ํํ ๋๋ ์ด ๊ธฐ๋ฅ์ ๋ฐ๋ก ์ผ์ผ ์ฌ์ฉํ ์ ์์ต๋๋ค. ๋ฒ๊ทธ๊ฐ ์๋ ์ค๊ณ์์ ๊ฒฐ์ ์ ๋๋ค. - Scrapling์ผ๋ก ์ฝ๋๋ฅผ ์์ฑํ ๋ ์๋ ์์ฑ์ ๋ ํธํ๊ฒ ์ธ ์ ์๋๋ก ์ฌ๋ฌ ํ์ ํ๊ธฐ๋ฅผ ์์ ํ์ต๋๋ค.
์ฌ์ฉ ํธ์ ๊ฐ์ {#v0.2-quality-of-life-changes}
css_selector์xpath_selector๋ฉ์๋์ ์ด๋ฆ์generate_css_selector์generate_xpath_selector๋ก ๋ฐ๊ฟจ์ต๋๋ค. ์๋ฏธ๋ฅผ ๋ช ํํ๊ฒ ํ๊ณ ์ฝ๋ ์์ฑ ์ค ์๋ ์์ฑ์ ๋ฐฉํดํ์ง ์๋๋ก ํ์ต๋๋ค.- ๊ธฐ์กด ์ฝ๋ ๋๋ถ๋ถ์
coreํ์ ํจํค์ง๋ก ์ฎ๊ธฐ๊ณ ๋ค๋ฅธ ์ค๊ณ๋ ๋ฐ๊ฟ ์์ผ๋ก ๋ ๊น๋ํ๊ณ ์ฝ๊ฒ ์ ์ง๋ณด์ํ ์ ์๊ฒ ํ์ต๋๋ค. - ํ ์คํธ ํด๋๋ฅผ ๋ ๊น๋ํ๊ฒ ๊ตฌ์ฑํ๊ณ ์ ๊ธฐ๋ฅ์ ํ ์คํธ๋ฅผ ์ถ๊ฐํ์ต๋๋ค. ์ด์ GitHub์์ tox ํ๊ฒฝ์ ์บ์ํ๋ฏ๋ก ์ปค๋ฐ๋ง๋ค ์คํํ๋ ์๋ ํ ์คํธ๊ฐ ๋ ๋นจ๋ผ์ง๋๋ค.
v0.1.2 - 2024-10-16 {#v0.1.2}
๋ณ๊ฒฝ ๊ธฐ๋ก:
keep_comments์ธ์๊ฐ ์๋๋๋ก ์๋ํ์ง ์๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค.Lxml ํน์ ์ ๋์์ ํผํ๋๋ก ํ ์คํธ ํจ์๋ฅผ ์์ ํ์ต๋๋ค. ์ด์ ํ ์คํธ๋ฅผ ์ถ์ถํ๊ธฐ ์ ์ ์์์ HTML ์ฃผ์์ ์๋์ผ๋ก ์ ๊ฑฐํฉ๋๋ค. ์๋ฅผ ๋ค๋ฉด ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
>>> page = Adaptor('<span>CONDITION: <!-- -->Excellent</span>', keep_comments=True) >>> page.css('span::text') ['CONDITION: ', 'Excellent']์ด์ ์๋ Lxml์ ๊ธฐ๋ณธ ๋์ ๋๋ฌธ์ ์์ ๊ฐ์ ๊ฒฐ๊ณผ๊ฐ ๋์์ง๋ง, ์ด์ ๋ ์ ์ฒด ํ ์คํธ 'CONDITION: Excellent'๋ฅผ ๋ฐํํฉ๋๋ค. parsel\scrapy์์๋ ์๋ ค์ง ๋์์ด๋ผ ์ฌ๊ธฐ์ ์ฒ๋ฆฌํ๊ณ ์ ํ์ต๋๋ค.
pip uninstall scrapling๊ฐ์ ๋ช ๋ น์ ์คํํด๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๊ฐ ๋ง๋ SQLite DB ํ์ผ์ด ์ญ์ ๋์ง ์๋ ๋ฒ๊ทธ๋ฅผ ์์ ํ์ต๋๋ค.
v0.1.1 - 2024-10-14 {#v0.1.1}
์์ ์์ ์ฌํญ
v0.1 - 2024-10-13 {#v0.1}
์ ์ฒด ๋ณ๊ฒฝ ๊ธฐ๋ก: https://github.com/D4Vinci/Scrapling/commits/v0.1