Skip to content

๐Ÿ•ท๏ธ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

127 KB
Raw Blame

title: "Scrapling ๋ณ€๊ฒฝ ๊ธฐ๋ก" description: "์ƒˆ ๊ธฐ๋Šฅ, ์ˆ˜์ • ์‚ฌํ•ญ, ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ ์‚ฌํ•ญ์„ ๋‹ด์€ Scrapling ๋ฆด๋ฆฌ์Šค ๋…ธํŠธ์ž…๋‹ˆ๋‹ค."

๋ณ€๊ฒฝ ๊ธฐ๋ก {#changelog}

GitHub ๋ฆด๋ฆฌ์Šค์—์„œ ๊ฐ€์ ธ์˜จ Scrapling์˜ ์ฃผ์š” ๋ณ€๊ฒฝ ์‚ฌํ•ญ์„ ๋ชจ๋‘ ๋ชจ์•˜์Šต๋‹ˆ๋‹ค.

v0.5 - 2026-10-17 {#v0.5}

Scrapling v0.5๋Š” ๊ฐ€์ ธ์˜ค๊ธฐ, ํŒŒ์‹ฑ, ์ŠคํŒŒ์ด๋”, ๋ธŒ๋ผ์šฐ์ € ์ž๋™ํ™”, AI ๋„๊ตฌ, 10๊ฐœ ์–ธ์–ด๋กœ ๋œ ๋ฌธ์„œ๊นŒ์ง€ ๊ฑฐ์˜ ๋ชจ๋“  ๋ถ€๋ถ„์„ ๊ฐœ์„ ํ•œ ๋ฆด๋ฆฌ์Šค์ž…๋‹ˆ๋‹ค ๐Ÿš€

!!! warning "์ฃผ์˜"

**์ด ๋ฆด๋ฆฌ์Šค์—๋Š” ์—ฌ๊ธฐ์— ๋ชจ๋‘ ๋‹ด์„ ์ˆ˜ ์—†์„ ๋งŒํผ ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ ์‚ฌํ•ญ์ด ๋งŽ์Šต๋‹ˆ๋‹ค. ์—…๋ฐ์ดํŠธ ์ „์— [v0.5 ๋งˆ์ด๊ทธ๋ ˆ์ด์…˜ ๊ฐ€์ด๋“œ](migrating-to-v0.5.md)๋ฅผ ํ™•์ธํ•˜์„ธ์š”.**

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.5-new-stuff-and-quality-of-life-changes}

  • AI ์—์ด์ „ํŠธ๋ฅผ ์œ„ํ•œ MCP ์„œ๋ฒ„์˜ ๊ธฐ๋Šฅ์ด ํฌ๊ฒŒ ๋Š˜์–ด๋‚˜ ๊ฑฐ์˜ ๋ชจ๋“  CAPTCHA๋ฅผ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ):

    • ๋ธŒ๋ผ์šฐ์ € ์ž‘์—…์„ ์ฒ˜์Œ๋ถ€ํ„ฐ ๋๊นŒ์ง€ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. ํผ ์ž…๋ ฅ, ํด๋ฆญ, ๋งˆ์šฐ์Šค ์˜ฌ๋ฆฌ๊ธฐ, ์Šคํฌ๋กค, ํ‚ค๋ณด๋“œ ์‚ฌ์šฉ, ๋Œ€ํ™” ์ƒ์ž ์ฒ˜๋ฆฌ, ๊ฒฐ๊ณผ ๋Œ€๊ธฐ๋ฅผ ์ง€์ •ํ•œ ์ˆœ์„œ๋Œ€๋กœ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. ๋‹ค์–‘ํ•œ ์ž…๋ ฅ ํ•„๋“œ์™€ ๋А๋ฆฐ ๋™์ž‘์„ ์ง€์›ํ•˜๋ฉฐ, ์ฒซ ์˜ค๋ฅ˜๊ฐ€ ๋ฐœ์ƒํ•˜๋ฉด ์ž‘์—…์„ ๋ฉˆ์ถฅ๋‹ˆ๋‹ค.
    • ๋‹ค์‹œ ๋กœ๋“œํ•˜์ง€ ์•Š๊ณ  ํ˜„์žฌ ํŽ˜์ด์ง€๋ฅผ ์ฝ๊ณ  ๊ฒ€์ƒ‰ํ•ฉ๋‹ˆ๋‹ค. ํŽ˜์ด์ง€ ์ „์ฒด๋‚˜ ์š”์†Œ ํ•˜๋‚˜์—์„œ HTML, Markdown, ํ…์ŠคํŠธ๋ฅผ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค. ๊ฒ€์ƒ‰ ๊ฐ€๋Šฅํ•œ ํŽ˜์ด์ง€ ์Šค๋ƒ…์ƒท์€ ์š”์†Œ์˜ ์—ญํ• , ์ด๋ฆ„, ์œ„์น˜๋ฅผ ํ‘œ์‹œํ•˜๋ฉฐ, ํŠน์ • ๋ถ€๋ถ„๋งŒ ๋ณผ ๋•Œ๋„ ์ฃผ๋ณ€ ๋งฅ๋ฝ์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค.
    • ์‚ฌ์šฉ์ž ์ง€์ • JavaScript๋ฅผ ์‹คํ–‰ํ•˜๊ณ  ์›ํ•˜๋Š” ๋ถ€๋ถ„์„ ์บก์ฒ˜ํ•ฉ๋‹ˆ๋‹ค. ํŽ˜์ด์ง€ ์ž์ฒด์˜ JavaScript์— ์ ‘๊ทผํ•ด ๋น„๋™๊ธฐ ์ž‘์—…์„ ํฌํ•จํ•œ ์Šคํฌ๋ฆฝํŠธ๋ฅผ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. ๊ฐœ๋ณ„ ์š”์†Œ, ๋ทฐํฌํŠธ, ์ „์ฒด ํŽ˜์ด์ง€๋ฅผ PNG๋‚˜ JPEG๋กœ ์บก์ฒ˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
    • ๋„คํŠธ์›Œํฌ ํ™œ๋™์„ ํ™•์ธํ•˜๊ณ  ๋กœ๊ทธ์ธ ์ƒํƒœ๋ฅผ ์žฌ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ๋ก๋œ ์š”์ฒญ๊ณผ ์‘๋‹ต์„ ์‚ดํŽด๋ณด๊ณ , ๋ธŒ๋ผ์šฐ์ € ๋กœ๊ทธ์ธ ์ƒํƒœ๋ฅผ ์ €์žฅํ•˜๊ณ  ๋ณต์›ํ•˜๋ฉฐ, ์—ด๋ฆฌ๊ฑฐ๋‚˜ ๋‹ซํžŒ Shadow DOM ๋‚ด๋ถ€์˜ ์š”์†Œ๋ฅผ ์กฐ์ž‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ๋ก๋œ ํ†ต์‹ ์€ ์„ธ์…˜์„ ๋‹ซ๊ธฐ ์ „์— ์ฝ์œผ์„ธ์š”.
    • ํ† ํฐ ์‚ฌ์šฉ์„ ์ค„์ด๊ณ  ์˜ค๋ฅ˜๋ฅผ ๋” ๋ช…ํ™•ํžˆ ์ „๋‹ฌํ•ฉ๋‹ˆ๋‹ค. ์งง์€ ๋„๊ตฌ ์„ค๋ช…๊ณผ ๊ณตํ†ต ์ง€์นจ์œผ๋กœ ๋ฐ˜๋ณต๋˜๋Š” ๋‚ด์šฉ์„ ์ค„์˜€์Šต๋‹ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ €๋‚˜ ์š”์ฒญ์ด ์‹คํŒจํ•˜๋ฉด ์—์ด์ „ํŠธ์— ์œ ์šฉํ•œ ์˜ค๋ฅ˜ ๋ฉ”์‹œ์ง€๋ฅผ ์ „๋‹ฌํ•ฉ๋‹ˆ๋‹ค.
  • ํŽ˜์ด์ง€ ๋’ค์—์„œ ์ผ์–ด๋‚˜๋Š” ์š”์ฒญ์„ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. record_requests=True๋ฅผ ์ผœ๋ฉด ํŽ˜์ด์ง€ ๋กœ๋“œ, ๋™์ž‘, ์—ฌ๋Ÿฌ ํƒญ์—์„œ ์™„๋ฃŒ๋œ ํ†ต์‹ ์„ ๊ธฐ๋กํ•ฉ๋‹ˆ๋‹ค. ์š”์ฒญ์„ ๋‹ค์‹œ ๋ณด๋‚ด์ง€ ์•Š๊ณ  ์ €์žฅ๋œ ์‘๋‹ต์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ).

    from scrapling.fetchers import StealthySession
    
    with StealthySession(record_requests=True) as session:
        session.fetch("https://example.com", network_idle=True)
        for response in session.network.search(url_pattern=r"/api/", limit=None):
            print(response.url, response.status, response.body)
    
    • URL, ๋ฉ”์„œ๋“œ, ๋ฆฌ์†Œ์Šค ์œ ํ˜•, ์ƒํƒœ๋กœ ํ•„ํ„ฐ๋งํ•˜๊ฑฐ๋‚˜ ID๋กœ ์‘๋‹ต ํ•˜๋‚˜๋ฅผ ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด Response API๋กœ ํ—ค๋”, ๋ณด๋‚ธ ๋ฐ์ดํ„ฐ, API ์‘๋‹ต, HTTP ์˜ค๋ฅ˜, ๋ฆฌ๋””๋ ‰์…˜์„ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค.
    • ์ง€์›๋˜๋Š” ํ…์ŠคํŠธ ๋ณธ๋ฌธ์„ ํฌ๊ธฐ ์ œํ•œ ์•ˆ์—์„œ ๋ณด๊ด€ํ•ฉ๋‹ˆ๋‹ค. ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ์™€ ๋ณธ๋ฌธ์„ ์ €์žฅํ•  ์ˆ˜ ์—†์„ ๋•Œ์˜ ์ด์œ ๋„ ๊ธฐ๋กํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ๋ณธ ํ•œ๋„๋Š” ์š”์ฒญ 1,000๊ฐœ์ž…๋‹ˆ๋‹ค. ๋™๊ธฐ ๋ฐ ๋น„๋™๊ธฐ ์„ธ์…˜์„ ์ง€์›ํ•˜๋ฉฐ, ์ €์žฅ๋œ Python ๊ธฐ๋ก์€ ์„ธ์…˜์„ ๋‹ซ์€ ๋’ค์—๋„ ์ฝ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๋กœ๊ทธ์ธ ์ƒํƒœ๋ฅผ ํ•œ ๋ฒˆ ์ €์žฅํ•˜๊ณ  ์—ฌ๋Ÿฌ ์‹คํ–‰์—์„œ ์žฌ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. save_state(path)์™€ load_state(path)๋Š” ์ฟ ํ‚ค, ๋กœ์ปฌ ์Šคํ† ๋ฆฌ์ง€, IndexedDB๋ฅผ Playwright์™€ ํ˜ธํ™˜๋˜๋Š” JSON์œผ๋กœ ์ €์žฅํ•ฉ๋‹ˆ๋‹ค. ๋™๊ธฐ ๋ฐ ๋น„๋™๊ธฐ ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์—์„œ ๋ชจ๋‘ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ).

    • ํŽ˜์ด์ง€๋ฅผ ๊ฐ€์ ธ์˜ค๊ฑฐ๋‚˜ ๋‹ค์‹œ ๋กœ๋“œํ•˜๊ธฐ ์ „์— ์ƒํƒœ๋ฅผ ๋ถˆ๋Ÿฌ์˜ค์„ธ์š”. ์‹œ์ž‘๋œ ๊ณต์œ  ๋ธŒ๋ผ์šฐ์ € ์ปจํ…์ŠคํŠธ๊ฐ€ ํ•„์š”ํ•˜๋ฉฐ proxy_rotator๋Š” ์‚ฌ์šฉํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค. ํƒญ, ๋ธŒ๋ผ์šฐ์ € ์„ค์ •, sessionStorage๋Š” ์ €์žฅํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • pierce_shadow=True๋กœ ์—ด๋ฆฐ Shadow DOM์„ ์ถ”์ถœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋‹ค์Œ ํ‰์†Œ์ฒ˜๋Ÿผ CSS๋‚˜ XPath๋ฅผ ์‚ฌ์šฉํ•˜์„ธ์š”. ๋ธŒ๋ผ์šฐ์ € Fetcher, ์„ธ์…˜, CLI์˜ --pierce-shadow ์˜ต์…˜์—์„œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์‹ค์ œ ํŽ˜์ด์ง€๋ฅผ ๋ฐ”๊พธ์ง€ ์•Š๊ณ  ์Šฌ๋กฏ ๋‚ด์šฉ์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. ์บก์ฒ˜ํ•œ HTML์—๋Š” ๋‹ซํžŒ Shadow ๋ฃจํŠธ์™€ iframe ๋ฌธ์„œ๊ฐ€ ํฌํ•จ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ).

  • ์ŠคํŒŒ์ด๋”๊ฐ€ ์‚ฌ์ดํŠธ๋ฅผ ํƒ์ƒ‰ํ•˜๋Š” ์ˆœ์„œ๋ฅผ ์„ ํƒํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. CrawlSpider์™€ ContentSpider๋ฅผ ํฌํ•จํ•œ ํ•˜์œ„ ํด๋ž˜์Šค๋Š” crawl_strategy="bfs"๋กœ ๋จผ์ € ๋“ค์–ด์˜จ ์š”์ฒญ๋ถ€ํ„ฐ, "dfs"๋กœ ๋‚˜์ค‘์— ๋“ค์–ด์˜จ ์š”์ฒญ๋ถ€ํ„ฐ ์ฒ˜๋ฆฌํ•˜๋„๋ก ์˜ˆ์•ฝํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์š”์ฒญ์˜ ์šฐ์„ ์ˆœ์œ„๊ฐ€ ๊ณ„์† ์šฐ์„ ํ•˜๋ฉฐ, ๋™์‹œ์— ์ฒ˜๋ฆฌํ•˜๋Š” ํŽ˜์ด์ง€๋Š” ๋‹ค๋ฅธ ์ˆœ์„œ๋กœ ์™„๋ฃŒ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ).

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.5-bug-fixes}

  • Cloudflare ๊ฒ€์‚ฌ ์ฒ˜๋ฆฌ๋ฅผ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋Šฆ๊ฒŒ ๋‚˜ํƒ€๋‚˜๋Š” ์œ„์ ฏ์„ ๊ฐ์ง€ํ•˜๊ณ , ๋ถˆํ•„์š”ํ•œ ๋Œ€๊ธฐ๋ฅผ ์ค„์˜€์œผ๋ฉฐ, ์ˆ˜๋™ ์กฐ์ž‘์ด ํ•„์š” ์—†๋Š” ๊ฒ€์‚ฌ์™€ ์ˆจ๊ฒจ์ง„ ํ”„๋ ˆ์ž„์˜ ์žฌ์‹œ๋„ ํšŸ์ˆ˜์— ์ œํ•œ์„ ๋‘์—ˆ์Šต๋‹ˆ๋‹ค(#468๊ณผ #509 ์ˆ˜์ •).

  • ๊ด€๋ฆฌ์ž ๊ถŒํ•œ์œผ๋กœ ์‹คํ–‰ํ•œ Windows ์…ธ์—์„œ ๋ธŒ๋ผ์šฐ์ €๊ฐ€ ์‹œ์ž‘๋˜์ง€ ์•Š๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค(#463 ์ˆ˜์ •).

  • ์‚ฌ์šฉ์ž ์ง€์ • ๋ธŒ๋ผ์šฐ์ € ํ”Œ๋ž˜๊ทธ๋ฅผ ์ถ”๊ฐ€ํ•  ๋•Œ๋„ ๊ธฐ๋ณธ ์Šคํ…”์Šค ํ”Œ๋ž˜๊ทธ๋ฅผ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. @alkaz-nodemaven์˜ #430 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • ๋ธŒ๋ผ์šฐ์ € ์‘๋‹ต์˜ ๋ฌธ์ž ์ง‘ํ•ฉ ํŒŒ์‹ฑ์„ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋Œ€์†Œ๋ฌธ์ž๊ฐ€ ๋‹ค๋ฅด๊ฑฐ๋‚˜ ๊ณต๋ฐฑ, ๋”ฐ์˜ดํ‘œ๋กœ ๊ฐ์‹ผ ๊ฐ’์ด ์žˆ๋Š” ์„ ์–ธ๋„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

  • ํ•ด๊ฒฐํ•  Cloudflare ๊ฒ€์‚ฌ๊ฐ€ ์—†์„ ๋•Œ, ๊ฒ€์‚ฌ๊ฐ€ ์—†๋‹ค๋Š” ์‚ฌ์‹ค์„ ์˜ค๋ฅ˜๋กœ ๊ธฐ๋กํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค(#459 ์ˆ˜์ •).

  • ์š”์ฒญ ์ง€๋ฌธ์„ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ฟผ๋ฆฌ ๋งค๊ฐœ๋ณ€์ˆ˜๋Š” @yetval์˜ #448, ๋น„์–ด ์žˆ๊ฑฐ๋‚˜ ๊ฑฐ์ง“์œผ๋กœ ํ‰๊ฐ€๋˜๋Š” JSON ๋ณธ๋ฌธ์€ @ac1982์˜ #480, ํ—ค๋” ์‚ฝ์ž… ์ˆœ์„œ๋Š” @SarwadnyaMahajan์˜ #466 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • ๋งํฌ๋ฅผ ๋”ฐ๋ผ๊ฐˆ ๋•Œ ์ด์ „ ์š”์ฒญ์˜ ๋ฐ์ดํ„ฐ๊ฐ€ ๋„˜์–ด๊ฐ€๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋‚จ์•„ ์žˆ๋˜ ๋ณธ๋ฌธ ๊ด€๋ จ ํ—ค๋”๋„ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค. @yetval์˜ #462 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • ์ฐจ๋‹จ๋œ ์‘๋‹ต์ด ์„ฑ๊ณตํ•œ ์‘๋‹ต์œผ๋กœ ๊ฐœ๋ฐœ ์บ์‹œ์— ์ €์žฅ๋˜์ง€ ์•Š๋„๋ก ํ–ˆ์Šต๋‹ˆ๋‹ค. @Kuang-xianxin์˜ #446 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • ์˜ˆ์™ธ๋กœ ํฌ๋กค๋ง์ด ์‹คํŒจํ•˜๋ฉด ์ฒดํฌํฌ์ธํŠธ ํŒŒ์ผ์„ ๋ณด์กดํ•ฉ๋‹ˆ๋‹ค. @SulimanAbdulrazzaq์˜ #486 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • robots.txt ์กฐํšŒ ์‹คํŒจ ์ฒ˜๋ฆฌ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์กฐํšŒ์— ์‹คํŒจํ•œ ๊ฒฐ๊ณผ๋ฅผ ํฌ๋กค๋ง ํ—ˆ์šฉ์œผ๋กœ ์บ์‹œํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. @prateekraawat1์˜ #443 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • ๋ฒ”์œ„๋ฅผ ์ œํ•œํ•˜๋Š” ์„ ํƒ์ž๋ฅผ ์‚ฌ์šฉํ•œ ๋งํฌ ์ถ”์ถœ์„ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ผ์น˜ํ•˜๋Š” ์š”์†Œ๊ฐ€ ์—†๊ฑฐ๋‚˜ ์„ ํƒ์ž๊ฐ€ ๋งํฌ ์š”์†Œ ์ž์ฒด๋ฅผ ๊ฐ€๋ฆฌํ‚ค๋Š” ๊ฒฝ์šฐ๋„ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. @SulimanAbdulrazzaq์˜ #452์™€ #483 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • ์‚ฌ์ดํŠธ๋งต์˜ ์ฝœ๋ฐฑ ์—ฐ๊ฒฐ์„ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @SulimanAbdulrazzaq์˜ #458 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค. ์ฃผ์„์ด๋‚˜ ์ฒ˜๋ฆฌ ๋ช…๋ น์ด ํฌํ•จ๋œ XML์˜ ํŒŒ์‹ฑ๋„ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @sup3dev์˜ #450 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • robots.txt์™€ CSV ํ”ผ๋“œ์˜ ์‹œ์ž‘ ๋ถ€๋ถ„์— ์žˆ๋Š” ๋ฐ”์ดํŠธ ์ˆœ์„œ ํ‘œ์‹œ๋ฅผ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. @SulimanAbdulrazzaq์˜ #453 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • ์ŠคํŒŒ์ด๋” HTTP ์„ธ์…˜์—์„œ stealthy_headers๋ฅผ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐฉ์‹์„ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์˜ต์…˜์„ curl_cffi์— ์ง์ ‘ ์ „๋‹ฌํ•˜์ง€ ์•Š๊ณ  ์„ธ์…˜์— ์ „๋‹ฌํ•ฉ๋‹ˆ๋‹ค. @Yigtwxx์˜ #475 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • ๋”•์…”๋„ˆ๋ฆฌ ํผ์—์„œ ๋ฆฌ์ŠคํŠธ์™€ ํŠœํ”Œ ๊ฐ’์„ ์ธ์ฝ”๋”ฉํ•˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์š”์ฒญ ๋ณธ๋ฌธ์˜ ์šฐ์„ ์ˆœ์œ„์™€ ๊ธฐ์กด None ์ฒ˜๋ฆฌ๋Š” ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. @SulimanAbdulrazzaq์˜ #485 ๊ธฐ์—ฌ๋ฅผ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค.

  • ์„ธ์…˜๊ณผ ๊ฐœ๋ณ„ ์š”์ฒญ์˜ HTTP ํ—ค๋”๋ฅผ ๋Œ€์†Œ๋ฌธ์ž ๊ตฌ๋ถ„ ์—†์ด ํ•ฉ์น˜๋Š” ์ฒ˜๋ฆฌ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @SulimanAbdulrazzaq์˜ #487 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • CLI ์š”์ฒญ์—์„œ ๋น„์–ด ์žˆ๊ฑฐ๋‚˜ ๊ฑฐ์ง“์œผ๋กœ ํ‰๊ฐ€๋˜๋Š” JSON ๋ณธ๋ฌธ์„ ์•Œ๋ฆผ ์—†์ด ๋ฒ„๋ฆฌ๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @SulimanAbdulrazzaq์˜ #484 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • Markdown๊ณผ ํ…์ŠคํŠธ ํŒŒ์ผ์„ ๋‚ด๋ณด๋‚ผ ๋•Œ ํ•ญ์ƒ UTF-8์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ๋ณ€ํ™˜ ์˜ค๋ฅ˜๋กœ ๊ธฐ์กด ์ถœ๋ ฅ ํŒŒ์ผ์˜ ๋‚ด์šฉ์ด ์ž˜๋ฆฌ๋Š” ๋ฌธ์ œ๋„ ๋ฐฉ์ง€ํ–ˆ์Šต๋‹ˆ๋‹ค. @SulimanAbdulrazzaq์˜ #488 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • curl2fetcher()์—์„œ curl์˜ User-Agent ๋ฐ ํ”„๋ก์‹œ ์˜ต์…˜ ์ฒ˜๋ฆฌ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @SulimanAbdulrazzaq์˜ #490 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • ์„ ํƒํ•œ ์—ฌ๋Ÿฌ ์š”์†Œ๋ฅผ Response.markdown()์ด๋‚˜ CLI ์ถ”์ถœ๋กœ ๋ณ€ํ™˜ํ•  ๋•Œ Markdown ๋ธ”๋ก์ด ๋ถ™์–ด ๋ฒ„๋ฆฌ๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @Yigtwxx์˜ #432 ๊ธฐ์—ฌ๋ฅผ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค.

  • AI ์ถœ๋ ฅ์˜ ์ˆจ๊ฒจ์ง„ ์ฝ˜ํ…์ธ  ์ •๋ฆฌ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. opacity:0.95์ฒ˜๋Ÿผ ๋ณด์ด๋Š” ๋‚ด์šฉ์€ ์œ ์ง€ํ•˜๊ณ , ๋” ๋งŽ์€ ์ˆจ๊น€ ์Šคํƒ€์ผ์„ ๊ฐ์ง€ํ•˜๋ฉฐ, ์ˆจ๊ฒจ์ง„ ์Šฌ๋กฏ์€ ์ œ๊ฑฐํ•ฉ๋‹ˆ๋‹ค. @Yigtwxx์˜ #460 ๊ธฐ์—ฌ๋ฅผ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค.

  • ์ค‘์ฒฉ๋œ ํƒœ๊ทธ ์ฃผ๋ณ€์—์„œ ๋ถˆํ•„์š”ํ•œ ํƒœ๊ทธ ์ œ๊ฑฐ๊ฐ€ ์ผ์ฐ ๋ฉˆ์ถ”๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @Yigtwxx์˜ #474 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • ๊ฐ™์€ ํƒœ๊ทธ๋ฅผ ๊ฐ€์ง„ ํ˜•์ œ ์š”์†Œ๊ฐ€ ์—ฌ๋Ÿฌ ๊ฐœ์ผ ๋•Œ ์ฒซ ์š”์†Œ์— ๋Œ€ํ•ด ์ƒ์„ฑํ•˜๋Š” CSS์™€ XPath ์„ ํƒ์ž๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @yellow-dog-dog์˜ #495 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

  • lxml HTML ํŒŒ์„œ์˜ ์ง€์› ์ค‘๋‹จ ์˜ˆ์ • ๊ฒฝ๊ณ ๋ฅผ ํ•ด๊ฒฐํ–ˆ์Šต๋‹ˆ๋‹ค. @afsuyadi์˜ #493 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

๋ฌธ์„œ {#v0.5-docs}

  • ์›น์‚ฌ์ดํŠธ ์ „์ฒด๋ฅผ 10๊ฐœ ์–ธ์–ด๋กœ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์˜์–ด, ์•„๋ž์–ด, ์ŠคํŽ˜์ธ์–ด, ๋ธŒ๋ผ์งˆ ํฌ๋ฅดํˆฌ๊ฐˆ์–ด, ํ”„๋ž‘์Šค์–ด, ๋…์ผ์–ด, ์ค‘๊ตญ์–ด ๊ฐ„์ฒด, ์ผ๋ณธ์–ด, ๋Ÿฌ์‹œ์•„์–ด, ํ•œ๊ตญ์–ด๋ฅผ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ๊ฐ€์ด๋“œ, API ์ฐธ์กฐ, ํŠœํ† ๋ฆฌ์–ผ, ๋ณ€๊ฒฝ ๊ธฐ๋ก์„ ๋ฒˆ์—ญํ–ˆ์Šต๋‹ˆ๋‹ค. ์•„๋ž์–ด์˜ ์˜ค๋ฅธ์ชฝ์—์„œ ์™ผ์ชฝ์œผ๋กœ ์“ฐ๋Š” ๋ฐฉํ–ฅ์„ ์ง€์›ํ•˜๋ฉฐ, ์–ธ์–ด๋ฅผ ๋ฐ”๊ฟ”๋„ ํ˜„์žฌ ํŽ˜์ด์ง€์™€ ์„น์…˜์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค.
  • ๊ฐ€์ด๋“œ, README ์˜ˆ์ œ, ์„ค์ • ๋‹จ๊ณ„๋ฅผ ๋” ๋ช…ํ™•ํžˆ ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ฒดํฌํฌ์ธํŠธ ๋ฐ์ดํ„ฐ, ๋ธŒ๋ผ์šฐ์ € ์ธ์ฝ”๋”ฉ, ์ €์žฅ๋œ ์ƒํƒœ, ๋„คํŠธ์›Œํฌ ๊ธฐ๋ก, Shadow DOM, ํฌ๋กค๋ง ์ˆœ์„œ๋ฅผ ๋‹ค๋ฃน๋‹ˆ๋‹ค.
  • Agent Skill๊ณผ ์˜ˆ์ œ, ์ฐธ๊ณ  ์ž๋ฃŒ, ๋‹ค์šด๋กœ๋“œ์šฉ ์••์ถ• ํŒŒ์ผ์„ ์—…๋ฐ์ดํŠธํ–ˆ์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ ๋ธŒ๋ผ์šฐ์ € ๋ฐ MCP ๋„๊ตฌ์— ๋งž์ท„์Šต๋‹ˆ๋‹ค.
  • ๋ณ€๊ฒฝ ๊ธฐ๋ก์„ ์›น์‚ฌ์ดํŠธ๋กœ ์˜ฎ๊ฒผ์Šต๋‹ˆ๋‹ค. ๊ฐ ํŽ˜์ด์ง€์˜ Markdown ์›๋ณธ์—๋„ ์ ‘๊ทผํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

ํ”„๋กœ์ ํŠธ {#v0.5-project}

  • Scrapling ๋กœ๊ณ , ํ‘œ์ง€ ์ด๋ฏธ์ง€, ์›น์‚ฌ์ดํŠธ์˜ ๋ชจ์Šต์„ ์ƒˆ๋กญ๊ฒŒ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค.
  • ๋ธŒ๋ผ์šฐ์ € ๋™์ž‘, ๋Œ€ํ™” ์ƒ์ž, ์ถ”์ถœ, ์Šคํฌ๋ฆฐ์ƒท, JavaScript, ๋„คํŠธ์›Œํฌ ๊ธฐ๋ก, ์ƒํƒœ ํŒŒ์ผ, Shadow DOM, ํฌ๋กค๋Ÿฌ ์ˆ˜์ • ์‚ฌํ•ญ์— ๋Œ€ํ•œ ํ…Œ์ŠคํŠธ๋ฅผ ๋Š˜๋ ธ์Šต๋‹ˆ๋‹ค.
  • ๋ธŒ๋ผ์šฐ์ € ํ…Œ์ŠคํŠธ ๋งˆ์ปค๋ฅผ ์ถ”๊ฐ€ํ•˜๊ณ  ๋ธŒ๋ผ์šฐ์ €, ๋น„๋™๊ธฐ, ๋ณ‘๋ ฌ ํ…Œ์ŠคํŠธ๋ฅผ ๋‚˜๋ˆ„์–ด ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. @diegobravtraps-oss์˜ #457 ๊ธฐ์—ฌ๋กœ Windows์—์„œ ์ฒดํฌํฌ์ธํŠธ์™€ CSV ํ…Œ์ŠคํŠธ์˜ ํ˜ธํ™˜์„ฑ์„ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ๋‹ค๊ตญ์–ด ๋ฌธ์„œ์˜ ๊ณตํ†ต ๋นŒ๋“œ ์„ค์ •๊ณผ ๊ธฐ์—ฌ ์ง€์นจ์„ ์—…๋ฐ์ดํŠธํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.4.15 - 2026-08-23 {#v0.4.15}

์˜ฌํ•ด ๊ฐ€์žฅ ํฐ ๋ฆด๋ฆฌ์Šค ์ค‘ ํ•˜๋‚˜์ž…๋‹ˆ๋‹ค. MCP ์„œ๋ฒ„๋ฅผ ์ƒˆ๋กญ๊ฒŒ ๊ตฌ์„ฑํ•˜๊ณ , ํ•œ ์ค„๋กœ RAG์šฉ Markdown์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ๊ฒŒ ํ–ˆ์Šต๋‹ˆ๋‹ค. Cloudflare ๊ฒ€์‚ฌ ์ฒ˜๋ฆฌ๋„ ๊ฐœ์„ ํ–ˆ์œผ๋ฉฐ, ์ž๋™ํ™”๋ฅผ ์œ„ํ•ด ๋ธŒ๋ผ์šฐ์ € ํƒญ์„ ์—ด๋ฆฐ ์ƒํƒœ๋กœ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค ๐Ÿš€

!!! warning "์ฃผ์˜"

**์ด ๋ฆด๋ฆฌ์Šค์—๋Š” MCP ์„œ๋ฒ„์˜ ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ ์‚ฌํ•ญ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์—…๋ฐ์ดํŠธ ์ „์— [ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ ์‚ฌํ•ญ](https://github.com/D4Vinci/Scrapling/blob/v0.4.15/docs/ai/mcp-server.md#breaking-changes)์„ ํ™•์ธํ•˜์„ธ์š”.**

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.4.15-new-stuff-and-quality-of-life-changes}

  • ๋ธŒ๋ผ์šฐ์ € ํƒญ์„ ์—ด๋ฆฐ ์ƒํƒœ๋กœ ์œ ์ง€ํ•˜๊ณ  ๋‹ค์Œ ์š”์ฒญ์—์„œ๋„ ์žฌ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ):

    • ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์ด ์š”์ฒญ ํ›„์—๋„ ํƒญ์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. ๋‹ค์Œ ์š”์ฒญ์€ ์ƒˆ ํƒญ์„ ์—ฌ๋Š” ๋Œ€์‹  ์‚ฌ์šฉ ์ค‘์ด ์•„๋‹Œ ํƒญ์„ ์žฌ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.
    • ๊ฐ ์š”์ฒญ์€ ํ• ๋‹น๋ฐ›์€ ํƒญ์— ์ œํ•œ ์‹œ๊ฐ„, ํ—ค๋”, ๋ฆฌ์†Œ์Šค ์ฐจ๋‹จ ๋“ฑ ์ž์‹ ์˜ ์„ค์ •์„ ๋‹ค์‹œ ์ ์šฉํ•ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ๋‹ค๋ฅธ ์š”์ฒญ์˜ ์„ค์ •์ด ๋‚จ์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
    • ์˜ค๋ฅ˜๊ฐ€ ๋‚œ ํƒญ์€ ๋‹ซ๊ณ  ์ƒˆ ํƒญ์œผ๋กœ ๊ต์ฒดํ•ฉ๋‹ˆ๋‹ค. ์ƒˆ close_pages() ๋ฉ”์„œ๋“œ๋กœ ์—ด๋ฆฐ ํƒญ์„ ๋ชจ๋‘ ๋‹ซ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
    • ๊ฐ€์ ธ์˜จ ํŽ˜์ด์ง€๋Š” ๋กœ๋“œ๋œ ์ƒํƒœ๋กœ ์œ ์ง€๋ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ๋‹ค์Œ ์š”์ฒญ์˜ page_setup ํ•จ์ˆ˜๋Š” ๋‹ค๋ฅธ ํŽ˜์ด์ง€๋กœ ์ด๋™ํ•˜๊ธฐ ์ „์— ๊ทธ ํŽ˜์ด์ง€์—์„œ ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ ์—ฌ๋Ÿฌ ์š”์ฒญ์— ๊ฑธ์นœ ์ž๋™ํ™” ์ž‘์—…์„ ์—ฐ๊ฒฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • Response.markdown()์œผ๋กœ ์–ด๋–ค ํŽ˜์ด์ง€๋“  LLM์—์„œ ๋ฐ”๋กœ ์“ธ ์ˆ˜ ์žˆ๋Š” ๊น”๋”ํ•œ Markdown์œผ๋กœ ๋ฐ”๊ฟ€ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ):

    from scrapling.fetchers import Fetcher
    
    markdown = Fetcher.get("https://example.com").markdown(main_content_only=True)
    
    • MCP ์„œ๋ฒ„์™€ ๊ฐ™์€ ์ •๋ฆฌ ๊ณผ์ •์„ ๊ฑฐ์ณ, ์Šคํฌ๋ฆฝํŠธ์™€ ์Šคํƒ€์ผ, ์ˆจ๊ฒจ์ง„ ํ”„๋กฌํ”„ํŠธ ์ธ์ ์…˜ ๋‚ด์šฉ์„ ํ•ญ์ƒ ๋จผ์ € ์ œ๊ฑฐํ•ฉ๋‹ˆ๋‹ค.
    • ํ•„์š”ํ•œ ์š”์†Œ๋งŒ ๋ณ€ํ™˜ํ•˜๋ ค๋ฉด css_selector๋ฅผ ์ „๋‹ฌํ•˜์„ธ์š”.
    • ์ƒˆ ์„ ํƒ ์˜์กด์„ฑ ๊ทธ๋ฃน rag(pip install "scrapling[rag]")๋กœ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ai/shell/all ๊ทธ๋ฃน์—๋„ ํฌํ•จ๋ฉ๋‹ˆ๋‹ค.
  • ์›น์‚ฌ์ดํŠธ ์ „์ฒด๋ฅผ ํฌ๋กค๋งํ•ด RAG ํŒŒ์ดํ”„๋ผ์ธ์šฉ Markdown ๋ฌธ์„œ ๋ชจ์Œ์„ ๋งŒ๋“œ๋Š” SiteToMarkdownSpider ํ…œํ”Œ๋ฆฟ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ):

    from scrapling.spiders import SiteToMarkdownSpider
    
    class DocsSpider(SiteToMarkdownSpider):
        name = "docs"
        start_urls = ["https://example.com/docs/"]
        allowed_domains = {"example.com"}
        output_dir = "docs_markdown"
    
    result = DocsSpider().start()
    result.items.to_jsonl("docs.jsonl")
    
    • ํŽ˜์ด์ง€๋งˆ๋‹ค url/title/markdown์„ ๊ฐ€์ง„ ํ•ญ๋ชฉ ํ•˜๋‚˜๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ์„ ํƒ ์‚ฌํ•ญ์ธ output_dir์„ ์ง€์ •ํ•˜๋ฉด ํŽ˜์ด์ง€๋งˆ๋‹ค Markdown ํŒŒ์ผ ํ•˜๋‚˜๋ฅผ ์ €์žฅํ•ฉ๋‹ˆ๋‹ค.
    • max_pages๋กœ ํฌ๋กค๋งํ•  ํŽ˜์ด์ง€ ์ˆ˜๋ฅผ ์ œํ•œํ•ฉ๋‹ˆ๋‹ค. CrawlSpider๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜๋ฏ€๋กœ rules()๋ฅผ ์žฌ์ •์˜ํ•ด ์–ด๋–ค ๋งํฌ๋ฅผ ๋”ฐ๋ผ๊ฐˆ์ง€ ์ž์œ ๋กญ๊ฒŒ ์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • MCP ์„œ๋ฒ„๋ฅผ ์ƒˆ๋กญ๊ฒŒ ๊ตฌ์„ฑํ–ˆ์Šต๋‹ˆ๋‹ค(ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ค๋‹ˆ๋‹ค)(ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ ์‚ฌํ•ญ๊ณผ ๋ฌธ์„œ ์ฐธ๊ณ ):

    • ๋„๊ตฌ 13๊ฐœ๋ฅผ ๋‘ ๋ชจ๋“œ๋กœ ๋‚˜๋ˆด์Šต๋‹ˆ๋‹ค. ์ผํšŒ์„ฑ ๋„๊ตฌ(fetch, bulk_fetch, stealthy_fetch, bulk_stealthy_fetch)๋Š” ํ•ญ์ƒ ์ž์ฒด ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์‹คํ–‰ํ•˜๊ณ  ์‹ค์ œ ๊ธฐ๋ณธ๊ฐ’์„ ํ‘œ์‹œํ•ฉ๋‹ˆ๋‹ค. ์„ธ์…˜ ๋„๊ตฌ๋Š” ํ•œ ๋ฒˆ ์—ด์–ด ๋‘” ์„ธ์…˜์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.
    • ์ƒˆ session_fetch ๋„๊ตฌ๋Š” ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์œผ๋กœ ํŽ˜์ด์ง€๋ฅผ ๊ฐ€์ ธ์˜ต๋‹ˆ๋‹ค. open_session์€ ์ด์ œ ๋ธŒ๋ผ์šฐ์ € ์ˆ˜์ค€์˜ ์„ค์ •๋งŒ ๊ด€๋ฆฌํ•˜๋ฉฐ, ์„ธ์…˜์— ์‹ค์ œ๋กœ ์ ์šฉ๋œ ์„ค์ •์„ AI ์—์ด์ „ํŠธ์— ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค.
    • get ๋„๊ตฌ์˜ ์ด๋ฆ„์„ make_request๋กœ ๋ฐ”๊ฟจ์œผ๋ฉฐ, ๋ชจ๋“  HTTP ๋ฉ”์„œ๋“œ๋ฅผ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.
    • ์ƒˆ open_request_session๊ณผ session_make_request ๋„๊ตฌ๋กœ AI๊ฐ€ ์ง€์†์ ์ธ HTTP ์„ธ์…˜์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์š”์ฒญ ์‚ฌ์ด์— ์ฟ ํ‚ค์™€ ๋ธŒ๋ผ์šฐ์ € ์ง€๋ฌธ์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค.
    • ์ด ๋ณ€๊ฒฝ์œผ๋กœ ํŽ˜์ด์ง€๋ฅผ ๊ฐ€์ ธ์˜ฌ ๋•Œ ์„ธ์…˜ ์„ค์ •์ด ์ดˆ๊ธฐํ™”๋˜๋Š” ๋ฌธ์ œ๋„ ํ•ด๊ฒฐํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด ๋ฌธ์ œ๋Š” @Yigtwxx๊ฐ€ #418์—์„œ ์ฒ˜์Œ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • MCP ์„œ๋ฒ„์˜ HTTP ์ „์†ก์€ ๊ธฐ๋ณธ์ ์œผ๋กœ ์ธ์ฆ์„ ์š”๊ตฌํ•˜๊ณ  localhost์— ๋ฐ”์ธ๋”ฉํ•ฉ๋‹ˆ๋‹ค(ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ค๋‹ˆ๋‹ค). @yamantaka-singh์˜ #414 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค(#413 ์ˆ˜์ •, ๋ฌธ์„œ ์ฐธ๊ณ ):

    • Bearer ํ† ํฐ์„ ์š”๊ตฌํ•˜๋ ค๋ฉด --auth-token ๋˜๋Š” ํ™˜๊ฒฝ ๋ณ€์ˆ˜ SCRAPLING_MCP_AUTH_TOKEN์„ ์ „๋‹ฌํ•˜์„ธ์š”. ์˜๋„์ ์œผ๋กœ ์ธ์ฆ ์—†์ด ์„œ๋น„์Šคํ•˜๋ ค๋ฉด --no-auth๋ฅผ ์ „๋‹ฌํ•˜์„ธ์š”.
    • ๋„คํŠธ์›Œํฌ์—์„œ ๋“ค์–ด์˜ค๋Š” ์—ฐ๊ฒฐ์„ ํ—ˆ์šฉํ•˜๋ ค๋ฉด --host 0.0.0.0์„ ์ „๋‹ฌํ•˜์„ธ์š”.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.4.15-bug-fixes}

  • ๋ธŒ๋ผ์šฐ์ € ๋กœ์บ˜๊ณผ ๊ด€๊ณ„์—†์ด Cloudflare Turnstile/Interstitial ๊ฒ€์‚ฌ๋ฅผ ํ†ต๊ณผํ•˜๋ฉฐ, ์ฐฝ ์—†๋Š” ๋ชจ๋“œ์—์„œ ์ƒํ˜ธ์ž‘์šฉ์ด ํ•„์š”ํ•œ ๊ฒ€์‚ฌ๋ฅผ ๋ฌดํ•œํžˆ ๋ฐ˜๋ณตํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์Šคํ…”์Šค ํŽ˜์ด์ง€๊ฐ€ ๊ฒ€์‚ฌ ์ฒ˜๋ฆฌ ์ค‘์— ๋น„์ •์ƒ ์ข…๋ฃŒ๋˜๋Š” ๋ฌธ์ œ๋„ ํ•ด๊ฒฐํ–ˆ์Šต๋‹ˆ๋‹ค. @subediparas5์˜ #412 ๊ธฐ์—ฌ๋ฅผ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค(#411๊ณผ #422 ์ˆ˜์ •).
  • find/find_all์—์„œ class_๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ํด๋ž˜์Šค๊ฐ€ ์—ฌ๋Ÿฌ ๊ฐœ์ธ ์š”์†Œ๋ฅผ ์•Œ๋ฆผ ์—†์ด ๋†“์น˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @yetval์˜ #410 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค. ๋นˆ class_ ๊ฐ’๊ณผ ์ด์Šค์ผ€์ดํ”„ํ•˜์ง€ ์•Š์€ CSS ๋ฌธ์ž์—ด ๊ฐ’ ๋ฌธ์ œ๋„ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @yamantaka-singh์˜ #417 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • development_mode์—์„œ ์บ์‹œํ•œ ์‘๋‹ต์„ ๋‹ค์‹œ ์‚ฌ์šฉํ•  ๋•Œ ์š”์ฒญ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๊ฐ€ ์‚ฌ๋ผ์ง€๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @Yigtwxx์˜ #419 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • retries๊ฐ€ 1๋ณด๋‹ค ์ž‘์€ HTTP ์š”์ฒญ์ด ์ „์†ก๋˜์ง€๋„ ์•Š๊ณ  ์‹คํŒจํ•˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @Yigtwxx์˜ #420 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

๋ฌธ์„œ {#v0.4.15-docs}

  • ์›น์‚ฌ์ดํŠธ์˜ ๊ตฌ์„ฑ์„ ์ •๋ฆฌํ–ˆ์Šต๋‹ˆ๋‹ค. ์ƒˆ โ€œAI์™€ ํ•จ๊ป˜ ์‚ฌ์šฉํ•˜๊ธฐโ€ ์„น์…˜์— MCP ์„œ๋ฒ„, ์ƒˆ Agent Skill ํŽ˜์ด์ง€, RAG ์‹œ์Šคํ…œ ๋งŒ๋“ค๊ธฐ ๊ฐ€์ด๋“œ๋ฅผ ๋ชจ์•˜์Šต๋‹ˆ๋‹ค. BeautifulSoup ๋งˆ์ด๊ทธ๋ ˆ์ด์…˜ ๊ฐ€์ด๋“œ๋Š” โ€œํ†ตํ•ฉ๊ณผ ๋งˆ์ด๊ทธ๋ ˆ์ด์…˜โ€ ์„น์…˜์˜ Scrapy ํ†ตํ•ฉ ์˜†์œผ๋กœ ์˜ฎ๊ฒผ์Šต๋‹ˆ๋‹ค.
  • ์ €์žฅ์†Œ์— ๋ณ€๊ฒฝ ๊ธฐ๋ก์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ง€๊ธˆ๊นŒ์ง€์˜ ๋ชจ๋“  ๋ฆด๋ฆฌ์Šค ๋…ธํŠธ๋ฅผ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค.

v0.4.14 - 2026-08-10 {#v0.4.14}

uv ์„ค์น˜ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” ์ž‘์€ ์œ ์ง€ ๋ณด์ˆ˜ ๋ฆด๋ฆฌ์Šค์ž…๋‹ˆ๋‹ค ๐Ÿ”ง

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.4.14-bug-fixes}

  • uv๊ฐ€ ๊ธฐ๋ณธ์ ์œผ๋กœ v0.4.13 ์„ค์น˜๋ฅผ ๊ฑฐ๋ถ€ํ•˜๊ณ  ์•Œ๋ฆผ ์—†์ด ์ด์ „ ๋ฒ„์ „์œผ๋กœ ๋Œ์•„๊ฐ€๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ „ ๋ฆด๋ฆฌ์Šค๋Š” curl_cffi์˜ ์‚ฌ์ „ ๋ฆด๋ฆฌ์Šค ๋ฒ„์ „์„ ์š”๊ตฌํ–ˆ์ง€๋งŒ, uv๋Š” ๋ช…์‹œ์ ์œผ๋กœ ํ—ˆ์šฉํ•˜์ง€ ์•Š์œผ๋ฉด ์‚ฌ์ „ ๋ฆด๋ฆฌ์Šค ๋ฒ„์ „์„ ์„ค์น˜ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ด์ œ ๋ชจ๋“  ์˜์กด์„ฑ์„ ์•ˆ์ • ๋ฒ„์ „์œผ๋กœ ์„ค์น˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค(#407 ์ˆ˜์ •).

v0.4.13 - 2026-08-09 {#v0.4.13}

ํ”ผ๋“œ ์ŠคํŒŒ์ด๋”์™€ ๋” ๋˜‘๋˜‘ํ•œ MCP ์„œ๋ฒ„๋ฅผ ์ œ๊ณตํ•˜๋Š” ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค ๐ŸŽ‰

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.4.13-new-stuff-and-quality-of-life-changes}

  • ํ”ผ๋“œ ์ŠคํŒŒ์ด๋” ํ…œํ”Œ๋ฆฟ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. XMLFeedSpider๋Š” XML ํ”ผ๋“œ(RSS, Atom, ์ƒํ’ˆ ํ”ผ๋“œ ๋“ฑ)์˜ ๋…ธ๋“œ๋ฅผ ์ˆœํšŒํ•˜๊ณ , CSVFeedSpider๋Š” CSV ํ–‰์„ ๋”•์…”๋„ˆ๋ฆฌ๋กœ ์ˆœํšŒํ•ฉ๋‹ˆ๋‹ค. ๋‘˜ ๋‹ค gzip์œผ๋กœ ์••์ถ•ํ•œ ํ”ผ๋“œ๋ฅผ ์ž๋™์œผ๋กœ ํ’‰๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ).

    from scrapling.spiders import XMLFeedSpider
    
    class RSSSpider(XMLFeedSpider):
        name = "rss"
        start_urls = ["https://example.com/feed.xml"]
    
        async def parse_node(self, response, node):
            yield {"title": node.findtext("title"), "link": node.findtext("link")}
    
    result = RSSSpider().start()
    
  • MCP ์„œ๋ฒ„๋ฅผ MCP SDK v2๋กœ ์—…๊ทธ๋ ˆ์ด๋“œํ•˜๊ณ  ๋” ๋˜‘๋˜‘ํ•˜๊ฒŒ ๋งŒ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค. AI ์—์ด์ „ํŠธ์— ๋„๊ตฌ๋ฅผ ํšจ์œจ์ ์œผ๋กœ ์‚ฌ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ๋ ค ์ฃผ๋Š” ์ง€์นจ์„ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค. ๊ฐ ๋„๊ตฌ๊ฐ€ ์–ด๋…ธํ…Œ์ด์…˜์„ ์„ ์–ธํ•˜๋ฏ€๋กœ Claude Code ๊ฐ™์€ ํด๋ผ์ด์–ธํŠธ๋Š” ์ฝ๊ธฐ ์ „์šฉ ๋„๊ตฌ๋ฅผ ์ž๋™์œผ๋กœ ์Šน์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ† ํฐ์„ ์•„๋ผ๋„๋ก ๋„๊ตฌ ์„ค๋ช…๋„ ์ค„์˜€์Šต๋‹ˆ๋‹ค. ์„œ๋ฒ„์˜ ๋ฒ„์ „๊ณผ ๋กœ๊ณ ๋„ MCP ํด๋ผ์ด์–ธํŠธ์— ์•Œ๋ฆฝ๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ).

  • scrapling-mcp ๋ช…๋ น์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. scrapling mcp์— ์ง์ ‘ ๋Œ€์‘ํ•˜๋ฏ€๋กœ, ๋‹จ์ผ ๋ช…๋ น์„ ์š”๊ตฌํ•˜๋Š” MCP ํด๋ผ์ด์–ธํŠธ์™€ ๋ ˆ์ง€์ŠคํŠธ๋ฆฌ์— ํ•œ ์ค„๋กœ Scrapling์„ ๋“ฑ๋กํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • Playwright/Patchright์™€ ๋ธŒ๋ผ์šฐ์ €์˜ ๋ฒ„์ „ ๊ณ ์ •์„ ํ•ด์ œํ–ˆ์Šต๋‹ˆ๋‹ค. ์ƒ์„ฑํ•œ ๋ธŒ๋ผ์šฐ์ € User-Agent๋Š” ์ด์ œ ์„ค์น˜๋œ Playwright/Patchright๊ฐ€ ์‹ค์ œ๋กœ ๊ตฌ๋™ํ•˜๋Š” Chromium ๋ฒ„์ „๊ณผ ํ•ญ์ƒ ์ผ์น˜ํ•ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ Scrapling์ด ๋ฒ„์ „์„ ๊ณ ์ •ํ•  ํ•„์š”๊ฐ€ ์—†์–ด ์ž์œ ๋กญ๊ฒŒ ์—…๊ทธ๋ ˆ์ด๋“œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์—…๋ฐ์ดํŠธ ํ›„ scrapling install --force๋ฅผ ์‹คํ–‰ํ•ด ๋ธŒ๋ผ์šฐ์ €๋ฅผ ๊ฐฑ์‹ ํ•˜์„ธ์š”.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.4.13-bug-fixes}

  • ์ง€๋ฌธ ๋ฐ์ดํ„ฐ ํŒจํ‚ค์ง€๊ฐ€ ๋ธŒ๋ผ์šฐ์ € ๋ฒ„์ „๋ณด๋‹ค ๋’ค์ฒ˜์กŒ์„ ๋•Œ Scrapling์„ ์ž„ํฌํŠธํ•˜๋ฉด browserforge์˜ ValueError๋กœ ๋น„์ •์ƒ ์ข…๋ฃŒ๋˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค(#394, #396, #400 ์ˆ˜์ •).
  • MCP ์ผ๊ด„ ๋ธŒ๋ผ์šฐ์ € ๋„๊ตฌ์˜ ํŽ˜์ด์ง€ ํ’€ ํฌ๊ธฐ๊ฐ€ ์ž˜๋ชป ์„ค์ •๋˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด ๋ฌธ์ œ๋กœ bulk_fetch๋Š” ํ•œ ๋ฒˆ์— URL 50๊ฐœ๋ฅผ ๋„˜๊ฒŒ ์ฒ˜๋ฆฌํ•˜๋ฉด ์‹คํŒจํ–ˆ๊ณ , bulk_stealthy_fetch๋Š” ํƒญ ํ•˜๋‚˜๋กœ ๋ชจ๋“  URL์„ ๊ฐ€์ ธ์™”์Šต๋‹ˆ๋‹ค. @Yigtwxx์˜ #393 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

ํ”„๋กœ์ ํŠธ {#v0.4.13-project}

  • ์ƒˆ AI ๊ธฐ์—ฌ ์ •์ฑ…์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. AI๋ฅผ ํ™œ์šฉํ•œ ๊ธฐ์—ฌ๋Š” ํ™˜์˜ํ•˜์ง€๋งŒ PR์ด๋‚˜ ์ด์Šˆ์— ์‚ฌ์šฉ ์‚ฌ์‹ค์„ ๋ฐํ˜€์•ผ ํ•ฉ๋‹ˆ๋‹ค. AI ์‚ฌ์šฉ ์‚ฌ์‹ค์„ ๋ฐํžˆ์ง€ ์•Š์€ ์ƒ์„ฑ๋ฌผ๋กœ ๋ณด์ด๋Š” ์ œ์ถœ๋ฌผ์€ ๋ผ๋ฒจ์„ ๋ถ™์ด๊ณ  ๋‹ซ์Šต๋‹ˆ๋‹ค.

v0.4.12 - 2026-07-26 {#v0.4.12}

์ŠคํŒŒ์ด๋”๊ฐ€ ํฌ๋กค๋งํ•˜๋Š” ์›น์‚ฌ์ดํŠธ์— ๋งž์ถฐ ๋” ๋˜‘๋˜‘ํ•˜๊ฒŒ ๋™์ž‘ํ•˜๋„๋ก ํ•˜๋Š” ๋ฆด๋ฆฌ์Šค์ž…๋‹ˆ๋‹ค

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.4.12-new-stuff-and-quality-of-life-changes}

  • ์ŠคํŒŒ์ด๋”๊ฐ€ AutoThrottle๋กœ ์†๋„๋ฅผ ์Šค์Šค๋กœ ์กฐ์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋„ˆ๋ฌด ๋А๋ฆฌ๊ฑฐ๋‚˜ ์ฐจ๋‹จ์„ ์ผ์œผํ‚ฌ ์ˆ˜ ์žˆ๋Š” download_delay๋ฅผ ์ถ”์ธกํ•  ํ•„์š”๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค. ์ŠคํŒŒ์ด๋”๊ฐ€ ๊ฐ ์›น์‚ฌ์ดํŠธ์˜ ์‘๋‹ต ์†๋„๋ฅผ ์ธก์ •ํ•ด ๋„๋ฉ”์ธ๋ณ„ ์ง€์—ฐ์„ ์ž๋™์œผ๋กœ ์กฐ์ •ํ•ฉ๋‹ˆ๋‹ค. ์‚ฌ์ดํŠธ๊ฐ€ ์š”์ฒญ์„ ์ฐจ๋‹จํ•˜๊ฑฐ๋‚˜ ์š”์ฒญ ์ˆ˜๋ฅผ ์ œํ•œํ•˜๋ฉด, ์ œํ•œ์ด ์—†์–ด์งˆ ๋•Œ๊นŒ์ง€ ์ง€์—ฐ์„ ๋‘ ๋ฐฐ๋กœ ๋Š˜๋ฆฌ๊ฑฐ๋‚˜ Retry-After ํ—ค๋”๊ฐ€ ์ง€์ •ํ•œ ์‹œ๊ฐ„๋งŒํผ ๊ธฐ๋‹ค๋ฆฝ๋‹ˆ๋‹ค. ์ดํ›„ ๋‹ค์‹œ ์†๋„๋ฅผ ๋†’์ž…๋‹ˆ๋‹ค. ์„ค์ •ํ•œ download_delay์™€ robots.txt์˜ Crawl-delay๋Š” ๊ณ„์† ์ตœ์†Œ ๋Œ€๊ธฐ ์‹œ๊ฐ„์œผ๋กœ ์ง€ํ‚ต๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ).

    class MySpider(Spider):
        name = "adaptive"
        start_urls = ["https://example.com"]
        autothrottle_enabled = True
        autothrottle_start_delay = 2.0
        autothrottle_max_delay = 30.0
        autothrottle_block_backoff = True
    
  • ๊ฒฐ๊ณผ๋ฅผ CSV์™€ XML๋กœ ๋‚ด๋ณด๋‚ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด JSON/JSONL ๋‚ด๋ณด๋‚ด๊ธฐ๋„ ๊ณ„์† ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ•ญ๋ชฉ๋งˆ๋‹ค ํ‚ค๊ฐ€ ๋‹ฌ๋ผ๋„ ๋น ์ง์—†์ด ๋‚ด๋ณด๋‚ด๋ฉฐ, ์ค‘์ฒฉ๋œ ๊ฐ’์€ JSON์œผ๋กœ ๊ธฐ๋กํ•ฉ๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ).

    result = MySpider().start()
    result.items.to_csv("products.csv")
    result.items.to_xml("products.xml")
    
  • MCP ์„œ๋ฒ„์—์„œ ์ธ์ฆ์„ ์š”๊ตฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ž์‹ ์˜ ์ปดํ“จํ„ฐ์—์„œ๋งŒ ์“ฐ์ง€ ์•Š๊ณ  ์•ˆ์ „ํ•˜๊ฒŒ ์™ธ๋ถ€์— ๊ณต๊ฐœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ† ํฐ์ด ์—†๋Š” ์š”์ฒญ์€ ๊ฑฐ๋ถ€ํ•˜๋ฉฐ, ์„œ๋ฒ„๊ฐ€ ์‘๋‹ตํ•  ํ˜ธ์ŠคํŠธ ์ด๋ฆ„๋„ ์ œํ•œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ).

    scrapling mcp --http --auth-token "$(openssl rand -hex 32)"
    
  • ๋ธŒ๋ผ์šฐ์ €๊ฐ€ HTTP ํ˜•์‹์˜ CDP URL๋„ ๋ฐ›์Šต๋‹ˆ๋‹ค. WebSocket์—๋งŒ ํ•œ์ •๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๊ด€๋ฆฌํ˜• ๋ธŒ๋ผ์šฐ์ € ์„œ๋น„์Šค์˜ wss:// ์ฃผ์†Œ๋ฟ ์•„๋‹ˆ๋ผ, --remote-debugging-port=9222๋กœ ์ง์ ‘ ์‹คํ–‰ํ•œ Chrome์—๋„ ๋ธŒ๋ผ์šฐ์ € Fetcher๋‚˜ MCP ์„ธ์…˜์„ ์—ฐ๊ฒฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๊ฒŒ์‹œํ•˜๋Š” Docker ์ด๋ฏธ์ง€์— ๋ฆด๋ฆฌ์Šค ๋ฒ„์ „ ํƒœ๊ทธ๋ฅผ ๋ถ™์ž…๋‹ˆ๋‹ค. ์ด์ œ latest๋ฟ ์•„๋‹ˆ๋ผ ์›ํ•˜๋Š” ๋ฒ„์ „์„ ์ •ํ™•ํžˆ ๊ณ ์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. @JanRK์˜ #384 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.4.12-bug-fixes}

  • ๋ธŒ๋ผ์šฐ์ € ์—”์ง„์˜ ์‘๋‹ต์„ ์บ์‹œํ•˜๋ฉด ์ฟ ํ‚ค๊ฐ€ ๋ชจ๋‘ ์‚ฌ๋ผ์ง€๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ŠคํŒŒ์ด๋” ๊ฐœ๋ฐœ ๋ชจ๋“œ์—์„œ ์ฟ ํ‚ค์— ์˜์กดํ•˜๋Š” ์„ธ์…˜์ด๋‚˜ ์ธ์ฆ ๋กœ์ง์ด ์•Œ๋ฆผ ์—†์ด ๋™์ž‘ํ•˜์ง€ ์•Š๊ฒŒ ๋˜๋Š” ์›์ธ์ด์—ˆ์Šต๋‹ˆ๋‹ค. @amitvijapur์˜ #379 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค(#376 ์ˆ˜์ •).

  • StealthyFetcher๊ฐ€ ์‹œ์Šคํ…œ ์„ค์ •์„ ๋”ฐ๋ฅด์ง€ ์•Š๊ณ  ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ €์— en-US ๋กœ์บ˜์„ ๊ฐ•์ œํ•˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์‚ฌ์ดํŠธ๊ฐ€ ๋กœ์บ˜๊ณผ IP ์ฃผ์†Œ์˜ ๋ถˆ์ผ์น˜๋ฅผ ๋ณด๊ณ  ์˜์‹ฌ์Šค๋Ÿฌ์šด ์š”์ฒญ์œผ๋กœ ํŒ๋‹จํ•ด, Google์—์„œ 429๋ฅผ ๋ฐ˜ํ™˜ํ•˜๋Š” ๋“ฑ์˜ ๋ฌธ์ œ๊ฐ€ ์ƒ๊ฒผ์Šต๋‹ˆ๋‹ค(#381 ์ˆ˜์ •).

  • ์ €์žฅ ์‹œ์Šคํ…œ์—์„œ ํ˜ผ๋™์„ ์ฃผ๋Š” ์˜ค๋ฅ˜ ๋ฉ”์‹œ์ง€๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์‚ฝ์ž… ํ›„ ๋‚จ์•„ ์žˆ๋˜ ๋ถˆํ•„์š”ํ•œ ํ˜ธ์ถœ๋„ ์ œ๊ฑฐํ–ˆ์Šต๋‹ˆ๋‹ค. @fix2015์˜ #377 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

์„ฑ๋Šฅ {#v0.4.12-performance}

  • get_all_text()์˜ ์‹คํ–‰ ์‹œ๊ฐ„์ด ์ด์ œ ๋…ธ๋“œ ์ˆ˜์— ๋น„๋ก€ํ•ฉ๋‹ˆ๋‹ค(O(nodes)). ๊ฐ ํ…์ŠคํŠธ ๋…ธ๋“œ์˜ ์กฐ์ƒ์„ ๋งค๋ฒˆ ๋”ฐ๋ผ๊ฐ€์ง€ ์•Š์œผ๋ฏ€๋กœ, ๊นŠ๊ฒŒ ์ค‘์ฒฉ๋œ ํŽ˜์ด์ง€์—์„œ ์•ฝ 5-6๋ฐฐ ๋น ๋ฅด๊ฒŒ ๋™์ž‘ํ•ฉ๋‹ˆ๋‹ค. @yetval์˜ #378 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

v0.4.11 - 2026-07-12 {#v0.4.11}

์ฒซ ํ”Œ๋žซํผ๋ณ„ ์ŠคํŒŒ์ด๋” ํ…œํ”Œ๋ฆฟ, ๋” ๋น ๋ฅธ ํŒŒ์„œ, ์ค‘์š”ํ•œ ์ˆ˜์ • ์‚ฌํ•ญ์„ ๋‹ด์€ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค ๐ŸŽ‰

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.4.11-new-stuff-and-quality-of-life-changes}

  • ์ฒซ ํ”Œ๋žซํผ๋ณ„ ์ŠคํŒŒ์ด๋” ํ…œํ”Œ๋ฆฟ ShopifySpider๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค! Shopify ๊ธฐ๋ฐ˜ ์ƒ์ ์˜ JSON API๋กœ ๋ชจ๋“  ์ƒํ’ˆ์„ ์ถ”์ถœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์‚ฌ์ดํŠธ์˜ HTML์„ ๋‹ค๋ฃฐ ํ•„์š”๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค. ์ด ํด๋ž˜์Šค๋ฅผ ์ƒ์†ํ•˜๊ณ  ์ƒ์  ๋„๋ฉ”์ธ๋งŒ ์„ค์ •ํ•˜๋ฉด ๋ฉ๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ).

    from scrapling.spiders import ShopifySpider
    
    class MyStore(ShopifySpider):
        target_website = "example.com"
    
    result = MyStore().start()
    
  • CLI ๋ธŒ๋ผ์šฐ์ € ๋ช…๋ น์— --executable-path๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. scrapling extract fetch์™€ scrapling extract stealthy-fetch ๋ชจ๋‘ ์›ํ•˜๋Š” Chromium ํ˜ธํ™˜ ๋ธŒ๋ผ์šฐ์ € ์‹คํ–‰ ํŒŒ์ผ์„ ์ง€์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์˜ต์…˜์„ ์ „๋‹ฌํ•˜์ง€ ์•Š์œผ๋ฉด ํ™˜๊ฒฝ ๋ณ€์ˆ˜ SCRAPLING_EXECUTABLE_PATH๋ฅผ ์‚ฌ์šฉํ•˜๋ฏ€๋กœ MCP ์„œ๋ฒ„์™€ ๊ฐ™์€ ๊ธฐ๋Šฅ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค(#371 ํ•ด๊ฒฐ).

    scrapling extract fetch "https://example.com" page.html --executable-path "/path/to/chromium"
    

๐Ÿค– ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.4.11-quality-of-life-changes}

  • find_by_text์™€ find_by_regex๊ฐ€ ์ตœ๋Œ€ ์•ฝ 2๋ฐฐ ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค. first_match๊ฐ€ ์ผœ์ง„ ๊ฒฝ์šฐ(๊ธฐ๋ณธ๊ฐ’) ์š”์†Œ๋ฅผ ํ•„์š”ํ•  ๋•Œ๋งŒ ๊ฐ์ฒด๋กœ ๊ฐ์‹ธ๋ฏ€๋กœ ์ฒซ ์ผ์น˜ ํ•ญ๋ชฉ์—์„œ ๊ฒ€์ƒ‰์„ ๋ฉˆ์ถฅ๋‹ˆ๋‹ค. @yetval์˜ #370 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • ๋ชจ๋“  ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์˜ ์ตœ์‹  ๋ฒ„์ „๊ณผ ๋น„๊ตํ•œ ์ƒˆ ์ˆ˜์น˜๋กœ ๋ฒค์น˜๋งˆํฌ๋ฅผ ๊ฐฑ์‹ ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ๊ธฐ์—ฌ ๊ทœ์น™์„ ๊ฐฑ์‹ ํ–ˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.4.11-bug-fixes}

  • ์ œ์–ด ๋ฌธ์ž๊ฐ€ ์žˆ๋Š” ํŽ˜์ด์ง€์—์„œ MCP ์„œ๋ฒ„์˜ ๊ฐ€์ ธ์˜ค๊ธฐ ๋„๊ตฌ๊ฐ€ ๋น„์ •์ƒ ์ข…๋ฃŒ๋˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. All strings must be XML compatible ์˜ค๋ฅ˜๊ฐ€ ๋ฐœ์ƒํ•˜๋˜ ๋ฌธ์ œ์ž…๋‹ˆ๋‹ค. @yetval์˜ #368 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค(#366 ์ˆ˜์ •).

v0.4.10 - 2026-07-04 {#v0.4.10}

์ƒˆ Scrapy ํ†ตํ•ฉ ๊ธฐ๋Šฅ๊ณผ ์ปค๋ฎค๋‹ˆํ‹ฐ์˜ ์—ฌ๋Ÿฌ ์ˆ˜์ • ์‚ฌํ•ญ์„ ๋‹ด์€ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค ๐ŸŽ‰

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.4.10-new-stuff-and-quality-of-life-changes}

  • Scrapy ํ†ตํ•ฉ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด Scrapy ํ”„๋กœ์ ํŠธ๋ฅผ ๋‹ค์‹œ ์ž‘์„ฑํ•˜์ง€ ์•Š๊ณ  Scrapling์˜ ํŒŒ์‹ฑ API๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ŠคํŒŒ์ด๋” ์ฝœ๋ฐฑ์— scrapling_response ๋ฐ์ฝ”๋ ˆ์ดํ„ฐ๋ฅผ ๋ถ™์ด๋ฉด ๋ฐ›๋Š” ์‘๋‹ต์ด Scrapling์˜ Response๋กœ ๋ฐ”๋€๋‹ˆ๋‹ค. ํฌ๋กค๋ง์€ ๊ณ„์† Scrapy๊ฐ€ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ):

    import scrapy
    from scrapling.integrations.scrapy import scrapling_response
    
    class QuotesSpider(scrapy.Spider):
        name = "quotes"
        start_urls = ["https://quotes.toscrape.com"]
    
        @scrapling_response
        def parse(self, response):  # `response` is now a Scrapling Response
            first_quote = response.find_by_text("The world as we have created it", partial=True)
            for quote in [first_quote, *first_quote.find_similar()]:
                yield {"text": quote.get_all_text(strip=True)}
    
  • MCP ์„œ๋ฒ„์˜ ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ € ๋„๊ตฌ์—์„œ ์›ํ•˜๋Š” Chromium ํ˜ธํ™˜ ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. scrapling mcp --executable-path "/path/to/chromium" ๋˜๋Š” ํ™˜๊ฒฝ ๋ณ€์ˆ˜ SCRAPLING_EXECUTABLE_PATH๋กœ ๊ณตํ†ต ์„ค์ •์„ ํ•˜๊ฑฐ๋‚˜, executable_path ์ธ์ˆ˜๋กœ ์š”์ฒญ๋ณ„๋กœ ์ง€์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. @samrusani์˜ #360 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค(#347 ํ•ด๊ฒฐ).

  • ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ €์™€ ์ง€๋ฌธ์„ ๊ฐฑ์‹ ํ–ˆ์Šต๋‹ˆ๋‹ค. ์—…๋ฐ์ดํŠธ ํ›„ scrapling install --force๋ฅผ ์‹คํ–‰ํ•ด ์ ์šฉํ•˜์„ธ์š”.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.4.10-bug-fixes}

  • UTF-8์ด ์•„๋‹Œ ์›น์‚ฌ์ดํŠธ์—์„œ ๋ธŒ๋ผ์šฐ์ € Fetcher๊ฐ€ ๊นจ์ง„ ํ…์ŠคํŠธ(mojibake)๋ฅผ ๋ฐ˜ํ™˜ํ•˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @yehudalevy-collab์˜ #365 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค(#364 ์ˆ˜์ •).
  • LinkExtractor๊ฐ€ .tar.gz ๊ฐ™์€ ๋ณตํ•ฉ ํ™•์žฅ์ž๋ฅผ ๊ฑธ๋Ÿฌ๋‚ด์ง€ ๋ชปํ•˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @renbkna์˜ #359 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค(#349 ์ˆ˜์ •).
  • ํฌ๋กค๋ง์„ ์ผ์‹œ ์ค‘์ง€ํ•  ๋•Œ ์‹คํ–‰ ์ค‘์ธ ์š”์ฒญ์ด ์ฒดํฌํฌ์ธํŠธ์—์„œ ์‚ฌ๋ผ์ง€๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ์žฌ๊ฐœํ•  ๋•Œ ํ•ด๋‹น ์š”์ฒญ์„ ๊ฑด๋„ˆ๋›ฐ์ง€ ์•Š์Šต๋‹ˆ๋‹ค. @yetval์˜ #358 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • ์ŠคํŒŒ์ด๋”๊ฐ€ robots.txt์˜ Request-rate ์ง€์‹œ์—์„œ ์ž˜๋ชป๋œ ํฌ๋กค๋ง ์ง€์—ฐ์„ ๊ณ„์‚ฐํ•˜๋Š” ๋ฌธ์ œ๋ฅผ Protego ์—…๊ทธ๋ ˆ์ด๋“œ๋กœ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @Disaster-Terminator๊ฐ€ #355์—์„œ ํ…Œ์ŠคํŠธ๋„ ์ด์— ๋งž๊ฒŒ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

๋ฌธ์„œ {#v0.4.10-docs}

  • ์Šคํ…”์Šค ๋ชจ๋“œ์—์„œ init_script๊ฐ€ Patchright์˜ ๊ฒฉ๋ฆฌ๋œ ์‹คํ–‰ ์ปจํ…์ŠคํŠธ์™€ ์ƒํ˜ธ์ž‘์šฉํ•˜๋Š” ๋ฐฉ์‹์„ ๋ช…ํ™•ํžˆ ์„ค๋ช…ํ–ˆ์Šต๋‹ˆ๋‹ค. @mturac์˜ #353 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค(#350 ํ•ด๊ฒฐ).
  • ์—์ด์ „ํŠธ ์Šคํ‚ฌ์„ skills.sh๋กœ ์„ค์น˜ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. @ob-aion์˜ #363 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

v0.4.9 - 2026-06-07 {#v0.4.9}

์ปค๋ฎค๋‹ˆํ‹ฐ์—์„œ ๋ณด๊ณ ํ•œ ์—ฌ๋Ÿฌ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ•œ ์œ ์ง€ ๋ณด์ˆ˜ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค ๐Ÿ› ๏ธ

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.4.9-new-stuff-and-quality-of-life-changes}

  • ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ €์™€ ์ง€๋ฌธ์„ ๊ฐฑ์‹ ํ–ˆ์Šต๋‹ˆ๋‹ค. ์—…๋ฐ์ดํŠธ ํ›„ scrapling install --force๋ฅผ ์‹คํ–‰ํ•ด ์ ์šฉํ•˜์„ธ์š”.
  • CLI์— --version ํ”Œ๋ž˜๊ทธ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. @ETM-Code์˜ #303 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค(#299 ํ•ด๊ฒฐ).

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.4.9-bug-fixes}

  • HTTP ์„ธ์…˜์—์„œ ์„ธ์…˜ ์ˆ˜์ค€์˜ proxy ์ธ์ˆ˜๊ฐ€ ์•Œ๋ฆผ ์—†์ด ๋ฌด์‹œ๋˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์‹ค์ œ IP๊ฐ€ ๋…ธ์ถœ๋  ์ˆ˜ ์žˆ๋˜ ๋ฌธ์ œ์ž…๋‹ˆ๋‹ค(#295 ํ•ด๊ฒฐ). ์ด์ œ ์„ธ์…˜ ์ˆ˜์ค€์˜ proxy์™€ ์š”์ฒญ๋ณ„ proxies ์ธ์ˆ˜๋ฅผ ์„ž์–ด ์“ฐ๊ฑฐ๋‚˜ ๊ทธ ๋ฐ˜๋Œ€๋กœ ์“ฐ๋ฉด, ํ•˜๋‚˜๋ฅผ ์•Œ๋ฆผ ์—†์ด ๋ฒ„๋ฆฌ์ง€ ์•Š๊ณ  ์˜ค๋ฅ˜๋ฅผ ๋ƒ…๋‹ˆ๋‹ค.
  • init_script์™€ user_data_dir์„ ํ•จ๊ป˜ ์“ฐ๋ฉด ๋ธŒ๋ผ์šฐ์ €์˜ ํŽ˜์ด์ง€ ์ด๋™์ด ์‹คํŒจํ•˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค(#294 ํ•ด๊ฒฐ).
  • ์‚ฌ์ดํŠธ๊ฐ€ Content-Type ํ—ค๋”์˜ charset ๊ฐ’์„ ๋”ฐ์˜ดํ‘œ๋กœ ๊ฐ์Œ€ ๋•Œ ์ธ์ฝ”๋”ฉ์„ ์ž˜๋ชป ๊ฐ์ง€ํ•˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @Bortlesboat์˜ #323 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • ์ ์‘ํ˜• ์š”์†Œ ์žฌํƒ์ƒ‰์—์„œ IndexError๊ฐ€ ๋ฐœ์ƒํ•˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. auto_save๊ฐ€ ์ผœ์ ธ ์žˆ์„ ๋•Œ ๋ฐœ์ƒํ•˜๋˜ ๋ฌธ์ œ์ž…๋‹ˆ๋‹ค. @Mubashirrrr์˜ #340 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • Windows์—์„œ ์ŠคํŒŒ์ด๋” ์ฒดํฌํฌ์ธํŠธ์™€ ์บ์‹œ ์ €์žฅ ์ค‘ ๋น„์ •์ƒ ์ข…๋ฃŒ๋˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @MrStarkEG์˜ #344 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • ์†์„ฑ ์ˆ˜๊ฐ€ ๋‹ค๋ฅธ ์š”์†Œ์— ๋Œ€ํ•ด find_similar๊ฐ€ ์œ ์‚ฌ๋„ ์ ์ˆ˜๋ฅผ ์ž˜๋ชป ๊ณ„์‚ฐํ•˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค(#322 ํ•ด๊ฒฐ).

๋ฌธ์„œ {#v0.4.9-docs}

  • ๊ธฐ๋ณธ ์„ค์น˜์—๋Š” ํŒŒ์„œ ์—”์ง„๋งŒ ํฌํ•จ๋œ๋‹ค๋Š” ์ ์„ ๋ช…ํ™•ํžˆ ํ–ˆ์Šต๋‹ˆ๋‹ค. Fetcher์™€ ์ŠคํŒŒ์ด๋”๋Š” ์„ ํƒ ์˜์กด์„ฑ ๊ทธ๋ฃน์„ ์„ค์น˜ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค(#343 ํ•ด๊ฒฐ).
  • ๋‚จ์•„ ์žˆ๋˜ ์˜ˆ์ œ์˜ Docker ์ด๋ฏธ์ง€ ์ด๋ฆ„์„ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @evanclan์˜ #315 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • ๊ธฐ์—ฌ ๊ฐ€์ด๋“œ์˜ ์ž˜๋ชป๋œ ๋งํฌ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @Bortlesboat์˜ #320 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

v0.4.8 - 2026-05-11 {#v0.4.8}

ํฌ๋กค๋ง ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ํ•œ ๋‹จ๊ณ„ ๋ฐœ์ „์‹œํ‚ค๋Š” ๋Œ€๊ทœ๋ชจ ์ŠคํŒŒ์ด๋” ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค ๐Ÿ•ท๏ธ

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.4.8-new-stuff-and-quality-of-life-changes}

  • LinkExtractor ๋„๊ตฌ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. scrapling.spiders.LinkExtractor์—์„œ ์‚ฌ์šฉํ•˜๋ฉฐ, Response์—์„œ URL์„ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค. ๋‹ค์–‘ํ•œ ์ œ์–ด ์˜ต์…˜์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ).

    from scrapling.spiders import LinkExtractor
    
    extractor = LinkExtractor(allow=r"/posts/", deny_domains=["ads.example.com"])
    
  • ๋ฒ”์šฉ ์ŠคํŒŒ์ด๋” ํ…œํ”Œ๋ฆฟ CrawlSpider์™€ CrawlRule์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ โ€œ์ด ํŒจํ„ด๊ณผ ์ผ์น˜ํ•˜๋Š” ๋งํฌ ๋”ฐ๋ผ๊ฐ€๊ธฐโ€ ๊ฐ™์€ ์ฝ”๋“œ๋ฅผ ๋งค๋ฒˆ ์ง์ ‘ ์ž‘์„ฑํ•  ํ•„์š”๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค. rules()๋ฅผ ์žฌ์ •์˜ํ•ด CrawlRule ๊ฐ์ฒด ๋ชฉ๋ก์„ ๋ฐ˜ํ™˜ํ•˜๊ณ , ๊ฐ ๊ฐ์ฒด์— LinkExtractor๋ฅผ ์—ฐ๊ฒฐํ•˜์„ธ์š”(๋ฌธ์„œ ์ฐธ๊ณ ).

    from scrapling.spiders import CrawlSpider, CrawlRule, LinkExtractor
    
    class QuotesSpider(CrawlSpider):
        name = "blog"
        start_urls = ["https://quotes.toscrape.com/"]
    
        def rules(self):
            return [
                CrawlRule(LinkExtractor(allow=r"/author/"), callback=self.parse_author),
                CrawlRule(LinkExtractor(allow=r"/page/\d+/")),  # pagination, no callback
            ]
    
        async def parse_author(self, response):
            yield {
                "name": response.css(".author-title::text").get(),
                "birthday": response.css(".author-born-date::text").get(),
                "url": response.url,
            }
    
  • SitemapSpider ํ…œํ”Œ๋ฆฟ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์‚ฌ์ดํŠธ๋งต์ด๋‚˜ robots.txt URL์—์„œ ๋ฐ”๋กœ ํฌ๋กค๋ง์„ ์‹œ์ž‘ํ•ฉ๋‹ˆ๋‹ค. gzip์œผ๋กœ ์••์ถ•ํ•œ ์‚ฌ์ดํŠธ๋งต๊ณผ ๋‹ค์–‘ํ•œ ์ œ์–ด ์˜ต์…˜์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ์œ„์˜ CrawlSpider ์˜ˆ์ œ์ฒ˜๋Ÿผ ํฌ๋กค๋ง ๊ทœ์น™์— ๋”ฐ๋ผ URL์„ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค(๋ฌธ์„œ ์ฐธ๊ณ ).

    from scrapling.spiders import SitemapSpider, CrawlRule, LinkExtractor
    
    class NewsSitemap(SitemapSpider):
        name = "news"
        sitemap_urls = ["https://example.com/robots.txt"]
    
        def rules(self):
            return [
                CrawlRule(LinkExtractor(allow=r"/articles/"), callback=self.parse_article),
            ]
    
        async def parse_article(self, response):
            yield {"url": response.url, "title": response.css("h1::text").get()}
    
  • ์ ์‘ํ˜• ์š”์†Œ ์žฌํƒ์ƒ‰์˜ ๊ธฐ๋ณธ ์œ ์‚ฌ๋„ ๊ธฐ์ค€์„ ๋ชจ๋“  ๋ฉ”์„œ๋“œ์—์„œ 40%๋กœ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค. ์ด์ „ ๊ธฐ๋ณธ๊ฐ’์ธ 0๋ณด๋‹ค ์ ์‘ํ˜• ๊ธฐ๋Šฅ์ด ๋” ์ž˜ ๋™์ž‘ํ•˜๋„๋ก ํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ์ค€์„ ๋„˜๋Š” ์š”์†Œ๊ฐ€ ์—†์œผ๋ฉด ๊ฒฝ๊ณ ์— ๊ฐ€์žฅ ๋†’์€ ์ ์ˆ˜๋ฅผ ํ‘œ์‹œํ•˜๋ฏ€๋กœ, ํ•„์š”ํ•  ๋•Œ ํ™•์ธํ•˜๊ณ  percentage๋ฅผ ๋‚ฎ์ถœ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ €์™€ ์ง€๋ฌธ์„ ๊ฐฑ์‹ ํ–ˆ์Šต๋‹ˆ๋‹ค. ์—…๋ฐ์ดํŠธ ํ›„ scrapling install --force๋ฅผ ๋‹ค์‹œ ์‹คํ–‰ํ•ด ๋ธŒ๋ผ์šฐ์ €์™€ ์ง€๋ฌธ์„ ๊ฐฑ์‹ ํ•˜์„ธ์š”.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.4.8-bug-fixes}

  • Fetcher.configure(...)๊ฐ€ ๊ฐœ๋ณ„ ์š”์ฒญ ํ˜ธ์ถœ์— ์ ์šฉ๋˜์ง€ ์•Š๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. AsyncFetcher์—๋„ ๊ฐ™์€ ์ˆ˜์ •์„ ์ ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์ž˜๋ชป๋œ ์š”์ฒญ ์ง€๋ฌธ ๊ณ„์‚ฐ์œผ๋กœ ์ŠคํŒŒ์ด๋”๊ฐ€ ์ค‘๋ณต ์š”์ฒญ์„ ๋ณด๋‚ด๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @yetval์˜ #255 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • ์ ์‘ํ˜• ์Šคํฌ๋ž˜ํ•‘ ์—”์ง„์ด ์œ ์‚ฌ๋„๊ฐ€ ๋‚ฎ์€ ์ผ์น˜ ๊ฒฐ๊ณผ๋ฅผ ์•Œ๋ฆฌ์ง€ ์•Š๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์œ„์˜ ์œ ์‚ฌ๋„ ๊ธฐ์ค€ ๋ณ€๊ฒฝ๊ณผ ํ•จ๊ป˜, ์žฌํƒ์ƒ‰์— ์‹คํŒจํ•˜๋ฉด ์˜คํ•ด๋ฅผ ๋ถ€๋ฅด๋Š” โ€œ๊ฐ€์žฅ ๊ทธ๋Ÿด๋“ฏํ•œโ€ ์š”์†Œ๋ฅผ ๋ฐ˜ํ™˜ํ•˜๋Š” ๋Œ€์‹  ๊ฒฝ๊ณ ๋ฅผ ํ‘œ์‹œํ•ฉ๋‹ˆ๋‹ค.

๋ฌธ์„œ {#v0.4.8-docs}

  • ๋ฌธ์„œ ์ „์ฒด์˜ ์˜ค๋ž˜๋œ ์ฝ”๋“œ ์˜ˆ์ œ๋ฅผ ๊ฐฑ์‹ ํ–ˆ์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ ๋ฒ„์ „์— ๋งž์ท„์Šต๋‹ˆ๋‹ค.
  • ๋ฌธ์„œ ์‚ฌ์ดํŠธ์—์„œ ์ฝ”๋“œ๋ฅผ ๋ณต์‚ฌํ•˜๊ณ  ๋ถ™์—ฌ ๋„ฃ๊ธฐ ์‰ฝ๊ฒŒ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค. ์—์ด์ „ํŠธ ์Šคํ‚ฌ๋„ ์ •๋ฆฌํ•ด ํ˜ธ์ถœํ•  ๋•Œ๋งˆ๋‹ค ์“ฐ๋Š” ํ† ํฐ์„ ์ค„์˜€์Šต๋‹ˆ๋‹ค.

v0.4.7 - 2026-04-17 {#v0.4.7}

AI ์—์ด์ „ํŠธ๊ฐ€ ํŽ˜์ด์ง€๋ฅผ ๋ณผ ์ˆ˜ ์žˆ๊ฒŒ ํ•˜๋Š” ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค ๐Ÿ“ธ

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.4.7-new-stuff-and-quality-of-life-changes}

  • MCP ๋„๊ตฌ screenshot์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ํŽ˜์ด์ง€๋ฅผ ์บก์ฒ˜ํ•ด ์‹ค์ œ MCP ImageContent ๋ธ”๋ก์œผ๋กœ ๋ฐ˜ํ™˜ํ•˜๋ฏ€๋กœ ๋ชจ๋ธ์ด ์ด๋ฏธ์ง€๋ฅผ ์ง์ ‘ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์—ด๋ฆฐ ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์ด ํ•„์š”ํ•˜๋ฏ€๋กœ ๋จผ์ € open_session์„ ํ˜ธ์ถœํ•˜๊ณ (dynamic ๋˜๋Š” stealthy ์‚ฌ์šฉ), ๊ทธ session_id๋ฅผ ์ด ๋„๊ตฌ์— ์ „๋‹ฌํ•˜์„ธ์š”. PNG์™€ JPEG, ์ „์ฒด ํŽ˜์ด์ง€ ์บก์ฒ˜, JPEG ํ’ˆ์งˆ ์„ค์ •, ์ผ๋ฐ˜์ ์ธ ๋Œ€๊ธฐ ์˜ต์…˜(wait, wait_selector, network_idle, timeout)์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค(#244 ๊ตฌํ˜„).
  • ์›ํ•˜๋Š” ์ด๋ฆ„์„ ์ง€์ •ํ•˜๋Š” session_id ๋งค๊ฐœ๋ณ€์ˆ˜๋ฅผ open_session์— ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ๋ณธ๊ฐ’์ธ ๋ฌด์ž‘์œ„ 12์ž๋ฆฌ 16์ง„์ˆ˜ ๋ฌธ์ž์—ด ๋Œ€์‹  ์˜๋ฏธ ์žˆ๋Š” ์ด๋ฆ„("search", "checkout")์„ ๋ถ™์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. @hauntedhost์˜ #243 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.4.7-bug-fixes}

  • FetcherSession์˜ ์ƒํƒœ๊ฐ€ ์†์ƒ๋˜๋Š” ๋ฌธ์ œ์™€ ์ง€์—ฐ ์ดˆ๊ธฐํ™” ์„ธ์…˜์„ ๋‹ซ์„ ๋•Œ ๋น„์ •์ƒ ์ข…๋ฃŒ๋˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @yetval์˜ #245 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • TypeError: Session.request() got an unexpected keyword argument 'block_ads' ์˜ค๋ฅ˜๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. CLI์˜ --ai-targeted ํ”Œ๋ž˜๊ทธ๋ฅผ HTTP ๋ช…๋ น๊ณผ ํ•จ๊ป˜ ์‚ฌ์šฉํ•  ๋•Œ ๋ฐœ์ƒํ•˜๋˜ ๋ฌธ์ œ์ž…๋‹ˆ๋‹ค. @voidborne-d์˜ #249 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค(#247 ์ˆ˜์ •).

๋ฒˆ์—ญ {#v0.4.7-translations}

  • ๋ธŒ๋ผ์งˆ ํฌ๋ฅดํˆฌ๊ฐˆ์–ด README ๋ฒˆ์—ญ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. @rgomids์˜ #250 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

v0.4.6 - 2026-04-13 {#v0.4.6}

๋ธŒ๋ผ์šฐ์ €์˜ ์Šคํ…”์Šค ๊ธฐ๋Šฅ, ๊ฐœ์ธ์ •๋ณด ๋ณดํ˜ธ, ๊ฐœ๋ฐœ ํŽธ์˜๋ฅผ ๊ฐœ์„ ํ•˜๋Š” ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค ๐Ÿ”’

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.4.6-new-stuff-and-quality-of-life-changes}

  • ๋ธŒ๋ผ์šฐ์ € Fetcher์— ๊ด‘๊ณ  ์ฐจ๋‹จ ๊ธฐ๋Šฅ์„ ๋‚ด์žฅํ–ˆ์Šต๋‹ˆ๋‹ค. block_ads=True๋ฅผ ์ „๋‹ฌํ•˜๋ฉด ์•Œ๋ ค์ง„ ๊ด‘๊ณ  ๋ฐ ์ถ”์  ๋„๋ฉ”์ธ ์•ฝ 3,500๊ฐœ๋กœ ํ–ฅํ•˜๋Š” ์š”์ฒญ์„ ๋ผ์šฐํŠธ ๊ฐ€๋กœ์ฑ„๊ธฐ ๋‹จ๊ณ„์—์„œ ๋ง‰์Šต๋‹ˆ๋‹ค. DNS ์กฐํšŒ๋‚˜ TCP ์—ฐ๊ฒฐ ์—†์ด ์ฆ‰์‹œ ์ค‘๋‹จํ•ฉ๋‹ˆ๋‹ค. blocked_domains์™€ ํ•จ๊ป˜ ์‚ฌ์šฉํ•ด ์ง์ ‘ ๋งŒ๋“  ๋ชฉ๋ก๋„ ์ถ”๊ฐ€ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. MCP ์„œ๋ฒ„์™€ CLI์˜ --ai-targeted ๋ชจ๋“œ๋Š” ์ด๋ฅผ ์ž๋™์œผ๋กœ ์ผœ์„œ ํ† ํฐ์„ ์•„๋ผ๊ณ  ํŽ˜์ด์ง€ ๋กœ๋“œ๋ฅผ ๋น ๋ฅด๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค.

    page = StealthyFetcher.fetch('https://example.com', block_ads=True)
    
  • DNS-over-HTTPS ์ง€์›์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ํ”„๋ก์‹œ๋ฅผ ์‚ฌ์šฉํ•  ๋•Œ DNS ์ •๋ณด๊ฐ€ ์ƒˆ๋Š” ๊ฒƒ์„ ๋ง‰์Šต๋‹ˆ๋‹ค. dns_over_https=True๋ฅผ ์ „๋‹ฌํ•˜๋ฉด Cloudflare์˜ DoH๋กœ DNS ์ฟผ๋ฆฌ๋ฅผ ๋ณด๋ƒ…๋‹ˆ๋‹ค. HTTP ํŠธ๋ž˜ํ”ฝ์ด ํ”„๋ก์‹œ๋ฅผ ๊ฑฐ์ณ๋„ DNS ์กฐํšŒ๋กœ ์‹ค์ œ ์œ„์น˜๊ฐ€ ๋…ธ์ถœ๋˜๋Š” ๋ฌธ์ œ๋ฅผ ๋ฐฉ์ง€ํ•ฉ๋‹ˆ๋‹ค.

    page = StealthyFetcher.fetch('https://example.com', proxy='http://proxy:8080', dns_over_https=True)
    
  • ๋ธŒ๋ผ์šฐ์ € Fetcher์— page_setup ์ฝœ๋ฐฑ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. page.goto() ์ „์— ์‹คํ–‰๋˜๋Š” ํ•จ์ˆ˜๋กœ, ํŽ˜์ด์ง€ ์ด๋™ ์ „์— ํ•„์š”ํ•œ ์ด๋ฒคํŠธ ๋ฆฌ์Šค๋„ˆ, ๋ผ์šฐํŠธ, ์Šคํฌ๋ฆฝํŠธ๋ฅผ ๋“ฑ๋กํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํŽ˜์ด์ง€ ์ด๋™ ํ›„ ์‹คํ–‰๋˜๋Š” page_action๊ณผ ํ•จ๊ป˜ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค(#237 ํ•ด๊ฒฐ).

    def capture_websockets(page):
        page.on("websocket", lambda ws: print(f"WS: {ws.url}"))
    
    page = DynamicFetcher.fetch('https://example.com', page_setup=capture_websockets)
    
  • CLI ์˜ต์…˜ --block-ads์™€ --dns-over-https๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. fetch์™€ stealthy-fetch ๋ช…๋ น ๋ชจ๋‘์—์„œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.4.6-bug-fixes}

  • Seconds ํƒ€์ž… ๋ณ„์นญ์ด ๋ถ€๋™์†Œ์ˆ˜์  ๊ฐ’์„ ํ—ˆ์šฉํ•˜์ง€ ์•Š๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ € Fetcher์— wait=1.5๋‚˜ timeout=500.0์„ ์ „๋‹ฌํ•˜๋ฉด ํƒ€์ž… ์˜ค๋ฅ˜๊ฐ€ ๋‚ฌ์Šต๋‹ˆ๋‹ค. ํƒ€์ž… ๋ณ„์นญ์ด float๋ฅผ ํƒ€์ž…์ด ์•„๋‹ˆ๋ผ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋กœ ์ž˜๋ชป ์ทจ๊ธ‰ํ–ˆ๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. @kuishou68์˜ #240 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • ์ „์ฒด ๊ฒฝ๋กœ ์„ ํƒ์ž๋ฅผ ์ƒ์„ฑํ•  ๋•Œ ID ๋ถ€๋ถ„์ด ์ค‘๋ณต๋˜๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ „์ฒด CSS/XPath ๊ฒฝ๋กœ๋ฅผ ๋งŒ๋“ค ๋•Œ id ์†์„ฑ์ด ์žˆ๋Š” ์š”์†Œ์˜ ์„ ํƒ์ž๊ฐ€ ๋‘ ๋ฒˆ ์ถ”๊ฐ€๋˜์–ด body > #main > #main > #target > #target ๊ฐ™์€ ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜์™”์Šต๋‹ˆ๋‹ค. ์ „์ฒด XPath ๊ฒฝ๋กœ์—์„œ [@id='x'] ์กฐ๊ฑด๋งŒ ์ถœ๋ ฅํ•ด ์œ ํšจํ•˜์ง€ ์•Š์€ XPath๊ฐ€ ๋˜๋Š” ๋ฌธ์ œ๋„ ์ˆ˜์ •ํ•˜๊ณ , *[@id='x']๋ฅผ ์ถœ๋ ฅํ•˜๋„๋ก ํ–ˆ์Šต๋‹ˆ๋‹ค. @sjhddh์˜ #241 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • ์…ธ ํ•จ์ˆ˜ ์‹œ๊ทธ๋‹ˆ์ฒ˜์—์„œ ๋น ์ง„ ๋งค๊ฐœ๋ณ€์ˆ˜๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋Œ€ํ™”ํ˜• ์…ธ์˜ ํ•จ์ˆ˜ ์‹œ๊ทธ๋‹ˆ์ฒ˜์—๋Š” blocked_domains, block_ads, retries, retry_delay, capture_xhr, executable_path, dns_over_https๊ฐ€ ๋น ์ ธ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค.

v0.4.5 - 2026-04-07 {#v0.4.5}

์ŠคํŒŒ์ด๋” ๊ฐœ๋ฐœ์„ ํฌ๊ฒŒ ํŽธํ•˜๊ฒŒ ํ•ด ์ฃผ๋Š” ๊ธฐ๋Šฅ ํ•˜๋‚˜์™€ ์ค‘์š”ํ•œ ์ˆ˜์ • ์‚ฌํ•ญ์„ ๋‹ด์€ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค ๐ŸŽ‰

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.4.5-new-stuff-and-quality-of-life-changes}

  • ์ŠคํŒŒ์ด๋” ๊ฐœ๋ฐœ ๋ชจ๋“œ: ์ด์ „์—๋Š” ์ŠคํŒŒ์ด๋”์˜ parse() ๋กœ์ง์„ ์ˆ˜์ •ํ•˜๊ณ  ์‹คํ–‰ํ•  ๋•Œ๋งˆ๋‹ค ๋Œ€์ƒ ์„œ๋ฒ„์— ๋‹ค์‹œ ์š”์ฒญํ•ด์•ผ ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋А๋ฆฌ๊ณ  ๋ถˆํ•„์š”ํ•œ ํŠธ๋ž˜ํ”ฝ์„ ๋งŒ๋“ค๋ฉฐ, ์„ ํƒ์ž๋ฅผ ์กฐ์ •ํ•˜๋Š” ์ค‘์— ์š”์ฒญ ์ˆ˜ ์ œํ•œ์— ๊ฑธ๋ฆด ์ˆ˜๋„ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค. ์ƒˆ ๊ฐœ๋ฐœ ๋ชจ๋“œ๋Š” ์ฒซ ์‹คํ–‰์—์„œ ๋ชจ๋“  ์‘๋‹ต์„ ๋””์Šคํฌ์— ์บ์‹œํ•˜๊ณ , ์ดํ›„์—๋Š” ๋””์Šคํฌ์—์„œ ๋‹ค์‹œ ์ฝ์Šต๋‹ˆ๋‹ค. ๋„คํŠธ์›Œํฌ ์š”์ฒญ์„ ํ•˜๋‚˜๋„ ๋ณด๋‚ด์ง€ ์•Š๊ณ  ์ฝœ๋ฐฑ์„ ์ˆ˜์ •ํ•ด ์›ํ•˜๋Š” ๋งŒํผ ๋‹ค์‹œ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํด๋ž˜์Šค ์†์„ฑ ํ•˜๋‚˜๋กœ ์ผค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค:

    class MySpider(Spider):
        name = "my_spider"
        start_urls = ["https://example.com"]
        development_mode = True
    
        async def parse(self, response):
            yield {"title": response.css("title::text").get("")}
    

    ๊ธฐ๋ณธ ์บ์‹œ ์œ„์น˜๋Š” .scrapling_cache/{spider.name}/์ด๋ฉฐ development_cache_dir๋กœ ๋‹ค๋ฅธ ์œ„์น˜๋ฅผ ์ง€์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ƒˆ ํ†ต๊ณ„ ์นด์šดํ„ฐ cache_hits์™€ cache_misses๋กœ ์บ์‹œ ์‚ฌ์šฉ ์ƒํƒœ๋ฅผ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์บ์‹œ๋ฅผ ์ฝ์„ ๋•Œ๋Š” download_delay, ์š”์ฒญ ์ˆ˜ ์ œํ•œ, ์ฐจ๋‹จ๋œ ์š”์ฒญ์˜ ์žฌ์‹œ๋„ ๊ณผ์ •์„ ๊ฑด๋„ˆ๋›ฐ๋ฏ€๋กœ ๋””์Šคํฌ๊ฐ€ ํ—ˆ์šฉํ•˜๋Š” ์†๋„๋กœ ๋ฐ˜๋ณตํ•ด์„œ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. development_mode = True์ธ ์ƒํƒœ๋กœ ์ŠคํŒŒ์ด๋”๋ฅผ ์šด์˜ ํ™˜๊ฒฝ์— ๋ฐฐํฌํ•˜์ง€ ๋งˆ์„ธ์š”. ๊ฐœ๋ฐœ ๋„๊ตฌ์ด์ง€ ์šด์˜์šฉ ์บ์‹œ๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค. ์ž์„ธํ•œ ๋‚ด์šฉ์€ ๋ฌธ์„œ๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”.

  • ๊ธฐ๋ณธ ๋ฆฌ๋””๋ ‰์…˜๋ฅผ ๋” ์•ˆ์ „ํ•˜๊ฒŒ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค. ๋ชจ๋“  HTTP Fetcher, MCP ์„œ๋ฒ„, ์…ธ์—์„œ follow_redirects์˜ ๊ธฐ๋ณธ๊ฐ’์ด "safe"๊ฐ€ ๋์Šต๋‹ˆ๋‹ค. ๋ฆฌ๋””๋ ‰์…˜๋Š” ๊ณ„์† ๋”ฐ๋ผ๊ฐ€์ง€๋งŒ, ๋‚ด๋ถ€ ๋˜๋Š” ์‚ฌ์„ค IP(๋ฃจํ”„๋ฐฑ, ์‚ฌ์„ค ๋„คํŠธ์›Œํฌ, ๋งํฌ ๋กœ์ปฌ)๋กœ ํ–ฅํ•˜๋Š” ์ฃผ์†Œ๋Š” ๊ฑฐ๋ถ€ํ•ฉ๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž๊ฐ€ ์ œ๊ณตํ•œ URL์„ ์Šคํฌ๋ž˜ํ•‘ํ•  ๋•Œ SSRF๋ฅผ ๋ฐฉ์ง€ํ•ฉ๋‹ˆ๋‹ค. ์ด์ „ ๋™์ž‘์„ ์‚ฌ์šฉํ•˜๋ ค๋ฉด follow_redirects="all"์„, ๋ฆฌ๋””๋ ‰์…˜๋ฅผ ์™„์ „ํžˆ ๋„๋ ค๋ฉด False๋ฅผ ์ „๋‹ฌํ•˜์„ธ์š”.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.4.5-bug-fixes}

  • ๊ฐ•์ œ ์ข…๋ฃŒํ•ด๋„ ์ฒดํฌํฌ์ธํŠธ๊ฐ€ ์‚ฌ๋ผ์ง€์ง€ ์•Š์Šต๋‹ˆ๋‹ค. crawldir์„ ์ผ  ์ŠคํŒŒ์ด๋”์—์„œ Ctrl+C๋ฅผ ๋‘ ๋ฒˆ ๋ˆŒ๋Ÿฌ ๊ฐ•์ œ ์ข…๋ฃŒํ•˜๋ฉด ์ฒดํฌํฌ์ธํŠธ ์“ฐ๊ธฐ์™€ ์ถฉ๋Œํ•  ์ˆ˜ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค. pickle ๊ธฐ๋ก์ด ๋๋‚˜๊ธฐ ์ „์— ์ทจ์†Œ ๋ฒ”์œ„๊ฐ€ ์ž‘์—…์„ ์ข…๋ฃŒํ•ด paused=False๊ฐ€ ๋‚จ๊ณ , ์ด์ „ ์ฒดํฌํฌ์ธํŠธ๋ฅผ ์‚ญ์ œํ•˜๋Š” ์ •๋ฆฌ ๊ณผ์ •์ด ์‹คํ–‰๋์Šต๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ ๊ธด ํฌ๋กค๋ง์„ ๊ฐ•์ œ ์ข…๋ฃŒํ•˜๋ฉด ์ €์žฅํ•˜๋ ค๋˜ ์ง„ํ–‰ ์ƒํ™ฉ์„ ๋ชจ๋‘ ์žƒ์„ ์ˆ˜ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ์—”์ง„์€ ์ฒดํฌํฌ์ธํŠธ๋ฅผ ๋จผ์ € ๊ธฐ๋กํ•œ ๋’ค cancel_scope.cancel()์„ ํ˜ธ์ถœํ•˜๋ฏ€๋กœ, ๊ฐ•์ œ ์ข…๋ฃŒํ•ด๋„ ์ตœ์‹  ๋Œ€๊ธฐ ์ƒํƒœ๋ฅผ ํ•ญ์ƒ ๋ณด์กดํ•ฉ๋‹ˆ๋‹ค. @voidborne-d์˜ #230 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

v0.4.4 - 2026-04-05 {#v0.4.4}

์ค‘์š”ํ•œ ์ŠคํŒŒ์ด๋” ๊ฐœ์„ ๊ณผ ๋ฒ„๊ทธ ์ˆ˜์ •์„ ๋‹ด์€ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค ๐ŸŽ‰

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.4.4-new-stuff-and-quality-of-life-changes}

  • ์ŠคํŒŒ์ด๋” ํ”„๋ ˆ์ž„์›Œํฌ์— robots.txt ์ค€์ˆ˜ ๊ธฐ๋Šฅ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ƒˆ robots_txt_obey ์˜ต์…˜์„ ์ผœ๋ฉด ํฌ๋กค๋ง ์ „์— robots.txt๋ฅผ ์ž๋™์œผ๋กœ ๊ฐ€์ ธ์™€ Disallow, Crawl-delay, Request-rate ๋“ฑ์˜ ๊ทœ์น™์„ ์ง€ํ‚ต๋‹ˆ๋‹ค. robots.txt ํŒŒ์ผ์€ ๋™์‹œ์— ๊ฐ€์ ธ์˜ค๊ณ , ํฌ๋กค๋ง์ด ๋๋‚  ๋•Œ๊นŒ์ง€ ๋„๋ฉ”์ธ๋ณ„๋กœ ์บ์‹œํ•ฉ๋‹ˆ๋‹ค. @AbdullahY36์˜ #226 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • robots.txt ์บ์‹œ๋ฅผ ๋ฏธ๋ฆฌ ์ค€๋น„ํ•˜๋Š” ๊ธฐ๋Šฅ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ํฌ๋กค๋ง ๋ฃจํ”„๊ฐ€ ์‹œ์ž‘๋˜๊ธฐ ์ „์— start_urls์˜ ๋ชจ๋“  ๋„๋ฉ”์ธ์—์„œ robots.txt๋ฅผ ๊ฐ€์ ธ์™€ ํŒŒ์‹ฑํ•ฉ๋‹ˆ๋‹ค. ๊ฐ ๋„๋ฉ”์ธ์˜ ์ฒซ ์š”์ฒญ์—์„œ ๊ธฐ๋‹ค๋ฆด ํ•„์š”๊ฐ€ ์—†์–ด์ง‘๋‹ˆ๋‹ค.
  • ์ƒˆ ํ†ต๊ณ„ robots_disallowed_count๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. CrawlStats์—์„œ ํฌ๋กค๋ง ์ค‘ robots.txt ๊ทœ์น™์— ๋”ฐ๋ผ ์ฐจ๋‹จ๋œ ์š”์ฒญ ์ˆ˜๋ฅผ ๊ธฐ๋กํ•ฉ๋‹ˆ๋‹ค.

์ž์„ธํ•œ ๋‚ด์šฉ์€ ์›น์‚ฌ์ดํŠธ์˜ ์ด ํŽ˜์ด์ง€๋ฅผ ํ™•์ธํ•˜์„ธ์š”.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.4.4-bug-fixes}

  • ProxyRotator์˜ ์‹ฌ๊ฐํ•œ MRO ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ž„์‹œ ๋ฉ”์„œ๋“œ _build_context_with_proxy๊ฐ€ ์ž์‹ ํด๋ž˜์Šค์˜ ์‹ค์ œ ๊ตฌํ˜„์„ ๊ฐ€๋ ค, ํ”„๋ก์‹œ ์ˆœํ™˜ ๋•Œ๋งˆ๋‹ค NotImplementedError๊ฐ€ ๋ฐœ์ƒํ–ˆ์Šต๋‹ˆ๋‹ค(#215 ์ˆ˜์ •). @yetval์—๊ฒŒ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค.
  • ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์—์„œ ์š”์ฒญ๋ณ„๋กœ ํ”„๋ก์‹œ๋ฅผ ์ˆœํ™˜ํ•  ๋•Œ ํŽ˜์ด์ง€ ํ’€์— ๋ถˆํ•„์š”ํ•œ ์ฐธ์กฐ๊ฐ€ ๋‚จ๋Š” ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ž„์‹œ ์ปจํ…์ŠคํŠธ์—์„œ ๋งŒ๋“  ํŽ˜์ด์ง€๊ฐ€ ์ •๋ฆฌํ•  ๋•Œ ํ’€์—์„œ ์ œ๊ฑฐ๋˜์ง€ ์•Š์•„, ์œ ํšจํ•˜์ง€ ์•Š์€ ์ฐธ์กฐ๊ฐ€ ๊ณ„์† ์Œ“์˜€์Šต๋‹ˆ๋‹ค. @yetval์˜ #223 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • ์ •์  Fetcher์— ๋น ์ ธ ์žˆ๋˜ ํƒ€์ž… ๊ฒ€์ฆ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. curl_cffi๊ฐ€ None์„ session.request()์—์„œ ๋ฐ˜ํ™˜ํ•  ์ˆ˜ ์žˆ์–ด ํ›„์† ์ฒ˜๋ฆฌ์— ์˜ค๋ฅ˜๊ฐ€ ์ƒ๊ธฐ๋˜ ๋ฌธ์ œ์ž…๋‹ˆ๋‹ค.

๊ธฐํƒ€ {#v0.4.4-other}

  • ์˜์กด์„ฑ์„ ๊ฐฑ์‹ ํ•ด ์ตœ์‹  ์ง€๋ฌธ๊ณผ ๋‹ค๋ฅธ ์—…๋ฐ์ดํŠธ๋ฅผ ํฌํ•จํ–ˆ์Šต๋‹ˆ๋‹ค.
  • robots.txt ํŒŒ์‹ฑ์„ ์œ„ํ•ด protego๋ฅผ ์„ ํƒ ์˜์กด์„ฑ ๊ทธ๋ฃน fetchers์— ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.4.3 - 2026-03-30 {#v0.4.3}

์—ฌ๋Ÿฌ ์ค‘์š”ํ•œ ๋ณ€๊ฒฝ ์‚ฌํ•ญ์„ ๋‹ด์€ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค ๐ŸŽ‰

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.4.3-new-stuff-and-quality-of-life-changes}

  • ์ƒˆ MCP ๋„๊ตฌ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ผ๋ฐ˜ ๋˜๋Š” ์Šคํ…”์Šค ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์—ด๊ณ  ๊ทธ๋Œ€๋กœ ์œ ์ง€ํ•ด ๋‹ค๋ฅธ ๋„๊ตฌ์—์„œ๋„ ๊ณ„์† ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ €๋ฅผ ๋‹ซ๋Š” ๋„๊ตฌ๋„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค(์˜ˆ์ œ).
  • ์ƒˆ MCP ๋„๊ตฌ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์„ ๋ชจ๋‘ ๋‚˜์—ดํ•˜๋ฉฐ, ์ƒˆ ๋„๊ตฌ๋“ค๊ณผ ํ•จ๊ป˜ ์‚ฌ์šฉํ•˜๋„๋ก ๋งŒ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค.
  • ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์— ์ƒˆ ์˜ต์…˜์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์š”์ฒญ ์ค‘์— ๋ฐœ์ƒํ•˜๋Š” ๋ชจ๋“  ๋ฐฑ๊ทธ๋ผ์šด๋“œ ์š”์ฒญ์„ ์ž๋™์œผ๋กœ ์ˆ˜์ง‘ํ•ฉ๋‹ˆ๋‹ค(#159 ํ•ด๊ฒฐ) [์˜ˆ์ œ].
  • ์ƒˆ ์ •๋ฆฌ ๋„๊ตฌ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ˆจ๊ฒจ์ง€๊ฑฐ๋‚˜ ๋ณด์ด์ง€ ์•Š๋Š” ๋‚ด์šฉ์„ ์ œ๊ฑฐํ•ด ์ผ๋ฐ˜์ ์ธ ํ”„๋กฌํ”„ํŠธ ์ธ์ ์…˜ ๊ณต๊ฒฉ์œผ๋กœ๋ถ€ํ„ฐ MCP ์„œ๋ฒ„๋ฅผ ๋ณดํ˜ธํ•ฉ๋‹ˆ๋‹ค.
  • ์›น ์Šคํฌ๋ž˜ํ•‘ ๋ช…๋ น์— ์ƒˆ ๋ช…๋ น์ค„ ์˜ต์…˜์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. --ai-targeted๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด MCP ์„œ๋ฒ„์ฒ˜๋Ÿผ ๋‚ด์šฉ์„ AI์— ๋งž๊ฒŒ ์ •๋ฆฌํ•˜๊ณ , ์ผ๋ฐ˜์ ์ธ ํ”„๋กฌํ”„ํŠธ ์ธ์ ์…˜ ๊ณต๊ฒฉ์„ ๋ฐฉ์ง€ํ•ฉ๋‹ˆ๋‹ค.
  • ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์— ์ƒˆ ์˜ต์…˜์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. executable_path๋กœ ์›ํ•˜๋Š” ๋ธŒ๋ผ์šฐ์ € ๊ฒฝ๋กœ๋ฅผ ์ง€์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค(#202 ํ•ด๊ฒฐ).
  • MCP ์„œ๋ฒ„ ์ฝ”๋“œ๋ฅผ ๋ฆฌํŒฉํ„ฐ๋งํ•ด ์œ ์ง€ ๋ณด์ˆ˜๋ฅผ ์‰ฝ๊ฒŒ ํ•˜๊ณ , ๋ชจ๋“  ๋„๊ตฌ๋ฅผ ๋น„๋™๊ธฐ๋กœ ํ†ต์ผํ–ˆ์Šต๋‹ˆ๋‹ค.
  • CLI ๋ช…๋ น ์ฝ”๋“œ๋ฅผ ๋ฆฌํŒฉํ„ฐ๋งํ•ด ์œ ์ง€ ๋ณด์ˆ˜๋ฅผ ์‰ฝ๊ฒŒ ํ•˜๊ณ , 210์ค„ ์ค„์˜€์Šต๋‹ˆ๋‹ค.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.4.3-bug-fixes}

  • ์ŠคํŒŒ์ด๋” ์„ธ์…˜์—์„œ ์žฌ์‹œ๋„ํ•  ๋•Œ HTTP ๋ฉ”์„œ๋“œ๋ฅผ ์œ ์ง€ํ•˜๋„๋ก ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @karesansui-u์˜ #201 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • ํŽ˜์ด์ง€ ๋‚ด์šฉ์„ ๊ฐ€์ ธ์˜ฌ ๋•Œ ์žฌ์‹œ๋„ ํšŸ์ˆ˜์˜ ์ƒํ•œ์„ ๋‘์–ด ๋ฌดํ•œ ๋ฃจํ”„๋ฅผ ๋ฐฉ์ง€ํ–ˆ์Šต๋‹ˆ๋‹ค. @haosenwang1018 ๋ฐ @D4Vinci์˜ #197 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • ์˜ˆ์™ธ๋ฅผ ์ง€์ •ํ•˜์ง€ ์•Š์€ raise๋ฅผ return False๋กœ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค. ๋Œ€์ƒ์€ _restore_from_checkpoint์ž…๋‹ˆ๋‹ค. @haosenwang1018์˜ #196 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • get_all์„ getall๋กœ ๋ฐ”๊ฟ” Texthandler๋ฅผ Selector ํด๋ž˜์Šค์™€ ๋งž์ท„์Šต๋‹ˆ๋‹ค.

์ปค๋ฒ„๋ฆฌ์ง€์™€ ํ…Œ์ŠคํŠธ ๊ฐœ์„  {#v0.4.3-coverage-tests-improvement}

  • _normalize_credentials์˜ ๊ฒฝ๊ณ„ ์‚ฌ๋ก€๋ฅผ ๊ฒ€์‚ฌํ•˜๋Š” ํ…Œ์ŠคํŠธ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. @Bortlesboat์˜ #192 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • ์ €์žฅ ํ›„ ๊ฐ™์€ ๋ฐ์ดํ„ฐ๋ฅผ ๋‹ค์‹œ ์ฝ์„ ์ˆ˜ ์žˆ๋Š”์ง€ ํ™•์ธํ•˜๋Š” ํ…Œ์ŠคํŠธ์™€ ํ•ต์‹ฌ ์ €์žฅ์†Œ ํ…Œ์ŠคํŠธ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. @haosenwang1018์˜ #193 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • TextHandler์˜ ์ •๊ทœ์‹ ์ฒ˜๋ฆฌ ๊ฒฝ๋กœ์™€ TextHandlers.re()๋ฅผ ๊ฒ€์‚ฌํ•˜๋Š” ํ…Œ์ŠคํŠธ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. @haosenwang1018์˜ #194 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • filter, iterancestors, find_similar์˜ ๊ฒฝ๊ณ„ ์‚ฌ๋ก€๋ฅผ ๊ฒ€์‚ฌํ•˜๋Š” ํ…Œ์ŠคํŠธ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. @awanawana์˜ #200 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.

Agent Skill ๊ฐœ์„  {#v0.4.3-agent-skill-improvement}

  • ์Šคํ‚ฌ ์ฐธ๊ณ  ์ž๋ฃŒ์˜ ์ž˜๋ชป๋œ Markdown ๋งํฌ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @yetval์˜ #204 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • Clawhub ๊ฒ€์ฆ์„ ๋” ์ž˜ ํ†ต๊ณผํ•˜๋„๋ก ์Šคํ‚ฌ ๊ตฌ์„ฑ์„ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์Šคํ‚ฌ์ด ๋ช…๋ น์ค„๋กœ ์Šคํฌ๋ž˜ํ•‘ํ•  ๋•Œ --ai-targeted ์˜ต์…˜์„ ๋ฐ˜๋“œ์‹œ ์‚ฌ์šฉํ•˜๋„๋ก ํ–ˆ์Šต๋‹ˆ๋‹ค.

๋ฌธ์„œ ๊ฐœ์„  {#v0.4.3-docs-improvement}

  • ํ•œ๊ตญ์–ด README ๋ฒˆ์—ญ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. @greatsk55์˜ #187 ๊ธฐ์—ฌ์ž…๋‹ˆ๋‹ค.
  • ์ค‘๊ตญ์–ด์™€ ์ผ๋ณธ์–ด README์—์„œ CJK ๋ฌธ์ž์™€ ๋ผํ‹ด ๋ฌธ์ž ์‚ฌ์ด์˜ ๊ณต๋ฐฑ์„ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์ด์ „ ์›น์‚ฌ์ดํŠธ ๋””์ž์ธ์—์„œ ๋‚จ์•„ ์žˆ๋˜ ์ž˜๋ชป๋œ ๋งํฌ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.4.2 - 2026-03-08 {#v0.4.2}

์ค‘์š”ํ•œ ๋ณ€๊ฒฝ ์‚ฌํ•ญ์ด ํฌํ•จ๋œ ์ƒˆ ์œ ์ง€ ๋ณด์ˆ˜ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค

๋ฒ„๊ทธ ์ˆ˜์ • {#v0.4.2-bug-fixes}

  • ์ด์ œ get_all_text() ํ•จ์ˆ˜๊ฐ€ ์š”์†Œ ๋’ค์— ์˜ค๋Š” ํ…์ŠคํŠธ ๋…ธ๋“œ๋„ ๊ฐ€์ ธ์˜ต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ MCP ์„œ๋ฒ„์™€ ๋ช…๋ น์ด ์ด์ „์— ๋†“์ณค๋˜ ํ…์ŠคํŠธ๋„ ์ฝ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค(#168). @mhillebrand ๋‹˜ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.
  • ์ด์ œ Referer๋Š” Google ๊ฒ€์ƒ‰ URL ๋Œ€์‹  Google ํ™ˆํŽ˜์ด์ง€ URL์„ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ์ด์ „ ๋กœ์ง์€ ์ž˜๋ชป๋˜์—ˆ์œผ๋ฉฐ, ๋ด‡์„ ์‹๋ณ„ํ•˜๋Š” ์ง€๋ฌธ ์‹ ํ˜ธ๊ฐ€ ๋˜์—ˆ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค(#179). @Bortlesboat ๋‹˜ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.
  • ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ €์—์„œ ์ถ”๊ฐ€ ํ”Œ๋ž˜๊ทธ๋ฅผ ํ•ฉ์น  ๋•Œ ๋ฐœ์ƒํ•˜๋˜ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. @rostchri ๋‹˜ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.
  • 3.12 ๋ฏธ๋งŒ์˜ Python ๋ฒ„์ „์—์„œ ์‹คํ–‰์ด ์ค‘๋‹จ๋˜๋˜ ํƒ€์ž… ํžŒํŠธ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. (#163 ํ•ด๊ฒฐ)

๊ธฐํƒ€ {#v0.4.2-other}

  • Claude Code / OpenClaw ๋ฐ ๋‹ค๋ฅธ AI ์—์ด์ „ํŠธ ๋„๊ตฌ๋ฅผ ์œ„ํ•œ Agent Skill์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • Clawhub์— Agent Skill์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ €์™€ Playwright๋ฅผ ์ตœ์‹  ๋ฒ„์ „์œผ๋กœ ์—…๋ฐ์ดํŠธํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ๊ธฐ๋ณธ README ํŒŒ์ผ์— ํ”„๋ž‘์Šค์–ด ๋ฒˆ์—ญ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.4.1 - 2026-02-27 {#v0.4.1}

์ค‘์š”ํ•œ ๋ณ€๊ฒฝ ์‚ฌํ•ญ์ด ๋งŽ์ด ํฌํ•จ๋œ ์ƒˆ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.4.1-new-stuff-and-quality-of-life-changes}

  • Cloudflare ๊ฒ€์‚ฌ๋ฅผ ๊ฐ์ง€ํ•˜๋Š” ์ •๊ทœ์‹์˜ ์ •ํ™•๋„๋ฅผ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค. (@Rinz27 ๋‹˜ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค. #133)
  • Cloudflare ๊ฒ€์‚ฌ ์ฒ˜๋ฆฌ์˜ ์†๋„์™€ ํšจ์œจ์„ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ๊ฑฐ์˜ ๋‘ ๋ฐฐ ๋น ๋ฆ…๋‹ˆ๋‹ค.
  • ์›น์‚ฌ์ดํŠธ๊ฐ€ ๋ณธ ์‚ฌ์ดํŠธ๋กœ ์ด๋™ํ•˜๊ธฐ ์ „์— Cloudflare ํŽ˜์ด์ง€๋ฅผ ๋‘ ๋ฒˆ ํ‘œ์‹œํ•˜๋Š” ๊ฒฝ์šฐ๋„ ์ฒ˜๋ฆฌํ•˜๋„๋ก Cloudflare ๊ฒ€์‚ฌ ์ฒ˜๋ฆฌ๋ฅผ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์‚ฝ์ž…ํ•˜๋˜ JS ํŒŒ์ผ์„ ์ œ๊ฑฐํ•˜์—ฌ ์Šคํ…”์Šค ๋ธŒ๋ผ์šฐ์ €์˜ ์Šคํ…”์Šค ๋ชจ๋“œ์™€ ์†๋„๋ฅผ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • OpenCode์—์„œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋„๋ก MCP ์Šคํ‚ค๋งˆ๋ฅผ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค. (@robin-ede ๋‹˜ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค. #137)
  • VS Code Copilot๊ณผ ๊ฒ€์‚ฌ๊ฐ€ ์—„๊ฒฉํ•œ ๋‹ค๋ฅธ ๋„๊ตฌ์—์„œ๋„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋„๋ก MCP ์Šคํ‚ค๋งˆ์˜ ํ˜ธํ™˜์„ฑ์„ ๋” ๋†’์˜€์Šต๋‹ˆ๋‹ค. (#150 ํ•ด๊ฒฐ)
  • main_content_only ์˜ต์…˜์ด ์ผœ์ ธ ์žˆ์„ ๋•Œ ๋ถˆํ•„์š”ํ•œ HTML ํƒœ๊ทธ๋ฅผ ์ œ๊ฑฐํ•˜์—ฌ MCP ์„œ๋ฒ„์˜ ํ† ํฐ ์‚ฌ์šฉ๋Ÿ‰์„ ํฌ๊ฒŒ ์ค„์˜€์Šต๋‹ˆ๋‹ค.
  • PyPI ํŽ˜์ด์ง€๋ฅผ ์ˆ˜์ •ํ•˜๊ณ  MCP ์„œ๋ฒ„ ๋ ˆ์ง€์ŠคํŠธ๋ฆฌ์— MCP ์„œ๋ฒ„๋ฅผ ๋“ฑ๋กํ•˜๋Š” ๋ฐ ํ•„์š”ํ•œ ํŒŒ์ผ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์ž๋™ํ™”ํ•˜๊ธฐ ์‰ฝ๋„๋ก ๋ช…๋ น์ค„ ๋Œ€์‹  ์ฝ”๋“œ๋กœ ๋ธŒ๋ผ์šฐ์ € ์˜์กด์„ฑ์„ ์„ค์น˜ํ•˜๋Š” ์˜ˆ์ œ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์ตœ์‹  ๋ฒ„์ „์˜ ์•ก์…˜์„ ์‚ฌ์šฉํ•˜๋„๋ก ๋ชจ๋“  ์›Œํฌํ”Œ๋กœ๋ฅผ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค. (@salmanmkc ๋‹˜ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค. #143/#144)

v0.4 - 2026-02-15 {#v0.4}

์ง€๊ธˆ๊นŒ์ง€ ๊ฐ€์žฅ ํฐ Scrapling ๋ฆด๋ฆฌ์Šค์ž…๋‹ˆ๋‹ค. ์ŠคํŒŒ์ด๋” ํ”„๋ ˆ์ž„์›Œํฌ, ํ”„๋ก์‹œ ์ˆœํ™˜, ์ฃผ์š” ํŒŒ์„œ ๊ฐœ์„  ์‚ฌํ•ญ์„ ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค

์ด๋ฒˆ ๋ฆด๋ฆฌ์Šค๋Š” ์™„์ „ํ•œ ๋น„๋™๊ธฐ ์ŠคํŒŒ์ด๋”/ํฌ๋กค๋ง ํ”„๋ ˆ์ž„์›Œํฌ, ์Šค๋งˆํŠธํ•œ ํ”„๋ก์‹œ ๊ด€๋ฆฌ, ์ค‘์š”ํ•œ API ๋ณ€๊ฒฝ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. Scrapling์˜ ๊ธฐ๋Šฅ์ด ๋” ๊ฐ•๋ ฅํ•ด์ง€๊ณ  ์ผ๊ด€์„ฑ๋„ ๋†’์•„์กŒ์Šต๋‹ˆ๋‹ค. ์—…๋ฐ์ดํŠธํ•˜๊ธฐ ์ „์— ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ ์‚ฌํ•ญ์„ ์ž์„ธํžˆ ํ™•์ธํ•˜์„ธ์š”.

๐Ÿ•ท๏ธ ์ŠคํŒŒ์ด๋” ํ”„๋ ˆ์ž„์›Œํฌ {#v0.4-spider-framework}

anyio๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ๋งŒ๋“  ์ƒˆ ๋น„๋™๊ธฐ ํฌ๋กค๋ง ํ”„๋ ˆ์ž„์›Œํฌ๋กœ ๋Œ€๊ทœ๋ชจ ์Šคํฌ๋ž˜ํ•‘์„ ์ฒด๊ณ„์ ์œผ๋กœ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

from scrapling.spiders import Spider, Response

class MySpider(Spider):
  name = "demo"
  start_urls = ["https://example.com/"]

  async def parse(self, response: Response):
      for item in response.css('.product'):
          yield {"title": item.css('h2::text').get()}

MySpider().start()
  • Scrapy์™€ ๋น„์Šทํ•œ ์ŠคํŒŒ์ด๋” API: start_urls, ๋น„๋™๊ธฐ parse ์ฝœ๋ฐฑ, Request/Response ๊ฐ์ฒด, ์šฐ์„ ์ˆœ์œ„ ํ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์ŠคํŒŒ์ด๋”๋ฅผ ์ •์˜ํ•ฉ๋‹ˆ๋‹ค.
  • ๋™์‹œ ํฌ๋กค๋ง: ๋™์‹œ ์š”์ฒญ ์ˆ˜ ์ œํ•œ, ๋„๋ฉ”์ธ๋ณ„ ์†๋„ ์ œํ•œ, ๋‹ค์šด๋กœ๋“œ ์ง€์—ฐ์„ ์„ค์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์—ฌ๋Ÿฌ ์„ธ์…˜ ์ง€์›: ํ•˜๋‚˜์˜ ์ŠคํŒŒ์ด๋”์—์„œ HTTP ์š”์ฒญ๊ณผ ์ฐฝ ์—†๋Š” ๋ชจ๋“œ์˜ ์Šคํ…”์Šค ๋ธŒ๋ผ์šฐ์ €๋ฅผ ๊ฐ™์€ ์ธํ„ฐํŽ˜์ด์Šค๋กœ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ID๋กœ ์š”์ฒญ์„ ๋‹ค๋ฅธ ์„ธ์…˜์— ๋ณด๋‚ผ ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์„ธ์…˜์„ ์ฒ˜์Œ ์‚ฌ์šฉํ•  ๋•Œ ์ดˆ๊ธฐํ™”ํ•˜๋Š” ๋ฐฉ์‹๋„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.
  • ์ผ์‹œ ์ค‘์ง€์™€ ์žฌ๊ฐœ: ์ฒดํฌํฌ์ธํŠธ๋กœ ํฌ๋กค๋ง ์ƒํƒœ๋ฅผ ์ €์žฅํ•ฉ๋‹ˆ๋‹ค. Ctrl+C๋กœ ์•ˆ์ „ํ•˜๊ฒŒ ์ข…๋ฃŒํ•œ ๋’ค ๋‹ค์‹œ ์‹คํ–‰ํ•˜๋ฉด ์ค‘๋‹จํ•œ ๊ณณ๋ถ€ํ„ฐ ๊ณ„์†ํ•ฉ๋‹ˆ๋‹ค.
  • ์ŠคํŠธ๋ฆฌ๋ฐ ๋ชจ๋“œ: async for item in spider.stream()์œผ๋กœ ์ˆ˜์ง‘ํ•œ ํ•ญ๋ชฉ์„ ์ฆ‰์‹œ ๋ฐ›์•„ ์ฒ˜๋ฆฌํ•˜๊ณ  ์‹ค์‹œ๊ฐ„ ํ†ต๊ณ„๋„ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค. UI, ํŒŒ์ดํ”„๋ผ์ธ, ์žฅ์‹œ๊ฐ„ ํฌ๋กค๋ง์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.
  • ์ฐจ๋‹จ๋œ ์š”์ฒญ ๊ฐ์ง€: ์ฐจ๋‹จ๋œ ์š”์ฒญ์„ ์ž๋™์œผ๋กœ ๊ฐ์ง€ํ•˜๊ณ  ๋‹ค์‹œ ์‹œ๋„ํ•ฉ๋‹ˆ๋‹ค. ์ฒ˜๋ฆฌ ๋กœ์ง์„ ๋ฐ”๊ฟ€ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๊ธฐ๋ณธ ๋‚ด๋ณด๋‚ด๊ธฐ ๊ธฐ๋Šฅ: ํ›…๊ณผ ์ง์ ‘ ๋งŒ๋“  ํŒŒ์ดํ”„๋ผ์ธ์œผ๋กœ ๊ฒฐ๊ณผ๋ฅผ ๋‚ด๋ณด๋‚ด๊ฑฐ๋‚˜, ๊ธฐ๋ณธ ์ œ๊ณตํ•˜๋Š” result.items.to_json() / result.items.to_jsonl()๋กœ ๊ฐ๊ฐ JSON/JSONL ํ˜•์‹์œผ๋กœ ๋‚ด๋ณด๋ƒ…๋‹ˆ๋‹ค.
  • ์ˆ˜๋ช… ์ฃผ๊ธฐ ํ›…: on_start(), on_close(), on_error(), on_scraped_item() ๋“ฑ ์—ฌ๋Ÿฌ ํ›…์œผ๋กœ ํฌ๋กค๋ง์˜ ์ „์ฒด ์ˆ˜๋ช… ์ฃผ๊ธฐ๋ฅผ ์ œ์–ดํ•ฉ๋‹ˆ๋‹ค.
  • ์ž์„ธํ•œ ํฌ๋กค๋ง ํ†ต๊ณ„: ์š”์ฒญ, ์‘๋‹ต, ๋ฐ”์ดํŠธ ์ˆ˜, ์ƒํƒœ ์ฝ”๋“œ, ํ”„๋ก์‹œ, ๋„๋ฉ”์ธ๋ณ„/์„ธ์…˜๋ณ„ ํ†ต๊ณ„, ๋กœ๊ทธ ์ˆ˜์ค€๋ณ„ ๊ฐœ์ˆ˜ ๋“ฑ์„ ๊ธฐ๋กํ•ฉ๋‹ˆ๋‹ค.
  • uvloop ์ง€์›: use_uvloop=True๋ฅผ spider.start()์— ์ „๋‹ฌํ•˜๋ฉด uvloop๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ํ™˜๊ฒฝ์—์„œ ๋น„๋™๊ธฐ ์‹คํ–‰์ด ๋นจ๋ผ์ง‘๋‹ˆ๋‹ค.

์›น์‚ฌ์ดํŠธ์— ์ž์„ธํ•œ ์„ค๋ช…์„ ๋‹ด์€ ์ƒˆ ์„น์…˜์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์—ฌ๊ธฐ๋ฅผ ํ™•์ธํ•˜์„ธ์š”.

๐Ÿ”„ ํ”„๋ก์‹œ ์ˆœํ™˜ {#v0.4-proxy-rotation}

  • ์—ฌ๋Ÿฌ ์Šค๋ ˆ๋“œ์—์„œ ์•ˆ์ „ํ•˜๊ฒŒ ํ”„๋ก์‹œ๋ฅผ ์ˆœํ™˜ํ•˜๋Š” ์ƒˆ ProxyRotator ํด๋ž˜์Šค์ž…๋‹ˆ๋‹ค. ๋ชจ๋“  Fetcher์™€ ์„ธ์…˜์—์„œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

    from scrapling import ProxyRotator
    rotator = ProxyRotator(["http://proxy1:8080", "http://proxy2:8080"])
    Fetcher.get(url, proxy_rotator=rotator)
    
  • ์‚ฌ์šฉ์ž ์ •์˜ ์ˆœํ™˜ ์ „๋žต: ํ”„๋ก์‹œ ์ˆœํ™˜ ๋กœ์ง์„ ์ง์ ‘ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ์š”์ฒญ๋ณ„ ํ”„๋ก์‹œ ๋ณ€๊ฒฝ: proxy=๋ฅผ ๊ฐœ๋ณ„ get()/post()/fetch() ํ˜ธ์ถœ์— ์ „๋‹ฌํ•˜๋ฉด ํ•ด๋‹น ์š”์ฒญ์—์„œ ์„ธ์…˜์˜ ํ”„๋ก์‹œ ๋Œ€์‹  ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

๐ŸŒ ๋ธŒ๋ผ์šฐ์ € Fetcher ๊ฐœ์„  {#v0.4-browser-fetcher-improvements}

  • ๋„๋ฉ”์ธ ์ฐจ๋‹จ: ์ƒˆ blocked_domains ๋งค๊ฐœ๋ณ€์ˆ˜๋ฅผ DynamicFetcher/StealthyFetcher์— ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ํŠน์ • ๋„๋ฉ”์ธ์œผ๋กœ ๊ฐ€๋Š” ์š”์ฒญ์„ ์ฐจ๋‹จํ•˜๋ฉฐ, ํ•˜์œ„ ๋„๋ฉ”์ธ๋„ ์ž๋™์œผ๋กœ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค.
  • ์ž๋™ ์žฌ์‹œ๋„: ์ด์ œ ๋ธŒ๋ผ์šฐ์ € Fetcher๋Š” retries(๊ธฐ๋ณธ๊ฐ’: 3)์™€ retry_delay(๊ธฐ๋ณธ๊ฐ’: 1s) ๋งค๊ฐœ๋ณ€์ˆ˜์— ๋”ฐ๋ผ ์‹คํŒจํ•œ ์š”์ฒญ์„ ๋‹ค์‹œ ์‹œ๋„ํ•ฉ๋‹ˆ๋‹ค. ํ”„๋ก์‹œ ๊ด€๋ จ ์˜ค๋ฅ˜๋„ ๊ฐ์ง€ํ•ฉ๋‹ˆ๋‹ค.
  • ์‘๋‹ต ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ: Response.meta ๋”•์…”๋„ˆ๋ฆฌ๋Š” ์‚ฌ์šฉํ•œ ํ”„๋ก์‹œ๋ฅผ ์ž๋™์œผ๋กœ ์ €์žฅํ•˜๊ณ  ์š”์ฒญ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋ฅผ ํ•ฉ์นฉ๋‹ˆ๋‹ค.
  • Response.follow(): ์ŠคํŒŒ์ด๋” ์‹œ์Šคํ…œ์„ ์œ„ํ•ด ๋งŒ๋“  ๊ธฐ๋Šฅ์œผ๋กœ, Referer๋ฅผ ์ž๋™์œผ๋กœ ์ „๋‹ฌํ•˜๋Š” ํ›„์† Request ๊ฐ์ฒด๋ฅผ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค.
  • ์ž๋™ ์žฌ์ƒ ์ฐจ๋‹จ: ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์ด ์ด์ „์— ๋ฌธ์ œ๋ฅผ ์ผ์œผํ‚ค๋˜ ์ž๋™ ์žฌ์ƒ ์ฝ˜ํ…์ธ ๋ฅผ ์ฐจ๋‹จํ•ฉ๋‹ˆ๋‹ค.
  • ์†๋„: ๋ธŒ๋ผ์šฐ์ € ํ”Œ๋ž˜๊ทธ๋ฅผ ์กฐ์ •ํ•˜์—ฌ ํƒ์ง€ ํšŒํ”ผ์™€ ์†๋„๋ฅผ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ”ง ๋ฒ„๊ทธ ์ˆ˜์ • ๋ฐ ๊ฐœ์„  {#v0.4-bug-fixes-improvements}

  • ํŒŒ์„œ ์ตœ์ ํ™”: ๋ฐ˜๋ณต ์ž‘์—…์„ ์ตœ์ ํ™”ํ•˜์—ฌ ํŒŒ์„œ์˜ ์„ฑ๋Šฅ์„ ๋†’์˜€์Šต๋‹ˆ๋‹ค.
  • ํŽ˜์ด์ง€ ์˜ค๋ฅ˜: ํŽ˜์ด์ง€์—์„œ ์˜ค๋ฅ˜๊ฐ€ ๋ฐœ์ƒํ•˜๋ฉด ๋ธŒ๋ผ์šฐ์ €๊ฐ€ ๋‹ซํžˆ์ง€ ์•Š๋˜ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ๋นˆ ๋ณธ๋ฌธ: ๋ณธ๋ฌธ์ด ๋น„์–ด ์žˆ๋Š” ์‘๋‹ต์„ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค.
  • Playwright ๋ฃจํ”„: CDP ์—ฐ๊ฒฐ์ด ์‹คํŒจํ•˜๋ฉด Playwright ๋ฃจํ”„๊ฐ€ ์—ด๋ฆฐ ์ฑ„๋กœ ๋‚จ๋˜ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ํƒ€์ž… ์•ˆ์ „์„ฑ: ๋ชจ๋“  mypy ์˜ค๋ฅ˜๋ฅผ ์ˆ˜์ •ํ•˜๊ณ  ํƒ€์ž…์ด ์—†๋˜ ํ•จ์ˆ˜ ๋ณธ๋ฌธ ์ „์ฒด์— ํƒ€์ž… ํžŒํŠธ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. CI ์›Œํฌํ”Œ๋กœ์— mypy์™€ pyright๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.

โš ๏ธ ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.4-breaking-changes}

  • css_first/xpath_first ์ œ๊ฑฐ: ๋Œ€์‹  css('.selector').first, css('.selector')[0] ๋˜๋Š” css('.selector').get()์„ ์‚ฌ์šฉํ•˜์„ธ์š”.
  • ๋ชจ๋“  ์„ ํƒ ์ž‘์—…์ด Selectors ๋ฐ˜ํ™˜: ์ด์ œ css('::text'), xpath('//text()'), css('::attr(href)'), xpath('//@href')๋Š” Selectors๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ํ…์ŠคํŠธ ๋…ธ๋“œ๋ฅผ Selector ๊ฐ์ฒด๋กœ ๊ฐ์‹ธ๊ณ  tag="#text"๋ฅผ ์„ค์ •ํ•˜๋ฉฐ, ๋” ์ด์ƒ TextHandlers๋ฅผ ๋ฐ˜ํ™˜ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋ชจ๋“  ์„ ํƒ ๋ฉ”์„œ๋“œ์™€ ํƒ€์ž… ํžŒํŠธ์—์„œ API๊ฐ€ ์ผ๊ด€๋˜๊ฒŒ ๋™์ž‘ํ•ฉ๋‹ˆ๋‹ค.
  • Response.body๋Š” ํ•ญ์ƒ bytes: ์ด์ „์—๋Š” str ๋˜๋Š” bytes์˜€์ง€๋งŒ ์ด์ œ ํ•ญ์ƒ bytes๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค.
  • get()/getall() ๋™์ž‘: Selector์—์„œ get()์€ TextHandler(์ง๋ ฌํ™”๋œ HTML ๋˜๋Š” ํ…์ŠคํŠธ ๊ฐ’)๋ฅผ, getall()์€ TextHandlers๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ๋ณ„์นญ์€ extract_first = get, extract = getall์ž…๋‹ˆ๋‹ค. ์ด์ „ get_all() ๋ฉ”์„œ๋“œ๋Š” Selectors์—์„œ ์ œ๊ฑฐํ–ˆ์Šต๋‹ˆ๋‹ค.
  • Selectors.first/.last: Selector | None์„ ๋ฐ˜ํ™˜ํ•˜๋ฉฐ IndexError๋ฅผ ๋ฐœ์ƒ์‹œํ‚ค์ง€ ์•Š๋Š” ์•ˆ์ „ํ•œ ์ ‘๊ทผ ์†์„ฑ์ž…๋‹ˆ๋‹ค.
  • ๋‚ด๋ถ€ ์ƒ์ˆ˜ ์ด๋ฆ„ ๋ณ€๊ฒฝ: DEFAULT_FLAGS โ†’ DEFAULT_ARGS, DEFAULT_STEALTH_FLAGS โ†’ STEALTH_ARGS, HARMFUL_DEFAULT_ARGS โ†’ HARMFUL_ARGS, DEFAULT_DISABLED_RESOURCES โ†’ EXTRA_RESOURCES.

๐Ÿ”จ ๊ธฐํƒ€ ๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.4-other-changes}

  • ์˜์กด์„ฑ ๋ณ€๊ฒฝ: tldextract๋ฅผ tld๋กœ ๊ต์ฒดํ•˜๊ณ  ๋‚ด๋ถ€ _html_utils.py ๋Œ€์‹  w3lib.html.replace_entities๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. typing_extensions๋ฅผ ํ•„์ˆ˜ ์˜์กด์„ฑ์œผ๋กœ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ๋ฌธ์„œ ๊ฐœํŽธ: MkDocs์—์„œ Zensical๋กœ ์™„์ „ํžˆ ์ „ํ™˜ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ŠคํŒŒ์ด๋” ๋ฌธ์„œ ์„น์…˜์„ ์ƒˆ๋กœ ๋งŒ๋“ค๊ณ  ๊ธฐ์กด ํŽ˜์ด์ง€๋ฅผ ๋ชจ๋‘ ์—…๋ฐ์ดํŠธํ–ˆ์œผ๋ฉฐ ์ƒˆ API ์ฐธ๊ณ  ๋ฌธ์„œ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.3.14 - 2026-01-03 {#v0.3.14}

v0.3.13์—์„œ ์ผ๋ถ€ ๊ธฐ๊ธฐ์— ๋ฐœ์ƒํ•œ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ•˜๋Š” ์ž‘์€ ์œ ์ง€ ๋ณด์ˆ˜ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค

  • Windows ๊ธฐ๊ธฐ์—์„œ ํŽ˜์ด์ง€ ๊ฐ„์— ์ฟ ํ‚ค๊ฐ€ ์œ ์ง€๋˜์ง€ ์•Š์•„ StealthyFetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค์˜ ์‹œํฌ๋ฆฟ ๋ชจ๋“œ๋ฅผ ๊ป์Šต๋‹ˆ๋‹ค. MacOS์™€ Linux์—์„œ๋Š” ๋ฐœ์ƒํ•˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. (#123 ์ˆ˜์ •. ๋ฌธ์ œ๋ฅผ ์•Œ๋ ค ์ค€ @frugality4121 ๋‹˜๊ณผ ํ•ด๊ฒฐ ๋ฐฉ๋ฒ•์„ ์•Œ๋ ค ์ค€ @gembleman ๋‹˜ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.)
  • ์ด๋ฏธ ์˜ค๋ž˜๋œ browserforge๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ํ™˜๊ฒฝ์—์„œ ์ด์ „ ํ—ค๋” ๋ชจ๋ธ ๋•Œ๋ฌธ์— ๋ฐœ์ƒํ•˜๋Š” ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋„๋ก browserforge์˜ ์ตœ์‹  ๋ฒ„์ „์„ ๊ณ ์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.3.13 - 2026-01-01 {#v0.3.13}

์—ฌ๋Ÿฌ ๋ถ€๋ถ„์„ ๊ฐœ์„ ํ•œ ํฐ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค. ํ•„์š”์— ๋”ฐ๋ผ ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ๋„ ๋งŽ์ด ํฌํ•จํ–ˆ์Šต๋‹ˆ๋‹ค. ์—…๋ฐ์ดํŠธํ•˜๊ธฐ ์ „์— ์•„๋ž˜ ๋‚ด์šฉ์„ ์ฝ์–ด ์ฃผ์„ธ์š”

  • ์—ฌ๋Ÿฌ ์ด์œ ๋กœ ์•ž์œผ๋กœ Camoufox ์‚ฌ์šฉ์„ ์™„์ „ํžˆ ์ค‘๋‹จํ•˜๊ธฐ๋กœ ํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ฐœ๋ฐœ์ด ๊ณ„์†๋œ๋‹ค๋ฉด ๋‚˜์ค‘์— ๋‹ค์‹œ ์‚ฌ์šฉํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฒˆ ๋ฆด๋ฆฌ์Šค ์ด์ „์ฒ˜๋Ÿผ Camoufox๋ฅผ ๊ณ„์† ์‚ฌ์šฉํ•˜๋ ค๋ฉด ์ด ์„น์…˜์˜ ์„ค๋ช…์„ ๋”ฐ๋ฅด์„ธ์š”.

  • ์ด์ „์—๋Š” DynamicFetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค์˜ ์Šคํ…”์Šค ๋ชจ๋“œ์—์„œ patchright๋ฅผ ์‚ฌ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ํ•ด๋‹น ํด๋ž˜์Šค์—์„œ ์Šคํ…”์Šค ๋ชจ๋“œ๋ฅผ ์ œ๊ฑฐํ•˜๊ณ  StealthyFetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค์—์„œ patchright๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์•„๋ž˜์—์„œ ์„ค๋ช…ํ•˜๋Š” ์—ฌ๋Ÿฌ ๊ฐœ์„ ์„ ๋”ํ•ด patchright์˜ ๊ธฐ๋ณธ ๊ธฐ๋Šฅ๋ณด๋‹ค ์ „๋ฐ˜์ ์ธ ํƒ์ง€ ํšŒํ”ผ ์„ฑ๋Šฅ์„ ๋†’์˜€์Šต๋‹ˆ๋‹ค.

์ด ๋ณ€๊ฒฝ์œผ๋กœ StealthyFetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค๋Š” ์ด์ „๋ณด๋‹ค 101% ๋นจ๋ผ์กŒ๊ณ  ๋ฉ”๋ชจ๋ฆฌ์™€ ์ €์žฅ ๊ณต๊ฐ„๋„ ๋œ ์‚ฌ์šฉํ•˜๋ฉฐ, ์ฝ”๋“œ๊ฐ€ ์•ฝ 400์ค„ ์ค„์—ˆ์Šต๋‹ˆ๋‹ค. ๋ฌด์—‡๋ณด๋‹ค ์ด์ „์— Camoufox๋ฅผ ์‚ฌ์šฉํ•  ๋•Œ๋ณด๋‹ค ์•ˆ์ •์ ์ž…๋‹ˆ๋‹ค.

๋˜ํ•œ scrapling install ๋ช…๋ น์˜ ์„ค์น˜ ์‹œ๊ฐ„์„ ์ค„์ด๊ณ  Docker ์ด๋ฏธ์ง€ ํฌ๊ธฐ๋ฅผ ์ค„์ด๋ฉฐ, GitHub CI์—์„œ ํ…Œ์ŠคํŠธ๊ฐ€ ๋” ์›ํ™œํ•˜๊ฒŒ ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค. ์ฒ˜์Œ ์“ฐ๋Š” ์‚ฌ๋žŒ๋„ Scrapling์„ ๋” ์‰ฝ๊ฒŒ ์ดํ•ดํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.3.13-breaking-changes}

  1. stealth ์ธ์ˆ˜๋ฅผ DynamicFetcher ํด๋ž˜์Šค์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค์—์„œ ์ œ๊ฑฐํ–ˆ์Šต๋‹ˆ๋‹ค. hide_canvas ์ธ์ˆ˜๋Š” StealthyFetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค๋กœ ์˜ฎ๊ฒผ์Šต๋‹ˆ๋‹ค.
  2. disable_webgl ์ธ์ˆ˜๋ฅผ DynamicFetcher์—์„œ StealthyFetcher ํด๋ž˜์Šค๋กœ ์˜ฎ๊ธฐ๊ณ  ์ด๋ฆ„์„ allow_webgl๋กœ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค. ๋ชจ๋“  ์„ธ์…˜ ํด๋ž˜์Šค์—๋„ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.
  3. ์ด์ œ StealthyFetcher ํด๋ž˜์Šค๋Š” ๊ธฐ๋ณธ์ ์œผ๋กœ DynamicFetcher์˜ ์ƒˆ ์Šคํ…”์Šค ๋ฒ„์ „์ž…๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ block_images, humanize, addons, os_randomize, disable_ads, geoip ์ธ์ˆ˜๋ฅผ ์ œ๊ฑฐํ–ˆ์Šต๋‹ˆ๋‹ค. Chromium์—์„œ ๊ฐ™์€ ๊ธฐ๋Šฅ์„ ๊ตฌํ˜„ํ•˜๋ ค๊ณ  ํ–ˆ์ง€๋งŒ ๊ฐ ๊ธฐ๋Šฅ๋งˆ๋‹ค ๋ฌธ์ œ๊ฐ€ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค. v0.4 ์ด์ „์˜ ํ›„์† ๋ฆด๋ฆฌ์Šค์—์„œ ๋ฐ”๋€” ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

์ข‹์€ ์†Œ์‹๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ๋งŽ์€ ๋ถ€๋ถ„์„ ๊ฐœ์„ ํ•˜๊ณ  ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค :)

๊ฐœ์„  ์‚ฌํ•ญ {#v0.3.13-improvements}

  • ์•ž์—์„œ ์„ค๋ช…ํ–ˆ๋“ฏ์ด StealthyFetcher ํด๋ž˜์Šค์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค๋Š” ์ด์ „๋ณด๋‹ค 101% ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค. DynamicFetcher ํด๋ž˜์Šค์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค๋„ 20% ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค.
  • Cloudflare ๊ฒ€์‚ฌ ์ฒ˜๋ฆฌ ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ๊ฐœ์„ ํ•˜์—ฌ ๋” ๋น ๋ฅด๊ฒŒ ์™„๋ฃŒํ•˜๊ณ  ๋” ๋งŽ์€ ๊ฒฝ์šฐ๋ฅผ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ์ƒˆ ๋ฆฌํŒฉํ„ฐ๋ง ๋•๋ถ„์— CAPTCHA๋„ ๋‘ ๋ฐฐ ๋น ๋ฅด๊ฒŒ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค!
  • ๋ชจ๋“  Fetcher๊ฐ€ ๋ฉ”๋ชจ๋ฆฌ๋ฅผ ๋œ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.
  • MCP ์„œ๋ฒ„์˜ ํ† ํฐ ์‚ฌ์šฉ๋Ÿ‰์ด ์ค„์–ด ๋น„์šฉ์„ ๋” ์•„๋‚„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค!
  • Docker ์ด๋ฏธ์ง€๊ฐ€ 60% ์ž‘์•„์กŒ์Šต๋‹ˆ๋‹ค.
  • ๋ฌธ์„œ ์›น์‚ฌ์ดํŠธ ์ „์ฒด์— ์ƒˆ ๋‚ด์šฉ์„ ๋ฐ˜์˜ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋™์‹œ์— ์„ค๋ช…์„ ๋” ๋ช…ํ™•ํ•˜๊ฒŒ ์“ฐ๊ณ  ์—ฌ๋Ÿฌ ์„น์…˜์„ ์งง๊ฒŒ ์ค„์˜€์œผ๋ฉฐ, ์˜ˆ์ œ๋ฅผ ์ถ”๊ฐ€ํ•˜๊ณ  ๋ˆ„๋ฝ๋œ ์ธ์ˆ˜๋ฅผ ํฌํ•จํ–ˆ์Šต๋‹ˆ๋‹ค. API ์ฐธ๊ณ  ๋ฌธ์„œ์— ๊ทธ๋ž˜ํ”„๋ฅผ ์ถ”๊ฐ€ํ•˜๋Š” ๋“ฑ ์—ฌ๋Ÿฌ ๋ถ€๋ถ„์„ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ์›น์‚ฌ์ดํŠธ๊ฐ€ 130% ๋นจ๋ฆฌ ๋กœ๋“œ๋˜๊ณ  ๋ฐ์ดํ„ฐ๋ฅผ ๋œ ์‚ฌ์šฉํ•˜๋ฉฐ SEO์—๋„ ๋” ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.

์ˆ˜์ • ์‚ฌํ•ญ {#v0.3.13-fixes}

  • ์›น ์Šคํฌ๋ž˜ํ•‘ ์…ธ์˜ ๋‹จ์ถ• ํ•จ์ˆ˜์— ๋ˆ„๋ฝ๋˜์—ˆ๋˜ ์ธ์ˆ˜๋ฅผ ์ถ”๊ฐ€ํ•˜๊ณ  ๋” ์ •ํ™•ํ•˜๊ฒŒ ๋™์ž‘ํ•˜๋„๋ก ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • URL์ด localhost/IP์—ฌ๋„ google_search ์ธ์ˆ˜๊ฐ€ Google Referer๋ฅผ ๋งŒ๋“ค๋˜ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.3.12 - 2025-12-18 {#v0.3.12}

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.3.12-what-s-changed}

  • DynamicSession/AsyncDynamicSession ํด๋ž˜์Šค์— timezone_id๋ผ๋Š” ์ƒˆ ์ธ์ˆ˜๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์‚ฌ์šฉ ์ค‘์ธ ํ”„๋ก์‹œ/VPN์˜ ์‹œ๊ฐ„๋Œ€์— ๋งž๊ฒŒ ๋ธŒ๋ผ์šฐ์ €์˜ ์‹œ๊ฐ„๋Œ€๋ฅผ ์„ค์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์›น์‚ฌ์ดํŠธ๊ฐ€ ์‹œ๊ฐ„๋Œ€ ๋ถˆ์ผ์น˜๋กœ ํ”„๋ก์‹œ ์‚ฌ์šฉ์„ ๊ฐ์ง€ํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค.
  • ์‘๋‹ต์„ JSON์œผ๋กœ ์ž๋™ ๋ณ€ํ™˜ํ•˜๋Š” ๊ธฐ๋Šฅ์„ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • Fetcher์˜ ์„ธ์…˜ ํด๋ž˜์Šค์—์„œ ๋‚ด๋ถ€ ํ•จ์ˆ˜ __create__์˜ ์ด๋ฆ„์„ start๋กœ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค. with ์ปจํ…์ŠคํŠธ ๋ฐ–์—์„œ๋„ ๋” ์‰ฝ๊ฒŒ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • curl_cffi์™€ ๋‹ค๋ฅธ ์˜์กด์„ฑ์„ ์ตœ์‹  ๋ฒ„์ „์œผ๋กœ ์—…๋ฐ์ดํŠธํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.3.11 - 2025-12-03 {#v0.3.11}

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.3.11-what-s-changed}

  • ๋ถˆ์•ˆ์ •ํ•œ ์›น์‚ฌ์ดํŠธ(๋ฏธ๋””์–ด๊ฐ€ ์žฌ์ƒ๋˜๋Š” ์‚ฌ์ดํŠธ ๋“ฑ)์—์„œ network_idle ์ธ์ˆ˜๋ฅผ ์‚ฌ์šฉํ•  ๋•Œ ํƒ€์ž„์•„์›ƒ ์˜ค๋ฅ˜๋ฅผ ๋” ์ž˜ ์ฒ˜๋ฆฌํ•˜๋„๋ก ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์›น ์Šคํฌ๋ž˜ํ•‘ ์…ธ์—์„œ stealthy_fetch ๋‹จ์ถ• ํ•จ์ˆ˜์˜ ์ž๋™ ์™„์„ฑ์„ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.3.10 - 2025-11-26 {#v0.3.10}

๋งŽ์€ ์ฃผ์š” ๋ณ€๊ฒฝ ์‚ฌํ•ญ๊ณผ ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ค„ ์ˆ˜ ์žˆ๋Š” ๋ณ€๊ฒฝ์ด ํฌํ•จ๋œ ์œ ์ง€ ๋ณด์ˆ˜ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค

  • ์ธ์ฝ”๋”ฉ์ด ์˜ฌ๋ฐ”๋ฅด๊ฒŒ ์„ ์–ธ๋˜์ง€ ์•Š์€ ์›นํŽ˜์ด์ง€๋„ ์ฒ˜๋ฆฌํ•˜๋Š” ๋” ๋‚˜์€ ๋ฐฉ์‹์œผ๋กœ ๋ชจ๋“  ์ธ์ฝ”๋”ฉ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ–ˆ์Šต๋‹ˆ๋‹ค. (@Kemsty2 ๋‹˜์ด #110 #111์—์„œ ๋ฌธ์ œ๋ฅผ ์•Œ๋ ค ์ฃผ์…จ์Šต๋‹ˆ๋‹ค. ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.)
  • ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ € Fetcher์—์„œ ์š”์ฒญ ์ˆ˜์ค€์˜ ๋งค๊ฐœ๋ณ€์ˆ˜๋กœ ์„ธ์…˜ ์ˆ˜์ค€์˜ ๋งค๊ฐœ๋ณ€์ˆ˜๋ฅผ ๋ฎ์–ด์“ธ ๋•Œ ๋ฐœ์ƒํ•˜๋˜ ๋กœ์ง ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ–ˆ์Šต๋‹ˆ๋‹ค. v0.3๋ถ€ํ„ฐ ์žˆ๋˜ ๋ฌธ์ œ์ž…๋‹ˆ๋‹ค.
  • ๋Œ€ํ™”ํ˜• ์›น ์Šคํฌ๋ž˜ํ•‘ ์…ธ์˜ ๋‹จ์ถ• ํ•จ์ˆ˜ ์‹œ๊ทธ๋‹ˆ์ฒ˜๋ฅผ ์ˆ˜์ •ํ•˜์—ฌ ์…ธ์—์„œ ๋‹จ์ถ• ํ•จ์ˆ˜์˜ ์ž๋™ ์™„์„ฑ์ด ์™„๋ฒฝํ•˜๊ฒŒ ๋™์ž‘ํ•˜๋„๋ก ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด ๋ฌธ์ œ๋„ v0.3๋ถ€ํ„ฐ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค.
  • Maxmind ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์˜ ๋ฒ„์ „์„ ๋†’์˜€์Šต๋‹ˆ๋‹ค. geoip ์ธ์ˆ˜๊ฐ€ StealthyFetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค์—์„œ ๋” ์ž˜ ๋™์ž‘ํ•ฉ๋‹ˆ๋‹ค.
  • ์‚ฌ์šฉํ•˜๋Š” ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์ตœ์‹  ๋ฒ„์ „์œผ๋กœ ์—…๋ฐ์ดํŠธํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ - ๋ชจ๋“  Fetcher๋ฅผ ํฌ๊ฒŒ ๋ฆฌํŒฉํ„ฐ๋งํ–ˆ์Šต๋‹ˆ๋‹ค. ๋‹ค์Œ ๋ณ€๊ฒฝ์œผ๋กœ ๊ธฐ์กด ์ฝ”๋“œ๊ฐ€ ๋™์ž‘ํ•˜์ง€ ์•Š์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
    1. Scrapling ์ฝ”๋“œ๊ฐ€ ์•ฝ 750์ค„ ์ค„์—ˆ์Šต๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ ๋ณ€๊ฒฝ์œผ๋กœ ์•ž์œผ๋กœ ์œ ์ง€ ๋ณด์ˆ˜๊ฐ€ ํ›จ์”ฌ ์‰ฌ์›Œ์ง€๊ณ  ๋ฆฌ์†Œ์Šค ์‚ฌ์šฉ๋Ÿ‰๋„ ์กฐ๊ธˆ ์ค„์–ด๋“ญ๋‹ˆ๋‹ค.
    2. ๋ชจ๋“  Fetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค์˜ ๊ฒ€์ฆ ์†๋„๊ฐ€ ํฌ๊ฒŒ ๋นจ๋ผ์ ธ ์ „์ฒด ์†๋„๋„ ๋†’์•„์ง‘๋‹ˆ๋‹ค.
    3. ์ด๋ฅผ ์œ„ํ•ด ๋ชจ๋“  Fetcher์—์„œ url ์ธ์ˆ˜๋งŒ ์œ„์น˜ ์ธ์ˆ˜๋กœ ๋ฐ›์„ ์ˆ˜ ์žˆ๊ฒŒ ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋‚˜๋จธ์ง€๋Š” ํ‚ค์›Œ๋“œ ์ธ์ˆ˜์—ฌ์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์ฝ”๋“œ๋ฅผ Fetcher.get('https://google.com', stealthy_headers=True)์ฒ˜๋Ÿผ ์ž‘์„ฑํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์–ด๋–ค ์ด์œ ๋กœ๋“  Fetcher.get('https://google.com', True)์ฒ˜๋Ÿผ ์‚ฌ์šฉํ–ˆ๋‹ค๋ฉด ์ˆ˜์ •ํ•˜์„ธ์š”!
    4. v0.3๋ถ€ํ„ฐ ๋ธŒ๋ผ์šฐ์ € Fetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค ์‚ฌ์ด์— ๋ถˆํŽธํ•œ ์ฐจ์ด๊ฐ€ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค. ์š”์ฒญ๋ณ„ ํŒŒ์„œ ์„ค์ •์„ ์ „๋‹ฌํ•˜๋Š” ์ธ์ˆ˜๊ฐ€ Fetcher์—์„œ๋Š” custom_config, ์„ธ์…˜ ํด๋ž˜์Šค์—์„œ๋Š” selector_config์˜€์Šต๋‹ˆ๋‹ค. ์ด๋ฒˆ ๋ฆฌํŒฉํ„ฐ๋ง์œผ๋กœ ๊ธฐ์กด ์ฝ”๋“œ๋ฅผ ๊นจ๋œจ๋ฆฌ์ง€ ์•Š๊ณ  ์ด๋ฆ„์„ selector_config๋กœ ํ†ต์ผํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ๋ณธ ์ด๋ฆ„์€ ์ด์ œ selector_config์ด๋ฉฐ, custom_config ์ธ์ˆ˜์™€์˜ ํ•˜์œ„ ํ˜ธํ™˜์„ฑ๋„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. ์ž๋™ ์™„์„ฑ์€ selector_config ์ธ์ˆ˜์—๋งŒ ์ง€์›๋ฉ๋‹ˆ๋‹ค.
    5. ์ด ๋ชจ๋“  ๋ณ€๊ฒฝ์„ ์œ„ํ•ด Fetcher ํ•จ์ˆ˜์˜ ํƒ€์ž… ํžŒํŠธ๋ฅผ ๋™์ ์œผ๋กœ ์ƒ์„ฑํ•˜๋„๋ก ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค. IDE์˜ ์ž๋™ ์™„์„ฑ์ด ์ œ๋Œ€๋กœ ๋™์ž‘ํ•˜์ง€ ์•Š์œผ๋ฉด ์˜ค๋ž˜๋œ ๋ฒ„์ „์€ ์•„๋‹Œ์ง€ ํ™•์ธํ•˜์„ธ์š”. ๊ฑฐ์˜ ๋ชจ๋“  ์ฃผ์š” IDE์™€ ํŽธ์ง‘๊ธฐ์—์„œ ํ…Œ์ŠคํŠธํ–ˆ์Šต๋‹ˆ๋‹ค.

๋ชจ๋“  ๋ฒค์น˜๋งˆํฌ ํ‘œ๋„ ํ˜„์žฌ ์ˆ˜์น˜๋กœ ์—…๋ฐ์ดํŠธํ•˜์—ฌ ๋‹ค๋ฅธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์˜ ์ตœ์‹  ๋ฒ„์ „๊ณผ ๋น„๊ตํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.3.9 - 2025-11-17 {#v0.3.9}

์ค‘์š”ํ•œ ๋ณ€๊ฒฝ ์‚ฌํ•ญ์ด ๋งŽ์ด ํฌํ•จ๋œ ์ƒˆ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.3.9-new-stuff-and-quality-of-life-changes}

  • ์ด์ œ impersonate ์ธ์ˆ˜๋Š” Fetcher์™€ FetcherSession์—์„œ ๋ธŒ๋ผ์šฐ์ € ๋ชฉ๋ก์„ ๋ฐ›์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์š”์ฒญ๋งˆ๋‹ค ๋ชฉ๋ก์—์„œ ๋ธŒ๋ผ์šฐ์ € ํ•˜๋‚˜๋ฅผ ๋ฌด์ž‘์œ„๋กœ ์„ ํƒํ•ฉ๋‹ˆ๋‹ค.
from scrapling.fetchers import FetcherSession

with FetcherSession(impersonate=['chrome', 'firefox', 'safari']) as s:
  s.get('https://github.com/D4Vinci/Scrapling')
  • clean ๋ฉ”์„œ๋“œ์— ์ƒˆ ์ธ์ˆ˜๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. TextHandler์˜ ํ˜„์žฌ ํ…์ŠคํŠธ์—์„œ HTML ์—”ํ‹ฐํ‹ฐ๋ฅผ ์‰ฝ๊ฒŒ ์ œ๊ฑฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์—ฌ๋Ÿฌ ๋ถ€๋ถ„์˜ ์„ค๋ช…์„ ๋” ์ •ํ™•ํ•˜๊ฒŒ ์“ฐ๊ณ  ๊ธฐ๋ณธ README.md ํŒŒ์ผ์˜ ์ž๋™ ๋ฒˆ์—ญ์„ ์ถ”๊ฐ€ํ•˜๋Š” ๋“ฑ ๋ฌธ์„œ๋ฅผ ํฌ๊ฒŒ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.3.9-bug-fixes}

  • ๋ธŒ๋ผ์šฐ์ € Fetcher์—์„œ ์‘๋‹ต์„ ๊ฐ€์ ธ์˜ฌ ๋•Œ ๋ฐœ์ƒํ•˜๋˜ ํฐ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ์ฝ˜ํ…์ธ  ์œ ํ˜•์„ ๊ฐ์ง€ํ•˜์—ฌ HTML์ผ ๋•Œ๋งŒ response.body์— ๋ธŒ๋ผ์šฐ์ €๊ฐ€ ๋ Œ๋”๋งํ•œ ๋‚ด์šฉ์„ ๋„ฃ์Šต๋‹ˆ๋‹ค. ๊ทธ ์™ธ์—๋Š” ๋งˆ์ง€๋ง‰ ์š”์ฒญ์˜ ์›๋ณธ ๋‚ด์šฉ์„ ๋„ฃ์Šต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ๋ฐ”์ด๋„ˆ๋ฆฌ ํŒŒ์ผ๊ณผ ํ…์ŠคํŠธ ํŒŒ์ผ์„ HTML ํƒœ๊ทธ๋กœ ๊ฐ์‹ธ์ง€ ์•Š์€ ์ƒํƒœ๋กœ ๋‹ค์šด๋กœ๋“œํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์›น์‚ฌ์ดํŠธ๋ฅผ ๊ฐ€์ ธ์˜ฌ ๋•Œ๋Š” ์›ํ•˜๋Š” ๋ Œ๋”๋ง ๊ฒฐ๊ณผ๋„ ๋ฐ›์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ”จ ๊ธฐํƒ€ {#v0.3.9-misc}

  • ๊ธฐ์—ฌ ๊ฐ€์ด๋“œ๋ฅผ ๋” ๋ช…ํ™•ํ•˜๊ณ  ์‰ฝ๊ฒŒ ์—…๋ฐ์ดํŠธํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์ฝ”๋“œ ํ’ˆ์งˆ ๋„๊ตฌ๋ฅผ ๋ฐ˜๋“œ์‹œ ์‹คํ–‰ํ•˜๋Š” ์ƒˆ ์›Œํฌํ”Œ๋กœ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. pre-commit ํ›…๊ณผ ๊ฐ™์€ ๋„๊ตฌ๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

v0.3.8 - 2025-10-27 {#v0.3.8}

์ค‘์š”ํ•œ ๋ณ€๊ฒฝ ์‚ฌํ•ญ์ด ๋งŽ์ด ํฌํ•จ๋œ ์ƒˆ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.3.8-new-stuff-and-quality-of-life-changes}

  • ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ € Fetcher์—์„œ ์š”์ฒญ ๋กœ๋”ฉ์ด ๋๋‚˜์ง€ ์•Š๋Š” ์›น์‚ฌ์ดํŠธ์— network_idle์„ ์‚ฌ์šฉํ•ด๋„ ์ฝ”๋“œ ์‹คํ–‰์ด ์ค‘๋‹จ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • ๋ธŒ๋ผ์šฐ์ € Fetcher๊ฐ€ ํŽ˜์ด์ง€ ๋‚ด์šฉ์„ ๊ฐ€์ ธ์˜ค๊ณ  ํ™•์ธํ•˜๋Š” ๋กœ์ง์„ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค. ์ด์ œ Windows์—์„œ๋„ Linux/MacOS์ฒ˜๋Ÿผ ๋ธŒ๋ผ์šฐ์ €๊ฐ€ ๋” ์•ˆ์ •์ ์œผ๋กœ ๋™์ž‘ํ•ฉ๋‹ˆ๋‹ค. ์ด ๋™์ž‘ ์ฐจ์ด๋Š” Windows์—์„œ Playwright์˜ ๊ตฌํ˜„ ๋ฐฉ์‹์ด ๋‹ค๋ฅด๊ธฐ ๋•Œ๋ฌธ์— ๋ฐœ์ƒํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ๋ชจ๋“  ๊ฒ€์ฆ ๋กœ์ง์„ ๋ฆฌํŒฉํ„ฐ๋งํ•˜์—ฌ ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ € Fetcher์˜ ์š”์ฒญ์ด 8-15% ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค.
  • extra_flags๋ผ๋Š” ์ƒˆ ์˜ต์…˜์„ DynamicFetcher์™€ ํ•ด๋‹น ์„ธ์…˜์— ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์‹œ์ž‘ํ•  ๋•Œ ๊ธฐ์กด Chrome ํ”Œ๋ž˜๊ทธ์— ์›ํ•˜๋Š” ํ”Œ๋ž˜๊ทธ๋ฅผ ๋”ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • page_action์„ ์‚ฌ์šฉํ•  ๋•Œ๋Š” ์‘๋‹ต์„ ๊ฐ€์ ธ์˜ค๋Š” ๋ผ์šฐํŒ… ๋กœ์ง์„ ์ด์ „ ๋ฒ„์ „์œผ๋กœ ๋˜๋Œ๋ ธ์Šต๋‹ˆ๋‹ค. ์ด ๋กœ์ง์€ ์ง์ „ ๋ฒ„์ „์—์„œ ๋ฐ”๋€Œ์—ˆ์Šต๋‹ˆ๋‹ค. page_action์ด ์š”์ฒญ์„ ๋ณด๋‚ด์ง€ ์•Š๊ณ  ํŽ˜์ด์ง€ ๋‚ด์šฉ์„ ๋ฐ”๊พธ๋”๋ผ๋„ ์ตœ์‹  ๋‚ด์šฉ์„ ๊ฐ€์ ธ์˜ค๊ธฐ ์œ„ํ•œ ๋ณ€๊ฒฝ์ž…๋‹ˆ๋‹ค. (#100๊ณผ #102์—์„œ ์•Œ๋ ค ์ค€ @gembleman ๋‹˜ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค.)

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.3.8-bug-fixes}

  • DynamicSession์˜ async_fetch์—์„œ load_dom์˜ ์˜คํƒ€๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ํ†ต๊ณผํ•œ ๋’ค์—๋„ ์‚ฌ๋ผ์ง€์ง€ ์•Š๋Š” ์‚ฝ์ž…ํ˜• CAPTCHA๋ฅผ Cloudflare ๊ฒ€์‚ฌ ์ฒ˜๋ฆฌ ์ค‘์— ๊ณ„์† ๊ธฐ๋‹ค๋ฆฌ๋˜ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ CAPTCHA๊ฐ€ ์‚ฌ๋ผ์งˆ ๋•Œ๊นŒ์ง€ 30์ดˆ ๋™์•ˆ ๊ธฐ๋‹ค๋ฆฐ ๋‹ค์Œ, ์‚ฌ๋ผ์ง€์ง€ ์•Š๋Š” ์œ ํ˜•์œผ๋กœ ๊ฐ„์ฃผํ•ฉ๋‹ˆ๋‹ค. (#100 ์ˆ˜์ •)

๐Ÿ”จ ๊ธฐํƒ€ {#v0.3.8-misc}

  • ์‚ฌ์šฉ์ž๊ฐ€ ํŽธ๋ฆฌํ•˜๊ฒŒ ์“ธ ์ˆ˜ ์žˆ๋„๋ก Docker ์ด๋ฏธ์ง€๋ฅผ Dockerhub์™€ GitHub ์ปจํ…Œ์ด๋„ˆ ๋ ˆ์ง€์ŠคํŠธ๋ฆฌ์— ์ž๋™์œผ๋กœ ํ‘ธ์‹œํ•ฉ๋‹ˆ๋‹ค.
  • Scrapling์—์„œ Scrapeless ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์„ค๋ช…ํ•˜๋Š” ์ƒˆ ๋ฌธ์„œ ํŽ˜์ด์ง€๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.3.7 - 2025-10-12 {#v0.3.7}

์ค‘์š”ํ•œ ๋ณ€๊ฒฝ ์‚ฌํ•ญ์ด ๋งŽ์ด ํฌํ•จ๋œ ์ƒˆ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ๊ณผ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.3.7-new-stuff-and-quality-of-life-changes}

  • solve_cloudflare ์ธ์ˆ˜๋ฅผ ๋‹ค์‹œ ๊ตฌํ˜„ํ•˜์—ฌ StealthyFetcher๊ฐ€ ๋ชจ๋“  ์ข…๋ฅ˜์˜ ์‚ฌ์šฉ์ž ์ •์˜ Turnstile ๊ตฌํ˜„์„ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • Pyright ๊ฒ€์‚ฌ๋ฅผ ํ†ต๊ณผํ•˜๋„๋ก ์ „์ฒด ์ฝ”๋“œ๋ฅผ ๋ฆฌํŒฉํ„ฐ๋งํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ๋ชจ๋“  IDE์—์„œ ์›ํ™œํ•˜๊ฒŒ ์ž‘์—…ํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์—ฌ๋Ÿฌ ๋ฒ„๊ทธ๋„ ํ•ด๊ฒฐํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์š”์ฒญ ๋กœ์ง์„ ๋” ๊น”๋”ํ•˜๊ณ  ๋น ๋ฅด๊ฒŒ ๋ฆฌํŒฉํ„ฐ๋งํ–ˆ์Šต๋‹ˆ๋‹ค. (#97๋„ ํ•ด๊ฒฐ)
  • ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜ ํด๋ž˜์Šค์— ์ƒˆ user_data_dir ์˜ต์…˜์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ „ ์„ธ์…˜์˜ ๋ธŒ๋ผ์šฐ์ € ๋ฐ์ดํ„ฐ(์ฟ ํ‚ค/์ €์žฅ์†Œ ๋“ฑ)๋ฅผ ๋‹ค์‹œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ง€์ •ํ•˜์ง€ ์•Š์œผ๋ฉด ์ด์ „์ฒ˜๋Ÿผ Playwright๊ฐ€ ์‹คํ–‰ํ•  ๋•Œ๋งˆ๋‹ค ๋ฌด์ž‘์œ„ ๋””๋ ‰ํ„ฐ๋ฆฌ๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.
  • ์ƒˆ additional_args ์˜ต์…˜์„ Dynamic fetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค์— ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ „์˜ StealthyFetcher์ฒ˜๋Ÿผ Playwright ์ปจํ…์ŠคํŠธ์— ์ถ”๊ฐ€ ์ธ์ˆ˜๋ฅผ ์ „๋‹ฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ €์—์„œ ๋งˆ์ง€๋ง‰ ํƒ์ƒ‰ ์‘๋‹ต์„ ๊ฐ€์ ธ์˜ค๋Š” ๋ผ์šฐํŒ… ๋กœ์ง์„ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ „์—๋Š” ๋ธŒ๋ผ์šฐ์ €๊ฐ€ ๋จผ์ € ์ฒ˜๋ฆฌํ–ˆ์ง€๋งŒ, ์ด์ œ ์ฒ˜๋ฆฌ ์ „์˜ ์›๋ณธ ์‘๋‹ต์„ ํŒŒ์„œ์— ์ „๋‹ฌํ•ฉ๋‹ˆ๋‹ค. ํ…์ŠคํŠธ/JSON ์‘๋‹ต์— ๋งค์šฐ ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.3.7-bug-fixes}

  • ๋ผ์šฐํŒ… ๋กœ์ง์„ ๋‹ค์‹œ ๊ตฌํ˜„ํ•˜์—ฌ ์ผ๋ถ€ Windows ๊ธฐ๊ธฐ์—์„œ ๋ถˆ์•ˆ์ •ํ•œ ์›น์‚ฌ์ดํŠธ์˜ ๋‚ด์šฉ์„ ๊ฐ€์ ธ์˜ค์ง€ ๋ชปํ•˜๋˜ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์ด๋ฒˆ ๋ฒ„์ „์˜ ์—ฌ๋Ÿฌ ๋ฆฌํŒฉํ„ฐ๋ง ๊ณผ์ •์—์„œ ์ด์ „์—๋Š” ์ฐพ๊ธฐ ์–ด๋ ค์› ๋˜ ๋งŽ์€ ๋ฒ„๊ทธ์™€ ์ผ๋ถ€ IDE์˜ ์ด์ƒํ•œ ์ž๋™ ์™„์„ฑ ๋ฌธ์ œ๋„ ํ•ด๊ฒฐํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ๋ฌธ์„œ ์›น์‚ฌ์ดํŠธ์˜ ์—ฌ๋Ÿฌ ๋ถ€๋ถ„์„ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.3.6 - 2025-10-01 {#v0.3.6}

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ {#v0.3.6-new-stuff}

  • solve_cloudflare ์ธ์ˆ˜๋ฅผ ๊ฐœ์„ ํ•˜์—ฌ StealthyFetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค๊ฐ€ ๋ชจ๋“  ์ข…๋ฅ˜์˜ Cloudflare Turnstile/Interstitial ๊ฒ€์‚ฌ๋ฅผ ํ†ต๊ณผํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ–ˆ์Šต๋‹ˆ๋‹ค ๐ŸŽ‰
  • ์ด์ œ MCP ์„œ๋ฒ„์—์„œ Streamable HTTP๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์–ด ์„œ๋ฒ„๋ฅผ ์‰ฝ๊ฒŒ ์™ธ๋ถ€์— ์ œ๊ณตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • Docker ์ง€์›์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ๋ฆด๋ฆฌ์Šค๋งˆ๋‹ค ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ €๊ฐ€ ํฌํ•จ๋œ ์ด๋ฏธ์ง€๋ฅผ ์ž๋™์œผ๋กœ ๋นŒ๋“œํ•˜๊ณ  Docker Hub์— ํ‘ธ์‹œํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.3.6-bug-fixes}

  • ์ผ๋ถ€ ์ƒํ™ฉ์—์„œ ํŒŒ์„œ์— ๋ฐœ์ƒํ•˜๋˜ ์ธ์ฝ”๋”ฉ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ž˜ ์•Œ๋ ค์ง„ invalid start byte ์˜ค๋ฅ˜์ž…๋‹ˆ๋‹ค.
  • ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์˜ ์—ฌ๋Ÿฌ ๋ถ€๋ถ„์„ ์žฌ๊ตฌ์„ฑํ•˜์—ฌ ๋ฉ”๋ชจ๋ฆฌ ๋ˆ„์ˆ˜๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ์„ค์ •์— ๋”ฐ๋ผ ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰์ด ๋ˆˆ์— ๋„๊ฒŒ ์ค„์–ด๋“ญ๋‹ˆ๋‹ค. (#92๋„ ํ•ด๊ฒฐ)
  • ์ฝ”๋“œ ๊ณณ๊ณณ์˜ ํƒ€์ž… ํ‘œ๊ธฐ๋ฅผ ๊ฐœ์„ ํ•˜์—ฌ IDE๋ฅผ ๋” ํŽธํ•˜๊ฒŒ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ–ˆ์Šต๋‹ˆ๋‹ค. (#93๋„ ํ•ด๊ฒฐ)

v0.3.5 - 2025-09-20 {#v0.3.5}

์—ฌ๋Ÿฌ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” ํ•„์ˆ˜ ๋ฆด๋ฆฌ์Šค์ž…๋‹ˆ๋‹ค

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ {#v0.3.5-new-stuff}

  • ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ € Fetcher(DynamicFetcher/StealthyFetcher/...)์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค๊ฐ€ ์›น์‚ฌ์ดํŠธ๋ฅผ 15-20% ๋” ๋น ๋ฅด๊ฒŒ ๊ฐ€์ ธ์˜ต๋‹ˆ๋‹ค.

    1. @AbdullahY36 ๋‹˜์ด #87์—์„œ ๋กœ์ง์„ ๊ฐœ์„ ํ•˜์—ฌ ํŽ˜์ด์ง€ ๊ด€๋ฆฌ๊ฐ€ ํ›จ์”ฌ ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค.
    2. ์ „์ฒด ๊ฒ€์ฆ ๋กœ์ง์„ ์ตœ์ ํ™”ํ•˜๊ณ  ๋™๊ธฐ ์š”์ฒญ์˜ ํŽ˜์ด์ง€ ์ƒ์„ฑ์„ ๊ฐœ์„ ํ•˜์—ฌ ์†๋„๊ฐ€ ํฌ๊ฒŒ ๋†’์•„์กŒ์Šต๋‹ˆ๋‹ค.
  • DynamicFetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค์—์„œ rebrowser-playwright๋ฅผ PatchRight๋กœ ๊ต์ฒดํ•˜์—ฌ ์Šคํ…”์Šค ๋ชจ๋“œ๋ฅผ ํฌ๊ฒŒ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.

    1. ์ด์ „์—๋Š” rebrowser-playwright๊ฐ€ stealth์™€ real_chrome์„ ํ•จ๊ป˜ ์‚ฌ์šฉํ•˜๋ฉด ์ œ๋Œ€๋กœ ๋™์ž‘ํ•˜์ง€ ์•Š์•„ ๋น„ํ™œ์„ฑํ™”๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ PatchRight์—์„œ๋Š” ์ด ๋ฌธ์ œ๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค.
    2. ์ด์ œ closed ๋ชจ๋“œ์˜ Shadow Root์™€ ์ƒํ˜ธ์ž‘์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. PatchRight๊ฐ€ ์ž๋™์œผ๋กœ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.3.5-bug-fixes}

  • re ๋ฉ”์„œ๋“œ๋ฅผ Selectors ํด๋ž˜์Šค์—์„œ ์‚ฌ์šฉํ•  ๋•Œ ๋ฐœ์ƒํ•˜๋˜ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์›น ์Šคํฌ๋ž˜ํ•‘ ์…ธ์˜ uncurl๊ณผ curl2fetcher ๋ช…๋ น์ด curl์˜ --data-raw ํ”Œ๋ž˜๊ทธ๋ฅผ ์ž˜๋ชป ํŒŒ์‹ฑํ•˜๋˜ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์›น ์Šคํฌ๋ž˜ํ•‘ ์…ธ์˜ view ๋ช…๋ น์—์„œ ์›น์‚ฌ์ดํŠธ์˜ ์ธ์ฝ”๋”ฉ์— ๋”ฐ๋ผ ๋ฐœ์ƒํ•˜๋˜ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • mcp ๋ชจ๋“œ์™€ extract ๋ช…๋ น์— ์˜ํ–ฅ์„ ์ฃผ๋˜ ์ฝ˜ํ…์ธ  ๋ณ€ํ™˜ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

์ƒˆ ๊ธฐ์—ฌ์ž {#v0.3.5-new-contributors}

  • @AbdullahY36 ๋‹˜์ด #87์—์„œ ์ฒ˜์Œ์œผ๋กœ ๊ธฐ์—ฌํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.3.4 - 2025-09-16 {#v0.3.4}

์—ฌ๋Ÿฌ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” ํ•„์ˆ˜ ๋ฆด๋ฆฌ์Šค์ž…๋‹ˆ๋‹ค

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ {#v0.3.4-new-stuff}

  • ๋Œ€ํ™”ํ˜• ์…ธ์— ๋ชจ๋“  Fetcher ์„ธ์…˜ ํด๋ž˜์Šค๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ž„ํฌํŠธ ์—†์ด ๋ฐ”๋กœ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.3.4-bug-fixes}

  • Cloudflare ๊ฒ€์‚ฌ๋ฅผ ์ฒ˜๋ฆฌํ•˜๋ฉด์„œ ํŽ˜์ด์ง€ ๋‚ด์šฉ์„ ๊ฐ€์ ธ์˜ฌ ๋•Œ Windows์˜ Playwright API์—์„œ ๋ฐœ์ƒํ•˜๋˜ ๋ฒ„๊ทธ๋ฅผ ์šฐํšŒํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ๋Œ€ํ™”ํ˜• ์…ธ์—์„œ view ๋ช…๋ น์˜ ์ธ์ฝ”๋”ฉ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • max_pages ์ธ์ˆ˜๋กœ ์ธํ•ด AsyncStealthySession์—์„œ ์‹คํ–‰์ด ์ค‘๋‹จ๋˜๋˜ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • html_content์™€ prettify ์†์„ฑ์— ์ตœ๊ทผ ์—…๋ฐ์ดํŠธ๋กœ ์ƒ๊ธด ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. Selector ํด๋ž˜์Šค์˜ ๋‘ ์†์„ฑ์ด ์ธ์ฝ”๋”ฉ์— ๋”ฐ๋ผ ๋ฐ”์ดํŠธ๋ฅผ ๋ฐ˜ํ™˜ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ๋‘˜ ๋‹ค ์ด์ „์ฒ˜๋Ÿผ ๋ฌธ์ž์—ด์„ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค.

v0.3.3 - 2025-09-15 {#v0.3.3}

  • ๋ธŒ๋ผ์šฐ์ € Fetcher์—์„œ ๊ธฐ๋ณธ ๋ธŒ๋ผ์šฐ์ € ํƒญ์„ ์ œ๊ฑฐํ•˜๋Š” ๋กœ์ง์„ ์—†์•ด์Šต๋‹ˆ๋‹ค. ์ด ๋กœ์ง์ด ์‹คํ–‰์„ ์ค‘๋‹จ์‹œํ‚ค๋Š” ์˜ค๋ฅ˜๋ฅผ ์ผ์œผ์ผฐ๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. Mac์—์„œ๋Š” ๋ฐœ์ƒํ•˜์ง€ ์•Š์•˜๊ณ  Windows์™€ Linux์—์„œ๋งŒ ์žฌํ˜„ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.3.2 - 2025-09-15 {#v0.3.2}

v0.3.2 ๋ฆด๋ฆฌ์Šค ๋…ธํŠธ

๐Ÿš€ ์ƒˆ ๊ธฐ๋Šฅ {#v0.3.2-new-stuff}

  • ์„ ํƒ์  Fetcher ์˜์กด์„ฑ: ๋ชจ๋“  Fetcher๋ฅผ ์„ ํƒ์  ์˜์กด์„ฑ ๊ทธ๋ฃน์œผ๋กœ ์˜ฎ๊ฒจ ํ•ต์‹ฌ ํŒจํ‚ค์ง€ ํฌ๊ธฐ๋ฅผ ์ค„์˜€์Šต๋‹ˆ๋‹ค. ์ด์ œ ๊ธฐ๋ณธ scrapling ๋ชจ๋“ˆ์—๋Š” ํŒŒ์„œ๋งŒ ์žˆ์Šต๋‹ˆ๋‹ค. Fetcher๋‚˜ ๋ช…๋ น์ค„ ์˜ต์…˜์„ ์‚ฌ์šฉํ•˜๋ ค๋ฉด pip install "scrapling[fetchers]"๋ฅผ ์‹คํ–‰ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์ž์„ธํ•œ ์„ค์น˜ ๋ฐฉ๋ฒ•์€ ์—ฌ๊ธฐ๋ฅผ ํ™•์ธํ•˜์„ธ์š”.

  • ์„ธ์…˜์˜ ํŽ˜์ด์ง€๋ณ„ ์„ค์ •: ๋ธŒ๋ผ์šฐ์ € Fetcher์˜ ์„ธ์…˜ ํด๋ž˜์Šค์—์„œ ๊ฐ ํŽ˜์ด์ง€๋ฅผ ๋ณ„๋„๋กœ ์„ค์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ์š”์ฒญ ์ˆ˜์ค€์˜ ๋ชจ๋“  ๋งค๊ฐœ๋ณ€์ˆ˜๋„ ์„ธ์…˜ ์ˆ˜์ค€์˜ ๋งค๊ฐœ๋ณ€์ˆ˜์ฒ˜๋Ÿผ ๊ฒ€์ฆํ•ฉ๋‹ˆ๋‹ค. ์ž์„ธํ•œ ๋‚ด์šฉ์€ ๋ฌธ์„œ ์›น์‚ฌ์ดํŠธ์˜ ์ด ํŽ˜์ด์ง€๋ฅผ ํ™•์ธํ•˜์„ธ์š”.
    ์˜ˆ์ œ:

    with StealthySession(headless=True, solve_cloudflare=True) as session:
        page = session.fetch('https://nopecha.com/demo/cloudflare', google_search=False)
    
  • ๋ธŒ๋ผ์šฐ์ € Fetcher ๊ฐœ์„ 

    • ํŽ˜์ด์ง€์—์„œ JavaScript ์‹คํ–‰์ด ๋๋‚  ๋•Œ๊นŒ์ง€ ๊ธฐ๋‹ค๋ฆด์ง€ ์ •ํ•˜๋Š” ์ƒˆ ์˜ต์…˜์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ „๊ณผ ๊ฐ™์ด ๊ธฐ๋ณธ์ ์œผ๋กœ ์ผœ์ ธ ์žˆ์Šต๋‹ˆ๋‹ค.

      with DynamicSession(headless=True, disable_resources=False, network_idle=True) as session:
         page = session.fetch('https://quotes.toscrape.com/', load_dom=False)
      
    • DynamicFetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค์˜ ์Šคํ…”์Šค ๋ชจ๋“œ๊ฐ€ ๋” ์•ˆ์ •์ ์œผ๋กœ ๋™์ž‘ํ•ฉ๋‹ˆ๋‹ค.

    • DynamicFetcher์™€ StealthyFetcher ๋ชจ๋‘ ๋ฆฌ์†Œ์Šค๋ฅผ ๋œ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. Playwright API์˜ ์˜๊ตฌ ์ปจํ…์ŠคํŠธ๊ฐ€ ์—ฌ๋Š” ๊ธฐ๋ณธ ํƒญ์„ ์ž๋™์œผ๋กœ ์ฐพ์•„ ๋‹ซ์Šต๋‹ˆ๋‹ค.

    • ๋ธŒ๋ผ์šฐ์ € Fetcher์˜ ํŽ˜์ด์ง€ ์ˆœํ™˜ ๋กœ์ง์—์„œ ์ค‘์š”ํ•œ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ์ด์ „ ํŽ˜์ด์ง€๋ฅผ ์ƒˆ ํŽ˜์ด์ง€๋กœ ๊ต์ฒดํ•ฉ๋‹ˆ๋‹ค. ์ˆœํ™˜ํ•˜๋ฉฐ ์žฌ์‚ฌ์šฉํ•˜๋Š” ํƒญ์—๋Š” ์ด์ „ ์„ค์ •์ด ๋‚จ์•„ ์žˆ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

    • StealthyFetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค๊ฐ€ ์กฐ๊ธˆ ๋” ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค(5%).

  • .body ์†์„ฑ ๊ฐœ์„ : ์ „๋‹ฌ๋ฐ›์€ ๋‚ด์šฉ์„ ์ฒ˜๋ฆฌํ•˜์ง€ ์•Š๊ณ  ๊ทธ๋Œ€๋กœ ๋ฐ˜ํ™˜ํ•˜๋ฏ€๋กœ ํŒŒ์ผ์„ ๋‹ค์šด๋กœ๋“œํ•˜๊ณ  HTML์ด ์•„๋‹Œ ์š”์ฒญ๋„ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋‹ค์Œ์€ ์‚ฌ์ง„์„ ๋‹ค์šด๋กœ๋“œํ•˜๋Š” ์˜ˆ์ œ์ž…๋‹ˆ๋‹ค.

    from scrapling.fetchers import Fetcher
    
    page = Fetcher.get('https://raw.githubusercontent.com/D4Vinci/Scrapling/main/images/poster.png')
    with open(file='poster.png', mode='wb') as f:
        f.write(page.body)
    

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.3.2-bug-fixes}

  • ์ธ์ฝ”๋”ฉ ๋ฌธ์ œ ํ•ด๊ฒฐ: ์ผ๋ถ€ ์›น์‚ฌ์ดํŠธ์—์„œ ํŒŒ์„œ, mcp ๋ชจ๋“œ, extract ๋ช…๋ น์— ๋ฐœ์ƒํ•˜๋˜ ์—ฌ๋Ÿฌ ์ธ์ฝ”๋”ฉ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. (#80๊ณผ #81๋„ ํ•ด๊ฒฐ)
  • ๋” ๋น ๋ฅธ ํŒŒ์‹ฑ: ์—ฌ๋Ÿฌ ๋ณ€๊ฒฝ์œผ๋กœ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๊ฐ€ ๋” ๋นจ๋ผ์กŒ์œผ๋ฉฐ, ์—…๋ฐ์ดํŠธ๋œ ๋ฒค์น˜๋งˆํฌ์—์„œ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ”จ ๊ธฐํƒ€ {#v0.3.2-misc}

  • ๋ฒค์น˜๋งˆํฌ ์—…๋ฐ์ดํŠธ: ํ˜„์žฌ ์†๋„ ๊ฐœ์„ ์„ ๋น„์Šทํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์˜ ์ตœ์‹  ๋ฒ„์ „๊ณผ ๋น„๊ตํ•˜๋„๋ก ์„ฑ๋Šฅ ๋ฒค์น˜๋งˆํฌ๋ฅผ ๊ฐฑ์‹ ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ๋งŽ์€ ์ฝ”๋“œ๋ฅผ ๋ฆฌํŒฉํ„ฐ๋งํ•˜๊ณ  ์‚ฌ์šฉํ•˜์ง€ ์•Š๋Š” ์ฝ”๋“œ๋ฅผ ๋” ๋‚˜์€ ๊ตฌํ˜„์œผ๋กœ ๊ต์ฒดํ–ˆ์Šต๋‹ˆ๋‹ค: ์ฝ”๋“œ๊ฐ€ ์ค„๊ณ  ๋” ๊น”๋”ํ•ด์ ธ ์œ ์ง€ ๋ณด์ˆ˜๊ฐ€ ์‰ฌ์›Œ์กŒ์Šต๋‹ˆ๋‹ค.
  • YouTube ์˜์ƒ ์ถ”๊ฐ€: MCP ๋ฌธ์„œ์— ์˜์ƒ์„ ํฌํ•จํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์ƒˆ ์ด์Šˆ ํ…œํ”Œ๋ฆฟ: ๊ธฐ์กด ํ…œํ”Œ๋ฆฟ์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์—†๋Š” ์‚ฌ์šฉ์ž๋ฅผ ์œ„ํ•ด ์‰ฌ์šด ์ƒˆ ํ…œํ”Œ๋ฆฟ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • CI ์›Œํฌํ”Œ๋กœ ์ตœ์ ํ™”: ๋ฌธ์„œ๋‚˜ ์ฝ”๋“œ๊ฐ€ ์•„๋‹Œ ํŒŒ์ผ๋งŒ ๋ฐ”๋€Œ๋ฉด ํ…Œ์ŠคํŠธ ์›Œํฌํ”Œ๋กœ๋ฅผ ๊ฑด๋„ˆ๋œ๋‹ˆ๋‹ค.
  • ์˜์กด์„ฑ ์—…๋ฐ์ดํŠธ: ์—ฌ๋Ÿฌ ์˜์กด์„ฑ์„ ์ตœ์‹  ๋ฒ„์ „์œผ๋กœ ๋†’์˜€์Šต๋‹ˆ๋‹ค.
  • ์ฝ”๋“œ ์Šคํƒ€์ผ ๊ฐœ์„ : ๋ชจ๋“  ํŒŒ์ผ์— ์ƒˆ ruff ๊ทœ์น™์„ ์ ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค.
  • Pre-commit ํ›…: pre-commit ์„ค์ •์„ ์—…๋ฐ์ดํŠธํ–ˆ์Šต๋‹ˆ๋‹ค.

๐ŸŽฏ ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.3.2-breaking-changes}

  • max_pages ๋งค๊ฐœ๋ณ€์ˆ˜๋ฅผ ๋™๊ธฐ StealthySession์—์„œ ์ œ๊ฑฐํ•˜์—ฌ DynamicSession๊ณผ ๋งž์ท„์Šต๋‹ˆ๋‹ค. ๋™๊ธฐ ๋ฒ„์ „์—์„œ๋Š” ์˜๋ฏธ๊ฐ€ ์—†๋Š” ๋งค๊ฐœ๋ณ€์ˆ˜์ž…๋‹ˆ๋‹ค.

v0.3.1 - 2025-09-02 {#v0.3.1}

  1. shell ์„ ํƒ ์˜์กด์„ฑ ๊ทธ๋ฃน ์—†์ด Scrapling์„ ์„ค์น˜ํ•  ๋•Œ ๋ฐœ์ƒํ•˜๋˜ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. (#76)
  2. ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ € Fetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค์— ํŽ˜์ด์ง€ ์ƒ์„ฑ ์‹œ ์‹คํ–‰ํ•  JS ํŒŒ์ผ์„ ์ง€์ •ํ•˜๋Š” ์ƒˆ ์ธ์ˆ˜๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. (#56):
from scrapling.fetchers import StealthyFetcher

StealthyFetcher.fetch('https://example.com', init_script="/absolute/path/to/js/script.js")

v0.3 - 2025-09-01 {#v0.3}

๐ŸŽ‰ ์ฃผ์š” ๋ฆด๋ฆฌ์Šค - ์ „์ฒด ๊ตฌ์กฐ ๊ฐœํŽธ

Scrapling v0.3์€ ํ”„๋กœ์ ํŠธ ์—ญ์‚ฌ์ƒ ๊ฐ€์žฅ ํฐ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค. ์ „์ฒด ๊ตฌ์กฐ๋ฅผ ์ƒˆ๋กœ ์ž‘์„ฑํ•˜๊ณ  ์„ฑ๋Šฅ์„ ํฌ๊ฒŒ ๊ฐœ์„ ํ–ˆ์œผ๋ฉฐ, AI ์—ฐ๋™๊ณผ ๋Œ€ํ™”ํ˜• ์›น ์Šคํฌ๋ž˜ํ•‘ ์…ธ์„ ๋น„๋กฏํ•œ ๊ฐ•๋ ฅํ•œ ์ƒˆ ๊ธฐ๋Šฅ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.

์ด๋ฒˆ ๋ฆด๋ฆฌ์Šค์—๋Š” ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ ์‚ฌํ•ญ์ด ์—ฌ๋Ÿฌ ๊ฐœ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฆด๋ฆฌ์Šค ๋…ธํŠธ๋ฅผ ์ฃผ์˜ ๊นŠ๊ฒŒ ์ฝ์–ด ์ฃผ์„ธ์š”.

๐Ÿš€ ์ฃผ์š” ์ƒˆ ๊ธฐ๋Šฅ {#v0.3-major-new-features}

์„ธ์…˜ ๊ธฐ๋ฐ˜ ๊ตฌ์กฐ {#v0.3-session-based-architecture}

  • ์ƒˆ ์„ธ์…˜ ํด๋ž˜์Šค: ์ฝ”๋“œ๋ฅผ ์™„์ „ํžˆ ์ƒˆ๋กœ ์ž‘์„ฑํ•ด ์„ธ์…˜์„ ์œ ์ง€ํ•˜๋Š” ๊ธฐ๋Šฅ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
    • FetcherSession - ์ƒํƒœ๋ฅผ ์œ ์ง€ํ•˜๋Š” HTTP ์š”์ฒญ์„ ๋™๊ธฐ ์ฝ”๋“œ์™€ ๋น„๋™๊ธฐ ์ฝ”๋“œ ๋ชจ๋‘์—์„œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
    • DynamicSession/AsyncDynamicSession - ์ž‘์—…์ด ๋๋‚  ๋•Œ๊นŒ์ง€ ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์—ด์–ด๋‘” ์ฑ„๋กœ ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์ž๋™ํ™”ํ•ฉ๋‹ˆ๋‹ค.
    • StealthySession/AsyncStealthySession - ์ž‘์—…์ด ๋๋‚  ๋•Œ๊นŒ์ง€ ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์—ด์–ด๋‘” ์ฑ„๋กœ ์Šคํ…”์Šค ๋ชจ๋“œ์—์„œ ํƒ์ƒ‰ํ•ฉ๋‹ˆ๋‹ค.
  • ๋น„๋™๊ธฐ ๋ธŒ๋ผ์šฐ์ € ํƒญ ๊ด€๋ฆฌ: ์ƒˆ ํƒญ ํ’€ ๊ธฐ๋Šฅ์˜ max_pages ์ธ์ˆ˜๋กœ ๋ธŒ๋ผ์šฐ์ € ํƒญ์„ ๋ฒˆ๊ฐˆ์•„ ์‚ฌ์šฉํ•˜๋ฉฐ ์—ฌ๋Ÿฌ ํŽ˜์ด์ง€๋ฅผ ๋™์‹œ์— ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๋™์‹œ ์„ธ์…˜: ์„œ๋กœ ๋ถ„๋ฆฌ๋œ ์—ฌ๋Ÿฌ ์„ธ์…˜์„ ๋™์‹œ์— ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค.

์ž์„ธํ•œ ๋‚ด์šฉ์€ ์›น์‚ฌ์ดํŠธ์˜ Fetching ์„น์…˜์„ ์ฐธ๊ณ ํ•˜์„ธ์š”.

๋‹ค์–‘ํ•œ ์ƒˆ ์Šคํ…”์Šค ๋ฐ ๋ด‡ ์ฐจ๋‹จ ์šฐํšŒ ๊ธฐ๋Šฅ {#v0.3-a-lot-of-new-stealth-anti-bot-capabilities}

  • ๐Ÿค– Cloudflare ๊ฒ€์‚ฌ ํ†ต๊ณผ: Cloudflare Turnstile ๊ฒ€์‚ฌ๋ฅผ ์ž๋™์œผ๋กœ ํ†ต๊ณผํ•˜๋Š” ๊ธฐ๋Šฅ์„ StealthyFetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค์— ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ๋ธŒ๋ผ์šฐ์ € ์ง€๋ฌธ ๋ชจ๋ฐฉ: ์™„์ „ํžˆ ์ƒˆ๋กœ ๋งŒ๋“  Fetcher ํด๋ž˜์Šค๋กœ ์‹ค์ œ ๋ธŒ๋ผ์šฐ์ €์˜ TLS ์ง€๋ฌธ๊ณผ ๋ฒ„์ „์— ๋งž๋Š” ๋ธŒ๋ผ์šฐ์ € ํ—ค๋”๋ฅผ ๋ชจ๋ฐฉํ•˜๊ณ , HTTP/3 ๋“ฑ์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์Šคํ…”์Šค ๋ชจ๋“œ ๊ฐœ์„ : DynamicFetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค์˜ ์Šคํ…”์Šค ๋ชจ๋“œ๊ฐ€ ๋” ๊ฐ•๋ ฅํ•˜๊ณ  ์•ˆ์ •์ ์œผ๋กœ ๋ฐ”๋€Œ์—ˆ์Šต๋‹ˆ๋‹ค. (ํด๋ž˜์Šค์˜ ๋‹ค๋ฅธ ์ด๋ฆ„์€ PlayWrightFetcher์ž…๋‹ˆ๋‹ค.)

AI ์—ฐ๋™ ๋ฐ MCP ์„œ๋ฒ„ {#v0.3-ai-integration-mcp-server}

  • ๊ธฐ๋ณธ ์ œ๊ณต MCP ์„œ๋ฒ„: AI๋กœ ์›น ์Šคํฌ๋ž˜ํ•‘์„ ๋•๋Š” Model Context Protocol ์„œ๋ฒ„์ž…๋‹ˆ๋‹ค.
  • ๊ฐ•๋ ฅํ•œ ๋„๊ตฌ 6๊ฐœ: get, bulk_get, fetch, bulk_fetch, stealthy_fetch, bulk_stealthy_fetch
  • ์Šค๋งˆํŠธ ์ฝ˜ํ…์ธ  ์ถ”์ถœ: ์›นํŽ˜์ด์ง€๋‚˜ ์š”์†Œ๋ฅผ Markdown ๋˜๋Š” HTML๋กœ ๋ณ€ํ™˜ํ•˜๊ฑฐ๋‚˜ ์ •๋ฆฌ๋œ ํ…์ŠคํŠธ๋งŒ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค.
  • CSS ์„ ํƒ์ž ์ง€์›: AI์— ์ฝ˜ํ…์ธ ๋ฅผ ์ „๋‹ฌํ•˜๊ธฐ ์ „์— Scrapling ์—”์ง„์œผ๋กœ ํŠน์ • ์š”์†Œ๋ฅผ ์ •ํ™•ํ•˜๊ฒŒ ์„ ํƒํ•ฉ๋‹ˆ๋‹ค.
  • ๋ด‡ ์ฐจ๋‹จ ์šฐํšŒ: Cloudflare Turnstile๊ณผ ๋‹ค๋ฅธ ๋ณดํ˜ธ ์žฅ์น˜๋ฅผ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค.
  • ํ”„๋ก์‹œ ์ง€์›: ํ”„๋ก์‹œ๋กœ ์ต๋ช…์„ฑ์„ ์œ ์ง€ํ•˜๊ณ  ํŠน์ • ์ง€์—ญ์—์„œ ์ ‘์†ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๋ธŒ๋ผ์šฐ์ € ๋ชจ๋ฐฉ: TLS ์ง€๋ฌธ๊ณผ ๋ฒ„์ „์— ๋งž๋Š” ์‹ค์ œ ๋ธŒ๋ผ์šฐ์ € ํ—ค๋” ๋“ฑ์œผ๋กœ ์‹ค์ œ ๋ธŒ๋ผ์šฐ์ €๋ฅผ ๋ชจ๋ฐฉํ•ฉ๋‹ˆ๋‹ค.
  • ๋ณ‘๋ ฌ ์ฒ˜๋ฆฌ: ์—ฌ๋Ÿฌ URL์„ ๋™์‹œ์— ์Šคํฌ๋ž˜ํ•‘ํ•ด ํšจ์œจ์„ ๋†’์ž…๋‹ˆ๋‹ค.
  • ๊ทธ ๋ฐ–์˜ ๊ธฐ๋Šฅ...

์ƒˆ๋กœ์šด ๋Œ€ํ™”ํ˜• ์›น ์Šคํฌ๋ž˜ํ•‘ ์…ธ {#v0.3-new-interactive-web-scraping-shell}

  • ์ƒˆ๋กœ์šด ์…ธ: get, post, put, delete, fetch, stealthy_fetch ๊ฐ™์€ ํŽธ๋ฆฌํ•œ ๋‹จ์ถ• ํ•จ์ˆ˜๋ฅผ ๊ธฐ๋ณธ ์ œ๊ณตํ•˜๋Š” ๋งž์ถคํ˜• IPython ์…ธ์ž…๋‹ˆ๋‹ค.
  • ์Šค๋งˆํŠธ ํŽ˜์ด์ง€ ๊ด€๋ฆฌ: ์ƒˆ ๋ช…๋ น์ธ page์™€ pages๊ฐ€ ์…ธ์—์„œ ๋ณด๋‚ธ ๋ชจ๋“  ์š”์ฒญ์˜ ํ˜„์žฌ ํŽ˜์ด์ง€์™€ ๊ธฐ๋ก์„ ์ž๋™์œผ๋กœ ์ €์žฅํ•ฉ๋‹ˆ๋‹ค.
  • curl ์—ฐ๋™: ๋ธŒ๋ผ์šฐ์ € DevTools์˜ curl ๋ช…๋ น์„ uncurl๊ณผ curl2fetcher ํ•จ์ˆ˜๋กœ Fetcher ์š”์ฒญ์œผ๋กœ ๋ณ€ํ™˜ํ•ฉ๋‹ˆ๋‹ค.
  • ๊ทธ ๋ฐ–์˜ ๊ธฐ๋Šฅ...

ํ”„๋กœ๊ทธ๋ž˜๋ฐ ์—†์ด ํ„ฐ๋ฏธ๋„์—์„œ ์Šคํฌ๋ž˜ํ•‘ํ•˜๊ธฐ {#v0.3-scrape-from-the-terminal-without-programming}

  • ์ƒˆ ์ถ”์ถœ ๋ช…๋ น: ํ”„๋กœ๊ทธ๋ž˜๋ฐ ์—†์ด ํ„ฐ๋ฏธ๋„์—์„œ ์Šคํฌ๋ž˜ํ•‘ํ•ฉ๋‹ˆ๋‹ค.
    • scrapling extract get/post/put/delete - ๊ฐ„๋‹จํ•œ HTTP ์š”์ฒญ
    • scrapling extract fetch - ๋™์  ์ฝ˜ํ…์ธ  ์Šคํฌ๋ž˜ํ•‘
    • scrapling extract stealthy-fetch - ๋ด‡ ์ฐจ๋‹จ ์šฐํšŒ
  • ์›นํŽ˜์ด์ง€๋ฅผ ๋‹ค์šด๋กœ๋“œํ•˜๊ณ  ์ฝ˜ํ…์ธ ๋ฅผ ํŒŒ์ผ์— ์ €์žฅํ•ฉ๋‹ˆ๋‹ค.
  • HTML์„ Markdown์ฒ˜๋Ÿผ ์ฝ๊ธฐ ์‰ฌ์šด ํ˜•์‹์œผ๋กœ ๋ณ€ํ™˜ํ•˜๊ฑฐ๋‚˜, HTML ๊ทธ๋Œ€๋กœ ์ €์žฅํ•˜๊ฑฐ๋‚˜, ํŽ˜์ด์ง€์˜ ํ…์ŠคํŠธ๋งŒ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค.
  • ์‚ฌ์šฉ์ž ์ง€์ • CSS ์„ ํƒ์ž๋ฅผ ์ง€์›ํ•ด ํŽ˜์ด์ง€์˜ ํŠน์ • ๋ถ€๋ถ„์„ ์ถ”์ถœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • HTTP ์š”์ฒญ๊ณผ ๋ธŒ๋ผ์šฐ์ €๋ฅผ ํ†ตํ•œ ๊ฐ€์ ธ์˜ค๊ธฐ๋ฅผ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค.
  • ๋‹ค์–‘ํ•œ ์„ค์ •์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž ์ง€์ • ํ—ค๋”, ์ฟ ํ‚ค, ํ”„๋ก์‹œ ๋“ฑ ์—ฌ๋Ÿฌ ์˜ต์…˜์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ฝ”๋“œ์—์„œ ์“ธ ์ˆ˜ ์žˆ๋Š” ๊ฑฐ์˜ ๋ชจ๋“  ์˜ต์…˜์„ ํ„ฐ๋ฏธ๋„์—์„œ๋„ ์“ธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๊ทธ ๋ฐ–์˜ ๊ธฐ๋Šฅ...

๐Ÿ”ง ๊ธฐ์ˆ  ๊ฐœ์„  {#v0.3-technical-improvements}

์„ฑ๋Šฅ ๊ฐœ์„  {#v0.3-performance-enhancements}

  • Fetcher๊ฐ€ ์ด์ œ 4๋ฐฐ ๋น ๋ฆ…๋‹ˆ๋‹ค. ๋„ค, ์ œ๋Œ€๋กœ ์ฝ์œผ์…จ์Šต๋‹ˆ๋‹ค!
  • DynamicFetcher๊ฐ€ ์ด์ œ ์•ฝ 60% ๋น ๋ฆ…๋‹ˆ๋‹ค. ์„ค์ •์— ๋”ฐ๋ผ ํ›จ์”ฌ ๋นจ๋ผ์ง‘๋‹ˆ๋‹ค. ํŠนํžˆ ์Šคํ…”์Šค ๋ชจ๋“œ์—์„œ ๊ทธ๋ ‡์Šต๋‹ˆ๋‹ค.
  • StealthyFetcher๊ฐ€ ์ด์ œ 20โ€“30% ๋น ๋ฆ…๋‹ˆ๋‹ค. ์ƒˆ ๊ตฌ์กฐ๋ฅผ ์‚ฌ์šฉํ•˜๊ณ  Camoufox Python ์ธํ„ฐํŽ˜์ด์Šค ๋Œ€์‹  ์ž์ฒด ๊ตฌํ˜„์„ ์‚ฌ์šฉํ•˜๊ธฐ ์‹œ์ž‘ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์ฃผ์š” ์„ ํƒ ๋ฉ”์„œ๋“œ(find_by_text, find_similar, find_by_regex, relocate ๋“ฑ)์˜ ์ „์ฒด ์†๋„๊ฐ€ 50%+ ํ–ฅ์ƒ๋์Šต๋‹ˆ๋‹ค. ๐Ÿš€
  • ์ฒซ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ˜ํ™˜ํ•˜๋Š” CSS/XPath ๋ฉ”์„œ๋“œ์˜ ์†๋„๊ฐ€ ์•ฝ 10% ํ–ฅ์ƒ๋์Šต๋‹ˆ๋‹ค. css_first์™€ xpath_first๊ฐ€ ์ด์ œ css์™€ xpath๋ณด๋‹ค ๋น ๋ฆ…๋‹ˆ๋‹ค.
  • ์ฝ˜ํ…์ธ  ์ถ”์ถœ์— ์“ฐ๋Š” get_all_text() ๋ฉ”์„œ๋“œ๊ฐ€ 40% ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค.
  • ์ ์‘ํ˜• ๊ธฐ๋Šฅ์œผ๋กœ ์š”์†Œ๋ฅผ ๋‹ค์‹œ ์ฐพ๋Š” ์†๋„๊ฐ€ 20% ํ–ฅ์ƒ๋์Šต๋‹ˆ๋‹ค.
  • ํƒ์ƒ‰ ์†์„ฑ ์ตœ์ ํ™”: next, previous, below_elements ๋“ฑ์˜ ์†์„ฑ์ด ๋ˆˆ์— ๋„๊ฒŒ ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค.
  • ํ…์ŠคํŠธ ์ •๋ฆฌ ์ž‘์—…์ด 5๋ฐฐ ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค.
  • ๊ฐ€์ ธ์˜ค๊ธฐ ๊ตฌ๋ฌธ์„ ์ตœ์ ํ™”ํ•˜๊ณ  ๋ถ€๊ฐ€ ์ž‘์—…์„ ์ค„์—ฌ ๋ฉ”๋ชจ๋ฆฌ ํšจ์œจ์„ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • โšก ๋งค์šฐ ๋น ๋ฅธ ๊ฐ€์ ธ์˜ค๊ธฐ: ๋ชจ๋“ˆ ๋กœ๋”ฉ์„ ์ตœ์ ํ™”ํ•ด ์‹œ์ž‘ ์‹œ๊ฐ„์„ ์ค„์˜€์Šต๋‹ˆ๋‹ค.
  • ๋ฒค์น˜๋งˆํฌ ๊ฐœ์„ : ์†๋„ ๊ฐœ์„ ์œผ๋กœ Scrapling์ด ๋‹ค๋ฅธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์™€ ๋น„๊ตํ•ด ์ด์ „๋ณด๋‹ค ํ›จ์”ฌ ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค. BeautifulSoup๋ณด๋‹ค 1775๋ฐฐ, AutoScraper๋ณด๋‹ค 5.1๋ฐฐ ๋น ๋ฆ…๋‹ˆ๋‹ค. ๋ฒค์น˜๋งˆํฌ๋ฅผ ํ™•์ธํ•˜์„ธ์š”.

๊ตฌ์กฐ, ์ฝ”๋“œ ํ’ˆ์งˆ ๋ฐ ์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.3-architecture-code-quality-and-quality-of-life}

  • ์˜๊ตฌ ์ปจํ…์ŠคํŠธ: ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ € ๊ธฐ๋ฐ˜ Fetcher๊ฐ€ ์ด์ œ ๊ธฐ๋ณธ์ ์œผ๋กœ ์˜๊ตฌ ์ปจํ…์ŠคํŠธ๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. (#64๋„ ํ•ด๊ฒฐํ•ฉ๋‹ˆ๋‹ค.)
  • msgspec์œผ๋กœ ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ € ๊ธฐ๋ฐ˜ Fetcher์˜ ์„ค์ •์„ ๋น ๋ฅด๊ฒŒ ๊ฒ€์ฆํ•ฉ๋‹ˆ๋‹ค. ์š”์ฒญ์„ ์‹คํ–‰ํ•˜๊ธฐ ์ „์— ๊ฒ€์ฆํ•˜๋ฏ€๋กœ ์˜ค๋ฅ˜๋ฅผ ๋” ์‰ฝ๊ฒŒ ์ฐพ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • Fetcher๊ฐ€ ๋ฐ˜ํ™˜ํ•˜๋Š” ๋ชจ๋“  ์ฟ ํ‚ค๊ฐ€ ์ด์ œ ํ•ด๋‹น Fetcher์—์„œ ๋ฐ›๋Š” ํ˜•์‹๊ณผ ์ผ์น˜ํ•ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์ฟ ํ‚ค๋ฅผ ๊ฐ€์ ธ์˜จ ๋’ค ๋ชจ๋“  Fetcher์™€ ํ•ด๋‹น ์„ธ์…˜ ํด๋ž˜์Šค์— ๋‹ค์‹œ ์ „๋‹ฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ruff๋กœ ์ „ํ™˜ํ•ด ๋ฆฐํŠธ ๊ฒ€์‚ฌ์™€ ์„œ์‹ ์ง€์ •์ด ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค.
  • ํ˜„๋Œ€์ ์ธ ๋นŒ๋“œ ์‹œ์Šคํ…œ: setup.py์—์„œ pyproject.toml๋กœ ์ „ํ™˜ํ–ˆ์Šต๋‹ˆ๋‹ค. ๐Ÿ“ฆ
  • GitHub Actions์™€ ์›Œํฌํ”Œ๋กœ๋ฅผ ๊ฐœ์„ ํ•ด ๊ฐœ๋ฐœ๊ณผ ํ…Œ์ŠคํŠธ๋ฅผ ๋” ์›ํ™œํ•˜๊ฒŒ ์ง„ํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๐ŸŽจ ํƒ€์ž… ํžŒํŠธ ๊ฐœ์„ : ์ตœ์‹  Python ํ‘œ์ค€์œผ๋กœ ๋ชจ๋“  ํƒ€์ž…์„ ํ‘œ์‹œํ•ด IDE ์ง€์›๊ณผ ์•ˆ์ •์„ฑ์„ ๋†’์˜€์Šต๋‹ˆ๋‹ค.
  • ๋” ๊น”๋”ํ•œ ์ฝ”๋“œ: ์‚ฌ์šฉํ•˜์ง€ ์•Š๋Š” ์ฝ”๋“œ๋ฅผ ์ œ๊ฑฐํ•˜๊ณ  ํ•ต์‹ฌ ํ•จ์ˆ˜๋ฅผ ์ตœ์ ํ™”ํ–ˆ์Šต๋‹ˆ๋‹ค. ๐Ÿงน
  • ๐Ÿš€ ํ•˜์œ„ ํ˜ธํ™˜์„ฑ: ์ด์ „ ์ฝ”๋“œ์™€์˜ ํ˜ธํ™˜์„ฑ์„ ์œ ์ง€ํ•˜๋Š” ๋‹จ์ถ• ๊ธฐ๋Šฅ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.

ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.3-breaking-changes}

์ตœ์†Œ Python ๋ฒ„์ „ {#v0.3-minimum-python-version}

  • Python 3.10+ ํ•„์š”: Python 3.9 ์ดํ•˜ ๋ฒ„์ „์˜ ์ง€์›์„ ์ค‘๋‹จํ–ˆ์Šต๋‹ˆ๋‹ค.

ํด๋ž˜์Šค์™€ ๋ฉ”์„œ๋“œ ์ด๋ฆ„ {#v0.3-class-and-method-naming}

ํŠนํžˆ ์ƒˆ ์‚ฌ์šฉ์ž๊ฐ€ ๋” ์‰ฝ๊ฒŒ ์ดํ•ดํ•˜๊ณ  ์ผ๊ด€๋˜๊ฒŒ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋„๋ก ์ด๋ฆ„์„ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค.

  • Adaptor โ†’ Selector: ํ•ต์‹ฌ ํŒŒ์‹ฑ ํด๋ž˜์Šค์˜ ์ด๋ฆ„์„ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค. ํ•˜์œ„ ํ˜ธํ™˜์„ฑ์„ ์œ„ํ•ด Adaptor๋กœ๋„ ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • Adaptors โ†’ Selectors: ์ปฌ๋ ‰์…˜ ํด๋ž˜์Šค์˜ ์ด๋ฆ„์„ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค. ํ•˜์œ„ ํ˜ธํ™˜์„ฑ์„ ์œ„ํ•ด Adaptors๋กœ๋„ ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • auto_match โ†’ adaptive: ๋ชจ๋“  ๋ฉ”์„œ๋“œ์—์„œ ์ธ์ˆ˜ ์ด๋ฆ„์„ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค.
  • adaptor_arguments โ†’ selector_config: ์„ค์ • ์ธ์ˆ˜์˜ ์ด๋ฆ„์„ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค.
  • automatch_domain โ†’ adaptive_domain: ๋„๋ฉ”์ธ ์ธ์ˆ˜์˜ ์ด๋ฆ„์„ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค.
  • additional_arguments โ†’ additional_args: ์ธ์ˆ˜ ์ด๋ฆ„์„ ์ค„์˜€์Šต๋‹ˆ๋‹ค.
  • โš ๏ธ text/body โ†’ content: Selector ์ƒ์„ฑ์ž ์ธ์ˆ˜๊ฐ€ ์ด์ œ str๊ณผ bytes ํ˜•์‹์„ ๋ชจ๋‘ ๋ฐ›์Šต๋‹ˆ๋‹ค.
  • PlayWrightFetcher โ†’ DynamicFetcher: ๋ธŒ๋ผ์šฐ์ € ์ž๋™ํ™” ํด๋ž˜์Šค์˜ ์ด๋ฆ„์„ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค. ํ•˜์œ„ ํ˜ธํ™˜์„ฑ์„ ์œ„ํ•ด PlayWrightFetcher๋กœ๋„ ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • DynamicFetcher์—์„œ NSTBrowser ๋กœ์ง๊ณผ ์ธ์ˆ˜๋ฅผ ์ œ๊ฑฐํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ์ด ๋กœ์ง์„ ๋‚จ๊ฒจ๋‘˜ ์ด์œ ๊ฐ€ ์—†๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค.
  • StealthyFetcher์˜ headless ์ธ์ˆ˜์— ๋” ์ด์ƒ 'virtual'์„ ์ „๋‹ฌํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค. ์ด์ œ Camoufox ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” ๋ธŒ๋ผ์šฐ์ € ์„ค์น˜ ๊ฒฝ๋กœ์™€ ๋‚˜๋จธ์ง€ ์‹คํ–‰ ์˜ต์…˜์„ ๊ฐ€์ ธ์˜ค๋Š” ์šฉ๋„๋กœ๋งŒ ์‚ฌ์šฉํ•˜๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค.

๐Ÿ› ๋ฒ„๊ทธ ์ˆ˜์ • {#v0.3-bug-fixes}

  • get_all_text์—์„œ ๋ฌด์‹œํ•˜๋Š” ํƒœ๊ทธ ์•ˆ์— ์ค‘์ฒฉ๋œ ์ž์‹ ์š”์†Œ๋ฅผ ์„ธ๋Š” ๋ฐฉ์‹์„ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. (#61)
  • Python ์‹คํ–‰ ํŒŒ์ผ ๊ฒฝ๋กœ์— ๊ณต๋ฐฑ์ด ์žˆ์œผ๋ฉด ์„ค์น˜์— ๋ฌธ์ œ๊ฐ€ ์ƒ๊ธฐ๋Š” ์˜ค๋ฅ˜๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. (#57)
  • ์ ์‘ํ˜• ๊ธฐ๋Šฅ์„ ์ผฐ์„ ๋•Œ ์ €์žฅ์†Œ์˜ ์žฌ๊ท€ ์ฒ˜๋ฆฌ์—์„œ ์ƒ๊ธฐ๋Š” ์Šค๋ ˆ๋“œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ–ˆ์Šต๋‹ˆ๋‹ค.
  • FetcherSession์— Sentinel ํŒจํ„ด์„ ์‚ฌ์šฉํ•ด ์ธ์ˆ˜ ์šฐ์„ ์ˆœ์œ„ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • StealthyFetcher์˜ ํ”„๋ก์‹œ ํƒ€์ž… ์ฒ˜๋ฆฌ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ–ˆ์Šต๋‹ˆ๋‹ค.
  • referer์™€ google_search ์ธ์ˆ˜์˜ ์ถฉ๋Œ์„ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ๋น„๋™๊ธฐ ์Šคํ…”์Šค ์Šคํฌ๋ฆฝํŠธ ์‚ฝ์ž… ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.2.99 - 2025-04-08 {#v0.2.99}

Scrapling์˜ ๊ธฐ๋Šฅ์„ ์˜จ์ „ํžˆ ์‚ฌ์šฉํ•˜๋ ค๋ฉด ๊ผญ ํ•„์š”ํ•œ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค.

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.99-what-s-changed}

์ „์ฒด ๋ฌธ์„œ๋ฅผ ๋‹ด์€ ์ƒˆ ์›น์‚ฌ์ดํŠธ {#v0.2.99-new-full-documentation-website}

  • ๋“œ๋””์–ด ์™„์„ฑํ–ˆ์Šต๋‹ˆ๋‹ค. ๐Ÿ˜„ ์—ฌ๊ธฐ์—์„œ ํ™•์ธํ•˜์„ธ์š”.

Fetcher ๊ฐ€์ ธ์˜ค๊ธฐ ๋ฐฉ์‹ ํ†ต์ผ {#v0.2.99-unified-import-logic-for-fetchers}

  • ์ด์ œ from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher, PlayWrightFetcher๋กœ ๋ชจ๋“  Fetcher๋ฅผ ๊ฐ€์ ธ์˜จ ๋’ค, ๊ฐ์ฒด๋ฅผ ๋งŒ๋“ค์ง€ ์•Š๊ณ  page = Fetcher.get(...)์ฒ˜๋Ÿผ ๋ฐ”๋กœ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
    ๊ธฐ์กด์˜ from scrapling.defaults import Fetcher, AsyncFetcher, StealthyFetcher, PlayWrightFetcher๋ฅผ ๋Œ€์ฒดํ•ฉ๋‹ˆ๋‹ค.

ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ: automatch๊ฐ€ ์ด์ œ ๊ธฐ๋ณธ์ ์œผ๋กœ ๊บผ์ง‘๋‹ˆ๋‹ค {#v0.2.99-breaking-change-automatch-is-now-turned-off-by-default}

  • Fetcher์—์„œ automatch๋ฅผ ์ผœ๊ฑฐ๋‚˜ ๋‹ค๋ฅธ ํŒŒ์‹ฑ ์˜ต์…˜์„ ์„ค์ •ํ•˜๋Š” ์ƒˆ ๋ฐฉ์‹์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ž์„ธํ•œ ๋‚ด์šฉ์€ ๋ฌธ์„œ ํŽ˜์ด์ง€๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”.

    ํ•˜์œ„ ํ˜ธํ™˜์„ฑ์„ ์œ„ํ•ด ๊ธฐ์กด ๊ฐ€์ ธ์˜ค๊ธฐ ๊ตฌ๋ฌธ๊ณผ ๋กœ์ง๋„ ๊ฒฝ๊ณ ์™€ ํ•จ๊ป˜ ๊ณ„์† ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Fetcher์— ์ƒˆ ์˜ต์…˜ ์ถ”๊ฐ€ {#v0.2.99-new-options-added-to-fetchers}

  • StealthyFetcher์™€ PlayWrightFetcher ๋ชจ๋‘ ํŽ˜์ด์ง€๋ฅผ ๊ฐ€์ ธ์˜ฌ ๋•Œ ์“ฐ๋Š” ์ƒˆ ์ธ์ˆ˜ wait๋ฅผ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ํŽ˜์ด์ง€๋ฅผ ๋‹ซ๊ณ  ์‘๋‹ต์„ ๋ฐ˜ํ™˜ํ•˜๊ธฐ ์ „์— ์ง€์ •ํ•œ ์‹œ๊ฐ„(๋ฐ€๋ฆฌ์ดˆ)๋งŒํผ ๊ธฐ๋‹ค๋ฆฝ๋‹ˆ๋‹ค.
  • ์ด์ œ StealthyFetcher์˜ fetch์™€ async_fetch ๋ฉ”์„œ๋“œ๊ฐ€ additional_arguments ์ธ์ˆ˜๋ฅผ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. Camoufox์— ์ถ”๊ฐ€ ์„ค์ •์œผ๋กœ ์ „๋‹ฌํ•˜๋ฉฐ Scrapling ์„ค์ •๋ณด๋‹ค ์šฐ์„ ํ•ฉ๋‹ˆ๋‹ค. (#54)

๋ฒ„๊ทธ ์ˆ˜์ • {#v0.2.99-bugs-squashed}

  • async_fetch์—์„œ ๋ฆฌ๋””๋ ‰์…˜์„ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. StealthyFetcher์™€ PlayWrightFetcher ํด๋ž˜์Šค ๋ชจ๋‘์— ํ•ด๋‹นํ•ฉ๋‹ˆ๋‹ค.

๋ชจ๋“  ์‘์›๊ณผ ๊ธฐ๋ถ€์— ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค!

v0.2.98 - 2025-03-17 {#v0.2.98}

Scrapling์˜ ๊ธฐ๋Šฅ์„ ์˜จ์ „ํžˆ ์‚ฌ์šฉํ•˜๋ ค๋ฉด ๊ผญ ํ•„์š”ํ•œ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค.

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.98-what-s-changed}

๋‹ค์–‘ํ•œ ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰ ๋ฐ ์†๋„ ์ตœ์ ํ™” {#v0.2.98-various-memory-usage-and-speed-optimizations}

  • ๋ชจ๋“  ์„ ํƒ ๋ฉ”์„œ๋“œ์˜ ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰์ด ์ด์ „์˜ ์•ฝ 40%๋กœ ์ค„์—ˆ๊ณ  ์†๋„๋„ ์กฐ๊ธˆ ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค.
  • ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์˜ ๋ชจ๋“  ํ•˜์œ„ ๋ชจ๋“ˆ์— ์ง€์—ฐ ๋กœ๋”ฉ์„ ์ ์šฉํ•ด ์‚ฌ์šฉํ•˜๋Š” ๋ถ€๋ถ„๋งŒ ๋กœ๋“œํ•ฉ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค. ์—…๋ฐ์ดํŠธ ์ „์—๋Š” from scrapling import Adaptor๋ฅผ ์‹คํ–‰ํ•˜๋ฉด ๋ชจ๋“  Fetcher ๋“ฑ๋„ ํ•จ๊ป˜ ๋กœ๋“œ๋˜์–ด RAM์„ 30-40mb ์‚ฌ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ๋Š” ~1.2mb๋งŒ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.
  • ์ง€๋‚œ ์—…๋ฐ์ดํŠธ์—์„œ๋Š” ํฐ ์š”์ฒญ ํ’€์„ ์‚ฌ์šฉํ•  ๋•Œ ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰์„ ์ด์ „์˜ ์•ฝ 32%๋กœ ์ค„์˜€์Šต๋‹ˆ๋‹ค. ์ด๋ฒˆ์—๋Š” ์บ์‹œ๋ฅผ ๋” ์กฐ์ •ํ•ด ๊ทธ๋ณด๋‹ค ์ ๊ฒŒ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.
  • ํŒŒ์„œ์˜ ์ „์ฒด ์†๋„๊ฐ€ 2-5% ์ •๋„ ํ–ฅ์ƒ๋์Šต๋‹ˆ๋‹ค.

๋ชจ๋“  ์‘์›๊ณผ ๊ธฐ๋ถ€์— ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค!

v0.2.97 - 2025-03-15 {#v0.2.97}

Scrapling์˜ ๊ธฐ๋Šฅ์„ ์˜จ์ „ํžˆ ์‚ฌ์šฉํ•˜๋ ค๋ฉด ๊ผญ ํ•„์š”ํ•œ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค.

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.97-what-s-changed}

๋ชจ๋“  Fetcher์˜ ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰ ๊ฐ์†Œ ๋ฐ ์†Œํญ ์†๋„ ํ–ฅ์ƒ {#v0.2.97-lower-memory-usage-and-small-speed-increase-across-all-fetchers}

  • ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์ „๋ฐ˜์— ์บ์‹œ ํฌ๊ธฐ ์ œํ•œ์„ ์ƒˆ๋กœ ์ ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค. ๋งŽ์€ ์š”์ฒญ์ด๋‚˜ ์ž‘์—…์„ ์ฒ˜๋ฆฌํ•  ๋•Œ ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰์ด ๋ˆˆ์— ๋„๊ฒŒ ์ค„์–ด๋“ญ๋‹ˆ๋‹ค.
  • Fetcher ์ฝ”๋“œ์˜ ๋งŽ์€ ๋ถ€๋ถ„์„ ์ •๋ฆฌํ•ด ์œ ์ง€๋ณด์ˆ˜๋ฅผ ์‰ฝ๊ฒŒ ํ•˜๊ณ  ์†๋„๋ฅผ ์กฐ๊ธˆ ๋†’์˜€์Šต๋‹ˆ๋‹ค.

๋ฒ„๊ทธ ์ˆ˜์ • {#v0.2.97-bugs-fixed}

  • TextHandler๋งŒ ๊ฐ€์ ธ์™€ ๋ฌธ์ž์—ด์ด ์•„๋‹Œ ๊ฐ’์„ ์ „๋‹ฌํ•˜๋ฉด ๋นˆ ๋ฌธ์ž์—ด๋กœ ๋ฐ”๋€Œ๋˜ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ TextHandler์— ์ „๋‹ฌํ•œ ๊ฐ’์€ ๋จผ์ € ๋ฌธ์ž์—ด๋กœ ๋ฐ”๋€ ๋‹ค์Œ TextHandler๋กœ ๋ณ€ํ™˜๋ฉ๋‹ˆ๋‹ค. ์–ด๋–ค ๊ฐ’์ด๋“  ์ด ๊ณผ์ •์„ ๊ฑฐ์นฉ๋‹ˆ๋‹ค. TextHandler๋Š” ์ด๋ฆ„ ๊ทธ๋Œ€๋กœ ๋ฌธ์ž์—ด๋งŒ ๋‹ค๋ฃจ๋Š” ํด๋ž˜์Šค์ž…๋‹ˆ๋‹ค! (#45)
  • ๋Œ€๋ถ€๋ถ„์˜ AsyncFetcher ๋ฉ”์„œ๋“œ์—์„œ retries ์ธ์ˆ˜๊ฐ€ ๋ฐ˜์˜๋˜์ง€ ์•Š๋˜ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

๊ธฐํƒ€ {#v0.2.97-miscellaneous}

  • ๋ชจ๋“  Fetcher์—์„œ ๋Œ€๋ถ€๋ถ„์˜ ์ธ์ˆ˜์— ๋Œ€ํ•œ ํƒ€์ž… ํžŒํŠธ๋ฅผ ๋” ๋ช…ํ™•ํ•˜๊ณ  ์ •ํ™•ํ•˜๊ฒŒ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค.

๋ชจ๋“  ์‘์›๊ณผ ๊ธฐ๋ถ€์— ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค!

v0.2.96 - 2025-03-05 {#v0.2.96}

Scrapling์˜ ๊ธฐ๋Šฅ์„ ์˜จ์ „ํžˆ ์‚ฌ์šฉํ•˜๋ ค๋ฉด ๊ผญ ํ•„์š”ํ•œ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค.

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.96-what-s-changed}

  1. -f ์˜ต์…˜์„ scrapling install์— ์ถ”๊ฐ€ํ•ด ๋ธŒ๋ผ์šฐ์ € ์˜์กด ํŒจํ‚ค์ง€๋ฅผ ๊ฐ•์ œ๋กœ ๋‹ค์‹œ ์„ค์น˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ง€๊ธˆ scrapling install -f๋ฅผ ์‹คํ–‰ํ•˜๋Š” ๊ฒƒ์„ ๊ถŒ์žฅํ•ฉ๋‹ˆ๋‹ค. ์ƒˆ Camoufox ๋ธŒ๋ผ์šฐ์ € ๋ฒ„์ „์œผ๋กœ StealthyFetcher๊ฐ€ ํ›จ์”ฌ ๋นจ๋ผ์ง„ ๊ฒƒ์„ ๋А๋‚„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. :)
  2. TextHandler๋ฅผ ์Šฌ๋ผ์ด์‹ฑํ•˜๋ฉด TextHandlers๊ฐ€ ๋ฐ˜ํ™˜๋˜๋˜ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ TextHandler๋ฅผ ๋ฐ˜ํ™˜ํ•˜๋ฉฐ ๊ด€๋ จ ํƒ€์ž… ํžŒํŠธ๋„ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. (#41)
  3. scrapling install์ด ์ผ๋ถ€ ์ƒํ™ฉ์—์„œ Python ์…ธ์„ ์—ด๋˜ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค!

v0.2.95 - 2025-02-25 {#v0.2.95}

Scrapling์˜ ๊ธฐ๋Šฅ์„ ์˜จ์ „ํžˆ ์‚ฌ์šฉํ•˜๋ ค๋ฉด ๊ผญ ํ•„์š”ํ•œ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค.

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.95-what-s-changed}

  1. Fetcher์—์„œ stealthy_headers ์ธ์ˆ˜๋กœ ์ƒ์„ฑํ•œ ํ—ค๋”๊ฐ€ Accept ๋“ฑ ์‚ฌ์šฉ์ž๊ฐ€ ์ง€์ •ํ•œ ์ผ๋ถ€ ํ—ค๋”๋ฅผ ๋ฎ์–ด์“ฐ๋˜ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. (#39)
  2. ํ—ค๋” ์ƒ์„ฑ ๋กœ์ง์„ ์กฐ๊ธˆ ๊ฐœ์„ ํ•ด ์†๋„๋„ ์•ฝ๊ฐ„ ๋นจ๋ผ์งˆ ๊ฒƒ์ž…๋‹ˆ๋‹ค.

v0.2.94 - 2025-02-22 {#v0.2.94}

Scrapling์˜ ๊ธฐ๋Šฅ์„ ์˜จ์ „ํžˆ ์‚ฌ์šฉํ•˜๋ ค๋ฉด ๊ผญ ํ•„์š”ํ•œ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค.

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.94-what-s-changed}

  1. ๋ฆฌ๋””๋ ‰์…˜์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ๋„๋ก ๋ชจ๋“  Fetcher์— history ์†์„ฑ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. (#32)
  2. case_sensitive ์ธ์ˆ˜์˜ ๋กœ์ง์„ ๋ชจ๋“  re/re_first์—์„œ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด ์ธ์ˆ˜๋ฅผ ์‚ฌ์šฉํ–ˆ๋‹ค๋ฉด ์ฝ”๋“œ๊ฐ€ ๋‹ค๋ฅธ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ˜ํ™˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. (์ œ๋Œ€๋กœ ์ž‘๋™ํ•˜์ง€ ์•Š๋Š” ๊ฒƒ์„ ์•Œ๋ฉด์„œ ์ด์Šˆ๋ฅผ ์—ด์ง€ ์•Š์œผ์…จ์œผ๋‹ˆ ์–ด์ฉ” ์ˆ˜ ์—†์ฃ . ใ…Žใ…Ž)
  3. ์˜์กด ํŒจํ‚ค์ง€๋ฅผ ์—…๋ฐ์ดํŠธํ•˜๊ณ  Camoufox ์—”์ง„(StealthyFetcher)์—์„œ coop์„ ๋‹ค์‹œ ์ผฐ์Šต๋‹ˆ๋‹ค.

v0.2.93 - 2025-01-31 {#v0.2.93}

Scrapling์˜ ๊ธฐ๋Šฅ์„ ์˜จ์ „ํžˆ ์‚ฌ์šฉํ•˜๋ ค๋ฉด ๊ผญ ํ•„์š”ํ•œ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค.

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.93-what-s-changed}

  1. ํŒŒ์‹ฑ ์—”์ง„ ์ „์ฒด์˜ ๋ฐ˜ํ™˜ ํƒ€์ž…์„ ํ†ต์ผํ–ˆ์Šต๋‹ˆ๋‹ค. ํ•ญ์ƒ Adaptor, Adaptors, TextHandler, TextHandlers, None ์ค‘ ํ•˜๋‚˜๋ฅผ ๋ฐ˜ํ™˜ํ•˜๋ฉฐ, CSS ์„ ํƒ์ž๋ฅผ ์กฐํ•ฉํ•œ ๊ฒฝ์šฐ์ฒ˜๋Ÿผ ๊ฒฐ๊ณผ๊ฐ€ ์„ž์—ฌ ์žˆ์œผ๋ฉด ๋ฆฌ์ŠคํŠธ๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ํƒ€์ž…์„ ์ง์ ‘ ํ™•์ธํ•˜๋Š” ์ž‘์—…์„ ์ค„์—ฌ ์ฝ”๋“œ๋ฅผ ๋” ํŽธํ•˜๊ฒŒ ์ž‘์„ฑํ•˜๊ณ , ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ๋” ์•ˆ์ •์ ์œผ๋กœ ์‚ฌ์šฉํ•˜๋ฉฐ, ๋ฉ”์„œ๋“œ๋ฅผ ํ•ญ์ƒ ์ด์–ด์„œ ํ˜ธ์ถœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  2. ํŒŒ์‹ฑ ์—”์ง„ ๋Œ€๋ถ€๋ถ„, ํŠนํžˆ Adaptor ํด๋ž˜์Šค๋ฅผ ๋” ๊น”๋”ํ•˜๊ณ  ๋น ๋ฅด๊ฒŒ ์ •๋ฆฌํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ฑฐ์˜ ๋ชจ๋“  ๋ฉ”์„œ๋“œ์™€ ์†์„ฑ, ํŠนํžˆ ๊ฒ€์ƒ‰ ๋ฉ”์„œ๋“œ์˜ ์†๋„๊ฐ€ 5-40% ํ–ฅ์ƒ๋์Šต๋‹ˆ๋‹ค. ์ผ๋ถ€ ๋ฉ”์„œ๋“œ๋Š” ๋” ํฌ๊ฒŒ ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค. find_by_regex๋Š” ์•ฝ 60% ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค! automatch ๊ธฐ๋Šฅ๋„ ์•ฝ 5% ๋นจ๋ผ์กŒ์Šต๋‹ˆ๋‹ค.
  3. find_all/find ๋ฉ”์„œ๋“œ๊ฐ€ ์ „๋‹ฌ๋ฐ›์€ ํ•„ํ„ฐ๋ฅผ ์–ด๋–ค ๋•Œ๋Š” OR๋กœ, ์–ด๋–ค ๋•Œ๋Š” AND๋กœ ์ ์šฉํ•˜๋˜ ๋กœ์ง ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ๋ฐ˜ํ™˜๋˜๋Š” ๋ชจ๋“  ์š”์†Œ๋Š” ์ „๋‹ฌํ•œ ๋ชจ๋“  ํ•„ํ„ฐ๋ฅผ ๋งŒ์กฑํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.
  4. ์ •๊ทœ์‹ ๊ด€๋ จ ๋ฉ”์„œ๋“œ๊ฐ€ ๋ชจ๋‘ TextHandler/TextHandlers๋ฅผ ๋ฐ˜ํ™˜ํ•ด ๋ฉ”์„œ๋“œ๋ฅผ ์‰ฝ๊ฒŒ ์ด์–ด์„œ ํ˜ธ์ถœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  5. ์ƒˆ๋กœ์šด below_elements ์†์„ฑ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. DOM ํŠธ๋ฆฌ์—์„œ ํ˜„์žฌ ์š”์†Œ ์•„๋ž˜์— ์žˆ๋Š” ๋ชจ๋“  ์š”์†Œ๋ฅผ ๋‹ด์€ Adaptors ๊ฐ์ฒด๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค.
  6. HTML ์†Œ์Šค๋ฅผ ๋ฌธ์ž์—ด๋กœ ๋ฐ˜ํ™˜ํ•˜๋˜ ๋ชจ๋“  ๋ฉ”์„œ๋“œ์™€ ์†์„ฑ์ด ์ด์ œ TextHandler๋กœ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ๊ฒฐ๊ณผ์— ์ •๊ทœ์‹์„ ์‰ฝ๊ฒŒ ์ ์šฉํ•˜๋Š” ๋“ฑ์˜ ์ž‘์—…์„ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  7. StealthyFetcher๊ฐ€ ์กฐ๊ธˆ ๋” ๋นจ๋ผ์กŒ๊ณ  ํƒ์ง€๋„ ๋” ์ž˜ ํ”ผํ•ฉ๋‹ˆ๋‹ค. Cloudflare Turnstile์ฒ˜๋Ÿผ iframe ์•ˆ์— ์žˆ๋Š” CAPTCHA๋„ ํด๋ฆญํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  8. ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์˜ ๊ฑฐ์˜ ์ ˆ๋ฐ˜์—์„œ ์ž๋™ ์™„์„ฑ๊ณผ ํƒ€์ž… ํžŒํŠธ๋ฅผ ํฌ๊ฒŒ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค. ํŠนํžˆ Adaptor, TextHandler, TextHandlers๋ฅผ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.
  9. TextHandler๋ฅผ ์Šฌ๋ผ์ด์‹ฑํ•˜๊ฑฐ๋‚˜ ์ธ๋ฑ์Šค๋กœ ์ ‘๊ทผํ•˜๊ฑฐ๋‚˜ split ๋ฉ”์„œ๋“œ๋ฅผ ์“ฐ๋ฉด ์ด์ œ ๋‹ค๋ฅธ TextHandler๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ํ‘œ์ค€ Python ๋ฌธ์ž์—ด์€ ๋ฐ˜ํ™˜ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๊ฑฐ์˜ ๋ชจ๋“  ํ‘œ์ค€ ๋ฌธ์ž์—ด ์—ฐ์‚ฐ๊ณผ ๋ฉ”์„œ๋“œ๊ฐ€ ์ผ๋ฐ˜ ๋ฌธ์ž์—ด ๋Œ€์‹  ๋‹ค๋ฅธ Texthandler๋ฅผ ๋ฐ˜ํ™˜ํ•˜๋ฏ€๋กœ ๋ฉ”์„œ๋“œ์™€ ํ•จ์ˆ˜๋ฅผ ํ•ญ์ƒ ์ด์–ด์„œ ํ˜ธ์ถœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  10. ์ž‘์€ ๋ฒ„๊ทธ์™€ ์˜คํƒ€๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด Fetcher์˜ async_put์ด put ์š”์ฒญ ๋Œ€์‹  post ์š”์ฒญ์„ ๋ณด๋‚ด๊ณ  ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค. ๐Ÿ˜ถโ€๐ŸŒซ๏ธ
  11. ๋ฌธ์„œ ์›น์‚ฌ์ดํŠธ๋ฅผ ์™„์„ฑํ•˜๊ธฐ ์ „์— README๋ฅผ ์กฐ๊ธˆ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.

์›๋ž˜๋Š” 0.3 ๋ฒ„์ „๊นŒ์ง€ ๊ธฐ๋‹ค๋ฆฌ๋Š” ๋™์•ˆ ์ž‘์€ ์—…๋ฐ์ดํŠธ๋งŒ ํ•˜๋ ค ํ–ˆ์ง€๋งŒ, ๋” ๋‚˜์€ ๋ฒ„์ „์œผ๋กœ ๋งŒ๋“ค๊ธฐ๋กœ ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.2.92 - 2024-12-26 {#v0.2.92}

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.92-what-s-changed}

  • ๋กœ๋“œํ•œ ํŽ˜์ด์ง€์— iframe์ด ๋งŽ์„ ๋•Œ ๋ธŒ๋ผ์šฐ์ € ๊ธฐ๋ฐ˜ Fetcher๊ฐ€ ๋ฐ˜ํ™˜ํ•˜๋Š” ์‘๋‹ต์€ ์ด์ œ ๋” ์‹ ๋ขฐํ•  ์ˆ˜ ์žˆ๋Š” ๋ฐ์ดํ„ฐ ์†Œ์Šค๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.
  • Scrapling ์„ค์น˜๊ฐ€ ๋” ์‰ฌ์›Œ์กŒ์Šต๋‹ˆ๋‹ค. pip๋กœ ์„ค์น˜ํ•œ ๋‹ค์Œ ํ„ฐ๋ฏธ๋„์—์„œ scrapling install์„ ์‹คํ–‰ํ•˜๋ฉด ์ค€๋น„๊ฐ€ ๋๋‚ฉ๋‹ˆ๋‹ค!
  • ํŒŒ์„œ์˜ ๋ถ€์ •ํ™•ํ•œ ํƒ€์ž… ํžŒํŠธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.2.91 - 2024-12-19 {#v0.2.91}

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.91-what-s-changed}

  • ํŽ˜์ด์ง€๋ฅผ ๊ฐ€์ ธ์™”๋‹ค๋Š” ๋กœ๊ทธ๊ฐ€ ์ฒซ ์š”์ฒญ์—์„œ๋งŒ ํ‘œ์‹œ๋˜๋˜ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • Playwright API๋Š” ๊ธฐ๋ณธ์ ์œผ๋กœ ํŽ˜์ด์ง€๋ฅผ ํƒ์ƒ‰ํ•  ๋•Œ goto ๋ฉ”์„œ๋“œ์— ์ง€์ •ํ•œ ๋กœ๋“œ ์ƒํƒœ ["load", "domcontentloaded", "networkidle"]๋ฅผ ๋งŒ์กฑํ•˜๋Š” ์ฒซ ์‘๋‹ต์„ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ Cloudflare์ฒ˜๋Ÿผ ๋Œ€๊ธฐ ํŽ˜์ด์ง€๋ฅผ ๊ฑฐ์ณ ์‹ค์ œ ์›น์‚ฌ์ดํŠธ๋กœ ์ด๋™ํ•˜๋ฉด Playwright๋Š” ์ฒซ ์ƒํƒœ ์ฝ”๋“œ๋ฅผ ๋ฐ˜ํ™˜ํ•˜๋ฉฐ, ์ด ์ฝ”๋“œ๋Š” 403์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฒˆ ์—…๋ฐ์ดํŠธ์—์„œ๋Š” Playwright API๋ฅผ ์‚ฌ์šฉํ•˜๋Š” PlaywrightFetcher์™€ StealthyFetcher ๋ชจ๋‘์—์„œ ์ด ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ๊ฒฐ๊ณผ๊ฐ€ Playwright์˜ ๊ธฐ๋ณธ ๋™์ž‘์— ์˜ํ–ฅ์„ ๋ฐ›์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • Fetcher ํด๋ž˜์Šค์— SOCKS ํ”„๋ก์‹œ ์ง€์›์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • wait_selector_state ์ธ์ˆ˜์˜ ํƒ€์ž… ํžŒํŠธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ์ž๋™ ์™„์„ฑ์—์„œ ์‹ค์ œ๋กœ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ๊ฐ’์ด ํ‘œ์‹œ๋ฉ๋‹ˆ๋‹ค.

v0.2.9 - 2024-12-16 {#v0.2.9}

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.9-what-s-changed}

์ƒˆ ๊ธฐ๋Šฅ {#v0.2.9-new-features}
  1. ์˜ค๋žซ๋™์•ˆ ๊ธฐ๋‹ค๋ ค์˜จ Scrapling์˜ ๋น„๋™๊ธฐ ์ง€์›์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค! AsyncFetcher๋Š” Fetcher์˜ ๋น„๋™๊ธฐ ๋ฒ„์ „์ž…๋‹ˆ๋‹ค. StealthyFetcher์™€ PlayWrightFetcher ๋ชจ๋‘ ๊ฐ™์€ ์˜ต์…˜์„ ์ง€์›ํ•˜๋Š” ์ƒˆ ๋ฉ”์„œ๋“œ async_fetch๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
>> from scrapling import StealthyFetcher
>> page = await StealthyFetcher().async_fetch('https://www.browserscan.net/bot-detection')  # the async version of fetch
>> page.status == 200
True
  1. StealthyFetcher ํด๋ž˜์Šค์˜ ๊ฐ€์ ธ์˜ค๊ธฐ ๋ฉ”์„œ๋“œ์— geoip ์ธ์ˆ˜๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ผœ๋ฉด IP ์ฃผ์†Œ์˜ ๊ฒฝ๋„, ์œ„๋„, ์‹œ๊ฐ„๋Œ€, ๊ตญ๊ฐ€, ๋กœ์บ˜์„ ์ž๋™์œผ๋กœ ์‚ฌ์šฉํ•˜๊ณ  WebRTC IP ์ฃผ์†Œ๋ฅผ ์œ„์žฅํ•ฉ๋‹ˆ๋‹ค. ๋Œ€์ƒ ์ง€์—ญ์˜ ์–ธ์–ด ์‚ฌ์šฉ์ž ๋ถ„ํฌ๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ ๋ธŒ๋ผ์šฐ์ € ์–ธ์–ด๋„ ๊ณ„์‚ฐํ•˜๊ณ  ์œ„์žฅํ•ฉ๋‹ˆ๋‹ค.

  2. retries ์ธ์ˆ˜๋ฅผ Fetcher/AsyncFetcher ํด๋ž˜์Šค์— ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ httpx๋กœ ๋ณด๋‚ด๋Š” ๊ฐ ์š”์ฒญ์˜ ์žฌ์‹œ๋„ ํšŸ์ˆ˜๋ฅผ ์„ค์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  3. url_join ๋ฉ”์„œ๋“œ๋ฅผ Adaptor์™€ Fetcher์— ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ƒ๋Œ€ URL์„ ํ˜„์žฌ URL๊ณผ ํ•ฉ์ณ ์™„์ „ํ•œ ์ ˆ๋Œ€ URL์„ ๋งŒ๋“ญ๋‹ˆ๋‹ค!

  4. keep_cdata ๋ฉ”์„œ๋“œ๋ฅผ Adaptor์™€ Fetcher์— ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ํ•„์š”ํ•  ๋•Œ ํŒŒ์„œ๊ฐ€ cdata๋ฅผ ์ œ๊ฑฐํ•˜์ง€ ์•Š๋„๋ก ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  5. ์ด์ œ Adaptor/Response์˜ body ๋ฉ”์„œ๋“œ๊ฐ€ ๊ฐ€๋Šฅํ•˜๋ฉด ์›๋ณธ HTML ์‘๋‹ต์„ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์—์„œ ์ฒ˜๋ฆฌํ•˜์ง€ ์•Š์€ ์‘๋‹ต์ž…๋‹ˆ๋‹ค.

  6. Response ํด๋ž˜์Šค์— ๋กœ๊น…์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ Fetcher๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ๋ฐ›์€ ์‘๋‹ต์˜ ์ •๋ณด๋ฅผ ๋กœ๊ทธ๋กœ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์˜ˆ:

    >> from scrapling.defaults import Fetcher
    >> Fetcher.get('https://books.toscrape.com/index.html')
    [2024-12-16 13:33:36] INFO: Fetched (200) <GET https://books.toscrape.com/index.html> (referer: https://www.google.com/search?q=toscrape)
    >>
    
  7. ์ด์ œ TextHandler์— .replace() ๊ฐ™์€ ํ‘œ์ค€ ๋ฌธ์ž์—ด ๋ฉ”์„œ๋“œ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ๋‹ค๋ฅธ TextHandler๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ์ด์ „์—๋Š” ํ‘œ์ค€ ๋ฌธ์ž์—ด์„ ๋ฐ˜ํ™˜ํ–ˆ์Šต๋‹ˆ๋‹ค.

  8. ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์ „๋ฐ˜์˜ ์†๋„๋ฅผ ํฌ๊ฒŒ ๊ฐœ์„ ํ•˜๊ณ  Fetcher ํด๋ž˜์Šค ์ „์ฒด์˜ ํƒ์ง€ ํšŒํ”ผ ์„ฑ๋Šฅ๋„ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.

  9. extract_first`extract`์ฒ˜๋Ÿผ ์›๋ž˜ ๊ฐ์ฒด์™€ ๊ฐ™์€ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ˜ํ™˜ํ•˜๋Š” ํ˜ธํ™˜์šฉ ํ•จ์ˆ˜๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด ํ•จ์ˆ˜๋“ค์€ Scrapy/Parsel์—์„œ ์“ฐ์ด๋ฏ€๋กœ, ํ•„์š”ํ•  ๋•Œ ๊ทธ ์ฝ”๋“œ๋ฅผ Scrapling์œผ๋กœ ์‰ฝ๊ฒŒ ์˜ฎ๊ธฐ๊ธฐ ์œ„ํ•ด์„œ๋งŒ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค!

  10. ์ฝ”๋“œ์˜ ๋งŽ์€ ๋ถ€๋ถ„์„ ์ •๋ฆฌํ•˜๊ณ  ํ•„์š”ํ•œ ๊ณณ์— ์บ์‹œ๋ฅผ ์ ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ์š”์ฒญ์„ ํ•œ๊บผ๋ฒˆ์— ๋งŽ์ด ๋ณด๋‚ด๋ฉด ์†๋„๊ฐ€ ํฌ๊ฒŒ ๋นจ๋ผ์ง‘๋‹ˆ๋‹ค.

ํ˜ธํ™˜์„ฑ์— ์˜ํ–ฅ์„ ์ฃผ๋Š” ๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.9-breaking-changes}
  • Python 3.8 ์ง€์›์„ ์ค‘๋‹จํ–ˆ์Šต๋‹ˆ๋‹ค. ์ฃผ๋œ ์ด์œ ๋Š” Playwright๊ฐ€ ์ง€์›์„ ์ค‘๋‹จํ–ˆ๊ธฐ ๋•Œ๋ฌธ์ด์ง€๋งŒ, ์›๋ž˜ ๋ฌธ์ œ๊ฐ€ ๋งŽ๋˜ ๋ฒ„์ „์ด๊ธฐ๋„ ํ•ฉ๋‹ˆ๋‹ค.

  • ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์ „์ฒด์—์„œ debug ์ธ์ˆ˜๋ฅผ ์ œ๊ฑฐํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ๋””๋ฒ„๊น… ๋ชจ๋“œ๋กœ ์„ค์ •ํ•˜๋ ค๋ฉด ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ๊ฐ€์ ธ์˜จ ๋’ค ๋‹ค์Œ ์ฝ”๋“œ๋ฅผ ์‹คํ–‰ํ•˜์„ธ์š”.

    >>> import logging
    >>> logging.getLogger("scrapling").setLevel(logging.DEBUG)
    
๋ฒ„๊ทธ ์ˆ˜์ • {#v0.2.9-bugs-squashed}
  1. ๋งŽ์€ ๋ณดํ˜ธ ์žฅ์น˜๊ฐ€ WebGL์˜ ํ™œ์„ฑํ™” ์—ฌ๋ถ€๋ฅผ ํ™•์ธํ•˜๋ฏ€๋กœ ์ด์ œ ๊ธฐ๋ณธ์ ์œผ๋กœ ์ผœ์ง‘๋‹ˆ๋‹ค.
  2. ๋ฌธ์„œ์™€ README์˜ ์ผ๋ถ€ ์ž˜๋ชป๋œ ๋‚ด์šฉ๊ณผ ์˜คํƒ€๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.2.9-quality-of-life-changes}
  1. ๋ชจ๋“  ๋กœ๊น…์„ scrapling์ด๋ผ๋Š” ๋กœ๊ฑฐ๋กœ ํ†ต์ผํ•ด ๋” ์‰ฝ๊ณ  ๊น”๋”ํ•˜๊ฒŒ ์ œ์–ดํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด์ „์—๋Š” ๋ฃจํŠธ ๋กœ๊ฑฐ๋ฅผ ์‚ฌ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค.
  2. ํ…Œ์ŠคํŠธ ํด๋”๋ฅผ ๋” ๊น”๋”ํ•˜๊ฒŒ ๊ตฌ์„ฑํ•˜๊ณ  ์ƒˆ ๊ธฐ๋Šฅ์˜ ํ…Œ์ŠคํŠธ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ชจ๋“  ํ…Œ์ŠคํŠธ๋ฅผ ๋” ๊น”๋”ํ•˜๊ฒŒ ๋‹ค์‹œ ์ž‘์„ฑํ–ˆ์œผ๋ฉฐ, ๋” ๋งŽ์€ ์ฝ”๋“œ๋ฅผ ํ™•์ธํ•˜๋„๋ก ํ…Œ์ŠคํŠธ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
  3. ์ฝ”๋“œ์˜ ๋งŽ์€ ๋ถ€๋ถ„์„ ๋” ๊น”๋”ํ•˜๊ณ  ์œ ์ง€๋ณด์ˆ˜ํ•˜๊ธฐ ์‰ฝ๊ฒŒ ์ •๋ฆฌํ–ˆ์Šต๋‹ˆ๋‹ค.

์ด ๋ณ€๊ฒฝ ์‚ฌํ•ญ์€ ์›๋ž˜ 0.3์— ๋„ฃ์œผ๋ ค๋˜ ๋‚ด์šฉ์ž…๋‹ˆ๋‹ค. ๋‹ค์Œ ๋ฒ„์ „๊นŒ์ง€ ์‹œ๊ฐ„์ด ๊ฑธ๋ฆด ๊ฒƒ ๊ฐ™์•„ ์ด๋ฒˆ์— ๋„ฃ์—ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ์ž์„ธํ•œ ์„ค๋ช…์„ ๋‹ด์€ ๋ฌธ์„œ ์›น์‚ฌ์ดํŠธ๋ฅผ ์™„์„ฑํ•œ ๋’ค 0.3 ๋ฒ„์ „์„ ์ž‘์—…ํ•  ์˜ˆ์ •์ž…๋‹ˆ๋‹ค.

v0.2.8 - 2024-11-30 {#v0.2.8}

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.8-what-s-changed}

  • ์ฝ”๋“œ ์‚ฌ์šฉ์— ๊ผญ ํ•„์š”ํ•œ ํŽธ์˜ ๊ฐœ์„ ์„ ํ•˜๊ณ  ๊ธฐ๋ณธ README ํŒŒ์ผ์˜ ์˜คํƒ€๋ฅผ ์ˆ˜์ •ํ•œ ์ž‘์€ ์—…๋ฐ์ดํŠธ์ž…๋‹ˆ๋‹ค. (#20)

v0.2.7 - 2024-11-26 {#v0.2.7}

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.7-what-s-changed}

์ƒˆ ๊ธฐ๋Šฅ {#v0.2.7-new-features}
  • ์ด์ œ wait_selector ์ธ์ˆ˜๋ฅผ StealthyFetcher์™€ PlayWrightFetcher ํด๋ž˜์Šค์—์„œ ์‚ฌ์šฉํ•˜๋ฉด, Scrapling์ด ํ‰์†Œ์ฒ˜๋Ÿผ JS๊ฐ€ ์™„์ „ํžˆ ๋กœ๋“œ๋˜๊ณ  ์‹คํ–‰๋  ๋•Œ๊นŒ์ง€ ๋‹ค์‹œ ๊ธฐ๋‹ค๋ฆฝ๋‹ˆ๋‹ค. network_idle ์ธ์ˆ˜๋„ ์‚ฌ์šฉํ–ˆ๋‹ค๋ฉด ์ด ๊ณผ์ •์ด ๋๋‚œ ๋’ค ํ•ด๋‹น ์ƒํƒœ๋„ ๋‹ค์‹œ ๊ธฐ๋‹ค๋ฆฝ๋‹ˆ๋‹ค. ๋ฌผ๋ก  ๋ชจ๋“  ์ƒํƒœ๊ฐ€ ์ด๋ฏธ ์ถฉ์กฑ๋๋‹ค๋ฉด ๊ธฐ๋‹ค๋ฆฌ์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • ์ด์ œ StealthyFetcher์—์„œ disable_ads ์ธ์ˆ˜๋กœ ๊ด‘๊ณ ๋ฅผ ์ผœ๊ฑฐ๋‚˜ ๋Œ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ์˜ต์…˜์€ ๊ธฐ๋ณธ์ ์œผ๋กœ ์ผœ์ ธ ์žˆ์œผ๋ฉฐ ublock origin ํ™•์žฅ ๊ธฐ๋Šฅ์„ ์„ค์น˜ํ•ฉ๋‹ˆ๋‹ค.
  • ์ด์ œ PlayWrightFetcher๊ฐ€ ์‚ฌ์šฉํ•˜๋Š” ๋กœ์บ˜์„ locale ์ธ์ˆ˜๋กœ ์„ค์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ๋ณธ๊ฐ’์€ ์—ฌ์ „ํžˆ en-US์ž…๋‹ˆ๋‹ค.
  • ์ด์ œ Fetcher๋กœ ๋ณด๋‚ด๋Š” ๊ธฐ๋ณธ ์š”์ฒญ์— http://username:password@localhost:8030 ํ˜•์‹์˜ ํ”„๋ก์‹œ๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • PlayWrightFetcher์˜ ์Šคํ…”์Šค ๋ชจ๋“œ๋ฅผ ์กฐ๊ธˆ ๊ฐœ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค.
๋ฒ„๊ทธ ์ˆ˜์ • ๋ฐ ๊ฐœ์„  {#v0.2.7-bugs-squashed-improvements}
  1. ์ด์ œ PlayWrightFetcher ํด๋ž˜์Šค์—์„œ ํ”„๋ก์‹œ๋ฅผ ์ผœ๋Š” ๊ฒƒ์€ stealth ๋ชจ๋“œ์˜ ํ™œ์„ฑํ™” ์—ฌ๋ถ€์™€ ๊ด€๊ณ„์—†์Šต๋‹ˆ๋‹ค. ์•Œ๋ ค์ฃผ์‹  @AbdullahY36 ๋‹˜๊ป˜ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค.
  2. ์ด์ œ ResponseEncoding์ด ์‘๋‹ต์—์„œ ๋ฐ›์€ ์ธ์ฝ”๋”ฉ์„ ํ•ด๋‹น ํŽ˜์ด์ง€์— ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š”์ง€ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค. ๋ฐ›์€ ์ธ์ฝ”๋”ฉ์—์„œ ์˜ค๋ฅ˜๊ฐ€ ๋‚˜๋ฉด Scrapling์€ utf-8์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

v0.2.6 - 2024-11-24 {#v0.2.6}

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.6-what-s-changed}

์ƒˆ ๊ธฐ๋Šฅ {#v0.2.6-new-features}
  • ์ด์ œ PlayWrightFetcher๋Š” real_chrome ์ธ์ˆ˜๋ฅผ PlayWrightFetcher.fetch ํ•จ์ˆ˜์— ์ „๋‹ฌํ•ด ์‹ค์ œ ๋ธŒ๋ผ์šฐ์ €๋ฅผ ๋ฐ”๋กœ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Chrome์ด ์„ค์น˜๋˜์–ด ์žˆ์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. Scrapling์ด ์„ค์น˜๋œ Chrome์„ ์‹คํ–‰ํ•˜๋ฉฐ ๋Œ€๋ถ€๋ถ„์˜ ์˜ต์…˜์„ ํ‰์†Œ์ฒ˜๋Ÿผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด์ „์—๋Š” cdp_url ์ธ์ˆ˜๋กœ๋งŒ ๊ฐ€๋Šฅํ–ˆ์Šต๋‹ˆ๋‹ค.
  • ์‹ค์ œ ๋ธŒ๋ผ์šฐ์ €์šฉ์œผ๋กœ ์ƒ์„ฑํ•˜๋Š” ํ—ค๋”์˜ ๋ฒ„์ „์„ ๋†’์˜€์Šต๋‹ˆ๋‹ค.
๋ฒ„๊ทธ ์ˆ˜์ • {#v0.2.6-bugs-squashed}
  1. BrowserForge๊ฐ€ ์ƒ์„ฑํ•˜๋Š” ๋ธŒ๋ผ์šฐ์ € ํ—ค๋”์˜ ํ˜•์‹์ด ์˜ค๋ž˜๋˜์–ด ์ผ๋ถ€ ๋ณดํ˜ธ ์žฅ์น˜๊ฐ€ Scrapling์„ ํƒ์ง€ํ•œ๋‹ค๋Š” ๊ฒƒ์„ ์•Œ๊ฒŒ ๋์Šต๋‹ˆ๋‹ค. ์ด์ œ BrowserForge๋Š” ์‹ค์ œ ๋ธŒ๋ผ์šฐ์ €์˜ User-Agent๋ฅผ ์ƒ์„ฑํ•˜๋Š” ๋ฐ๋งŒ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.
  2. Google์˜ ReCaptcha๊ฐ€ ํƒ์ง€ํ•˜๋ฏ€๋กœ ์ด์ œ hide_canvas ์ธ์ˆ˜๋Š” ๊ธฐ๋ณธ์ ์œผ๋กœ ๊บผ์ ธ ์žˆ์Šต๋‹ˆ๋‹ค.

v0.2.5 - 2024-11-23 {#v0.2.5}

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.5-what-s-changed}

๋ฒ„๊ทธ ์ˆ˜์ • {#v0.2.5-bugs-squashed}
  • 'wait_selector' ์ธ์ˆ˜์— ๋งž๋Š” ์š”์†Œ๊ฐ€ 1๊ฐœ๋ณด๋‹ค ๋งŽ์„ ๋•Œ ์ƒ๊ธฐ๋Š” ์˜ค๋ฅ˜๋ฅผ ์ฒ˜๋ฆฌํ–ˆ์Šต๋‹ˆ๋‹ค. StealthyFetcher์™€ PlayWrightFetcher ํด๋ž˜์Šค์— ํ•ด๋‹นํ•ฉ๋‹ˆ๋‹ค.
  • content_type ํ—ค๋”์˜ ๊ฐ’์— charset ๊ฐ™์€ ๋งค๊ฐœ๋ณ€์ˆ˜๊ฐ€ ์žˆ์„ ๋•Œ ์ธ์ฝ”๋”ฉ ํƒ€์ž…์ด ์ž˜๋ชป๋˜๋˜ ๋ฌธ์ œ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. #12๋ฅผ ์•Œ๋ ค์ฃผ์‹  @andyfcx ๋‹˜๊ป˜ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค.
์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.2.5-quality-of-life}
  • ์ƒˆ๋กœ์šด ์ฝ”๋“œ ์˜์—ญ๋„ ํ™•์ธํ•˜๋„๋ก ํ…Œ์ŠคํŠธ๋ฅผ ์ถ”๊ฐ€ํ•˜๊ณ  ์Šค๋ ˆ๋“œ์—์„œ ํ…Œ์ŠคํŠธ๋ฅผ ์‹คํ–‰ํ•˜๊ฒŒ ํ–ˆ์Šต๋‹ˆ๋‹ค.
  • Sphinx์˜ apidoc์ด๋‚˜ ๋น„์Šทํ•œ ๋„๊ตฌ์—์„œ ์ œ๋Œ€๋กœ ์ฝ์„ ์ˆ˜ ์žˆ๋„๋ก docstring์„ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
์ƒˆ ๊ธฐ์—ฌ์ž {#v0.2.5-new-contributors}
  • @andyfcx ๋‹˜์ด #13 ์—์„œ ์ฒ˜์Œ ๊ธฐ์—ฌํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.2.4 - 2024-11-20 {#v0.2.4}

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.4-what-s-changed}

๋ฒ„๊ทธ ์ˆ˜์ • {#v0.2.4-bugs-squashed}
  • network_idle ์ธ์ˆ˜๋ฅผ ์‚ฌ์šฉํ•œ ๋’ค ์‘๋‹ต ๋ฐ”์ดํŠธ๋ฅผ ๊ฐ€์ ธ์˜ฌ ๋•Œ ์ƒ๊ธฐ๋Š” ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. StealthyFetcher์™€ PlayWrightFetcher ํด๋ž˜์Šค ๋ชจ๋‘์— ํ•ด๋‹นํ•ฉ๋‹ˆ๋‹ค.
    ์ด ๋ฒ„๊ทธ๋กœ ๋‹ค์Œ ์˜ค๋ฅ˜ ๋ฉ”์‹œ์ง€๊ฐ€ ํ‘œ์‹œ๋์Šต๋‹ˆ๋‹ค.

    Response.body: Protocol error (Network.getResponseBody): No resource with given identifier found
    
  • PlayWright API๊ฐ€ ์‘๋‹ต์— ๋นˆ ์ƒํƒœ ๋ฉ”์‹œ์ง€๋ฅผ ๋ฐ˜ํ™˜ํ•  ๋•Œ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ์ด๋Ÿฐ ๊ฒฝ์šฐ Scrapling์ด ์ƒํƒœ ๋ฉ”์‹œ์ง€๋ฅผ ์ง์ ‘ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. StealthyFetcher์™€ PlayWrightFetcher ํด๋ž˜์Šค ๋ชจ๋‘์— ํ•ด๋‹นํ•ฉ๋‹ˆ๋‹ค.

v0.2.3 - 2024-11-19 {#v0.2.3}

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.3-what-s-changed}

๋ฒ„๊ทธ ์ˆ˜์ • {#v0.2.3-bugs-squashed}
  • pip๋กœ ์„ค์น˜ํ•˜๋ฉด PlayWright Fetcher์˜ ์Šคํ…”์Šค ๋ชจ๋“œ๊ฐ€ ์ „ํ˜€ ์ž‘๋™ํ•˜์ง€ ์•Š๋˜ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.2.2 - 2024-11-16 {#v0.2.2}

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.2-what-s-changed}

์ƒˆ ๊ธฐ๋Šฅ {#v0.2.2-new-features}
  • ์ƒ์„ฑ๋˜๋Š” Adaptor ๊ฐ์ฒด์— ์ธ์ˆ˜๋ฅผ ์ „๋‹ฌํ•˜์ง€ ์•Š๊ณ  ๊ธฐ๋ณธ๊ฐ’์„ ์“ฐ๋ ค๋ฉด, ์ด์ œ ๋‹ค์Œ ๊ฐ€์ ธ์˜ค๊ธฐ ๊ตฌ๋ฌธ์œผ๋กœ ์ฝ”๋“œ๋ฅผ ๋” ๊น”๋”ํ•˜๊ฒŒ ์ž‘์„ฑํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

    >> from scrapling.default import Fetcher, StealthyFetcher, PlayWrightFetcher
    >> page = Fetcher.get('https://example.com', stealthy_headers=True)
    

    ๊ทธ๋ ‡์ง€ ์•Š์œผ๋ฉด ๋‹ค์Œ์ฒ˜๋Ÿผ ์ž‘์„ฑํ•ฉ๋‹ˆ๋‹ค.

    >> from scrapling import Fetcher, StealthyFetcher, PlayWrightFetcher
    >> page = Fetcher(auto_match=False).get('https://example.com', stealthy_headers=True)
    
๋ฒ„๊ทธ ์ˆ˜์ • {#v0.2.2-bugs-squashed}
  1. ์–ด์ œ ๋ฐฐํฌํ•œ v0.2.1 ํŒจ์น˜์—์„œ Response ๊ฐ์ฒด์— ์ƒ๊ธด ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ผ๋ถ€ ์ค‘์ฒฉ๋œ ์„ ํƒ ๋ฐ ํŒŒ์‹ฑ ์ž‘์—…์—์„œ ๋ฐœ์ƒํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.2.1 - 2024-11-15 {#v0.2.1}

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2.1-what-s-changed}

์ƒˆ ๊ธฐ๋Šฅ {#v0.2.1-new-features}
  1. ์ด์ œ ๋ชจ๋“  Fetcher๊ฐ€ ๋ฐ˜ํ™˜ํ•˜๋Š” Response ๊ฐ์ฒด๋Š” Adaptor ๊ฐ์ฒด์™€ ๊ฐ™์œผ๋ฉฐ, status, reason, cookies, headers, request_headers ์†์„ฑ๋งŒ ์ถ”๊ฐ€๋กœ ์žˆ์Šต๋‹ˆ๋‹ค. cookies, headers, request_headers๋Š” ํ•ญ์ƒ dictionary ํƒ€์ž…์ž…๋‹ˆ๋‹ค.
    ์ด์ œ ๋‹ค์Œ์ฒ˜๋Ÿผ ์ฝ”๋“œ๋ฅผ ์ž‘์„ฑํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

    >> from scrapling import Fetcher
    >> page = Fetcher().get('https://example.com', stealthy_headers=True)
    >> print(page.status)
    200
    >> products = page.css('.product')
    

    ์ด์ „์—๋Š” ๋‹ค์Œ์ฒ˜๋Ÿผ ์ž‘์„ฑํ–ˆ์Šต๋‹ˆ๋‹ค.

    >> from scrapling import Fetcher
    >> fetcher = Fetcher().get('https://example.com', stealthy_headers=True)
    >> print(fetcher.status)
    200
    >> page = fetcher.adaptor
    >> products = page.css('.product')
    

    ํ•˜์œ„ ํ˜ธํ™˜์„ฑ์„ ์œ„ํ•ด .adaptor ์†์„ฑ๋„ ๊ณ„์† ์ž‘๋™ํ•˜๋„๋ก ๋‚จ๊ฒจ๋‘์—ˆ์Šต๋‹ˆ๋‹ค.

  2. ์ด์ œ StealthyFetcher์™€ PlayWrightFetcher ํด๋ž˜์Šค ๋ชจ๋‘ ๊ฐ€์ ธ์˜ค๊ธฐ ๋ฉ”์„œ๋“œ์— proxy ์ธ์ˆ˜๋ฅผ ๋ฐ›์Šต๋‹ˆ๋‹ค. ๋ฌธ์ž์—ด์ด๋‚˜ ๋”•์…”๋„ˆ๋ฆฌ๋ฅผ ์ „๋‹ฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  3. ์ด์ œ StealthyFetcher ํด๋ž˜์Šค์— os_randomize ์ธ์ˆ˜๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. fetch ๋ฉ”์„œ๋“œ์—์„œ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์ผœ๋ฉด Scrapling์ด ์‚ฌ์šฉํ•  OS ์ง€๋ฌธ์„ ๋ฌด์ž‘์œ„๋กœ ์„ ํƒํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ๋ณธ์ ์œผ๋กœ๋Š” ํ˜„์žฌ OS์™€ ์ผ์น˜ํ•˜๋Š” ์ง€๋ฌธ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

๋ฒ„๊ทธ ์ˆ˜์ • {#v0.2.1-bugs-squashed}
  1. Fetcher ํด๋ž˜์Šค์—์„œ ํ—ค๋”๋ฅผ ์ „๋‹ฌํ•  ๋•Œ ์ƒ๊ธฐ๋Š” ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
  2. Fetcher ์œ ํ˜•์˜ ํด๋ž˜์Šค์—์„œ ์ „๋‹ฌํ•œ JSON ์‘๋‹ต์„ ํŒŒ์‹ฑํ•  ๋•Œ ์ƒ๊ธฐ๋Š” ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.2.1-quality-of-life-changes}
  1. ํ…์ŠคํŠธ ๊ธฐ๋Šฅ์€ ์›๋ž˜ ํ…์ŠคํŠธ๋ฅผ ๋ฐ˜ํ™˜ํ•˜๊ธฐ ์ „์— HTML ์ฃผ์„์„ ์ œ๊ฑฐํ•˜๋ ค๊ณ  ํ–ˆ์Šต๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์ผ๋ถ€ ์ƒํ™ฉ์—์„œ ์˜ค๋ฅ˜๊ฐ€ ๋ฐœ์ƒํ–ˆ๊ณ  ์ฝ”๋“œ๊ฐ€ ํ•„์š” ์ด์ƒ์œผ๋กœ ๋ณต์žกํ•ด์กŒ์Šต๋‹ˆ๋‹ค. ์ด์ œ lxml์˜ ๊ธฐ๋ณธ ๋™์ž‘์œผ๋กœ ๋˜๋Œ๋ ธ์Šต๋‹ˆ๋‹ค. ์„ ํƒ์ž์ฒ˜๋Ÿผ ์š”์†Œ์˜ ํ…์ŠคํŠธ๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๋ชจ๋“  ์ž‘์—…์ด ์กฐ๊ธˆ ๋นจ๋ผ์ง‘๋‹ˆ๋‹ค. lxml/parsel/scrapy์—์„œ ํ…์ŠคํŠธ๊ฐ€ ์ด์ƒํ•˜๊ฒŒ ๋‚˜๋‰˜๋Š” ๊ฒƒ์„ ํ”ผํ•˜๋ ค๊ณ  ํ…์ŠคํŠธ๋ฅผ ๋ฐ˜ํ™˜ํ•˜๊ธฐ ์ „์— ์š”์†Œ์˜ HTML ์ฃผ์„์„ ์ œ๊ฑฐํ•˜๋ ค๋ฉด, keep_comments ์ธ์ˆ˜๋ฅผ ๊ธฐ๋ณธ๊ฐ’์ธ True๋กœ ์œ ์ง€ํ•˜์„ธ์š”.

v0.2 - 2024-11-11 {#v0.2}

๋ณ€๊ฒฝ ์‚ฌํ•ญ {#v0.2-what-s-changed}

์ƒˆ ๊ธฐ๋Šฅ {#v0.2-new-features}
  1. 3๊ฐœ์˜ ์ƒˆ๋กœ์šด ์ฃผ์š” ์œ ํ˜•์„ ๊ฐ–์ถ˜ Fetchers ๊ธฐ๋Šฅ์„ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋‹ค์–‘ํ•œ ์˜ต์…˜์œผ๋กœ Scrapling์ด ํŽ˜์ด์ง€๋ฅผ ๊ฐ€์ ธ์˜ค๊ฒŒ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค!
    • Fetcher ํด๋ž˜์Šค๋Š” ๊ธฐ๋ณธ HTTP ์š”์ฒญ์— ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.
    • StealthyFetcher ํด๋ž˜์Šค๋Š” ์Šคํ…”์Šค ๊ธฐ๋Šฅ์„ ์ถ”๊ฐ€ํ•œ Firefox๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ์™„์ „ํ•œ ์Šคํ…”์Šค Fetcher์ž…๋‹ˆ๋‹ค.
    • PlayWrightFetcher ํด๋ž˜์Šค๋Š” ๊ธฐ๋ณธ PlayWright, ์ œ๊ฐ€ ๋งŒ๋“  ์Šคํ…”์Šค ๋ชจ๋“œ์˜ PlayWright, CDP๋ฅผ ํ†ตํ•œ ์‹ค์ œ ๋ธŒ๋ผ์šฐ์ €, NSTBrowser์˜ docker browserless๋กœ ๋ธŒ๋ผ์šฐ์ € ๊ธฐ๋ฐ˜ ์š”์ฒญ์„ ๋ณด๋‚ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค!
  2. ํŽ˜์ด์ง€์—์„œ ๋งˆ๋ฒ•์ฒ˜๋Ÿผ ์š”์†Œ๋ฅผ ์‰ฝ๊ฒŒ ์ฐพ๋Š” ์™„์ „ํžˆ ์ƒˆ๋กœ์šด find_all/find ๋ฉ”์„œ๋“œ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค!
  3. filter์™€ search ๋ฉ”์„œ๋“œ๋ฅผ Adaptors ํด๋ž˜์Šค์— ์ถ”๊ฐ€ํ•ด Adaptor ๊ฐ์ฒด ๊ทธ๋ฃน์„ ํ•œ๊บผ๋ฒˆ์— ์‰ฝ๊ฒŒ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  4. ๋” ํŽธํ•˜๊ฒŒ ์“ธ ์ˆ˜ ์žˆ๋„๋ก css_first์™€ xpath_first ๋ฉ”์„œ๋“œ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
  5. ์ƒˆ ํด๋ž˜์Šค ํƒ€์ž… TextHandlers๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. TextHandler ๊ฐ์ฒด๋ฅผ ํ•œ๊บผ๋ฒˆ์— ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐ ์‚ฌ์šฉํ•˜๋ฉฐ, Adaptors ํด๋ž˜์Šค์™€ ๋น„์Šทํ•ฉ๋‹ˆ๋‹ค.
  6. generate_full_css_selector์™€ generate_full_xpath_selector ๋ฉ”์„œ๋“œ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค.
๋ฒ„๊ทธ ์ˆ˜์ • {#v0.2-bugs-squashed}
  1. ์ด์ œ Adaptors ํด๋ž˜์Šค์˜ re_first๋Š” ๋‚ด๋ถ€์˜ ๋ชจ๋“  Adaptor ๊ฐ์ฒด์—์„œ ์ฒ˜์Œ ์ผ์น˜ํ•˜๋Š” ๊ฒฐ๊ณผ๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ์ด์ „์—๋Š” re_first๋ฅผ ๋ชจ๋“  Adaptor ๊ฐ์ฒด์— ํ˜ธ์ถœํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋ชจ์•„ ๋ฐ˜ํ™˜ํ•˜๋Š” ์ž˜๋ชป๋œ ๋กœ์ง์ด ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค.
  2. CSS์˜ ::text ํ•จ์ˆ˜์ฒ˜๋Ÿผ ํ…์ŠคํŠธ ์ฝ˜ํ…์ธ ๋ฅผ ์„ ํƒํ•ด ๋ฐ˜ํ™˜ํ•˜๋ ค๊ณ  .css๋‚˜ .xpath ๊ฐ™์€ ๋ฉ”์„œ๋“œ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด, ์ด์ œ Adaptor ๊ฐ์ฒด๊ฐ€ TextHandlers ํด๋ž˜์Šค๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ์ด์ „์ฒ˜๋Ÿผ ๋ฌธ์ž์—ด ๋ฆฌ์ŠคํŠธ๋ฅผ ๋ฐ˜ํ™˜ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์ด์ œ page.css('something::text').re_first(r'regex_pattern').json()์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๊ธฐ์กด์˜ page.css('something::text')[0].re_first(r'regex_pattern').json()์€ ํ•„์š”ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  3. ์ด์ œ Adaptor/Adaptors์˜ re/re_first ์ธ์ˆ˜๊ฐ€ TextHandler์™€ ์ผ์น˜ํ•ฉ๋‹ˆ๋‹ค. clean_match์™€ case_sensitive ์ธ์ˆ˜๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  4. ์ด์ œ auto_match ์ธ์ˆ˜๋Š” Adaptor๋ฅผ ์ดˆ๊ธฐํ™”ํ•  ๋•Œ ๊ธฐ๋ณธ์ ์œผ๋กœ ์ผœ์ง‘๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์š”์†Œ๋ฅผ ์„ ํƒํ•  ๋•Œ๋„ ์ด ๊ธฐ๋Šฅ์„ ๋”ฐ๋กœ ์ผœ์•ผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฒ„๊ทธ๊ฐ€ ์•„๋‹Œ ์„ค๊ณ„์ƒ์˜ ๊ฒฐ์ •์ž…๋‹ˆ๋‹ค.
  5. Scrapling์œผ๋กœ ์ฝ”๋“œ๋ฅผ ์ž‘์„ฑํ•  ๋•Œ ์ž๋™ ์™„์„ฑ์„ ๋” ํŽธํ•˜๊ฒŒ ์“ธ ์ˆ˜ ์žˆ๋„๋ก ์—ฌ๋Ÿฌ ํƒ€์ž… ํ‘œ๊ธฐ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.
์‚ฌ์šฉ ํŽธ์˜ ๊ฐœ์„  {#v0.2-quality-of-life-changes}
  1. css_selector์™€ xpath_selector ๋ฉ”์„œ๋“œ์˜ ์ด๋ฆ„์„ generate_css_selector์™€ generate_xpath_selector๋กœ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค. ์˜๋ฏธ๋ฅผ ๋ช…ํ™•ํ•˜๊ฒŒ ํ•˜๊ณ  ์ฝ”๋“œ ์ž‘์„ฑ ์ค‘ ์ž๋™ ์™„์„ฑ์„ ๋ฐฉํ•ดํ•˜์ง€ ์•Š๋„๋ก ํ–ˆ์Šต๋‹ˆ๋‹ค.
  2. ๊ธฐ์กด ์ฝ”๋“œ ๋Œ€๋ถ€๋ถ„์„ core ํ•˜์œ„ ํŒจํ‚ค์ง€๋กœ ์˜ฎ๊ธฐ๊ณ  ๋‹ค๋ฅธ ์„ค๊ณ„๋„ ๋ฐ”๊ฟ” ์•ž์œผ๋กœ ๋” ๊น”๋”ํ•˜๊ณ  ์‰ฝ๊ฒŒ ์œ ์ง€๋ณด์ˆ˜ํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ–ˆ์Šต๋‹ˆ๋‹ค.
  3. ํ…Œ์ŠคํŠธ ํด๋”๋ฅผ ๋” ๊น”๋”ํ•˜๊ฒŒ ๊ตฌ์„ฑํ•˜๊ณ  ์ƒˆ ๊ธฐ๋Šฅ์˜ ํ…Œ์ŠคํŠธ๋ฅผ ์ถ”๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ GitHub์—์„œ tox ํ™˜๊ฒฝ์„ ์บ์‹œํ•˜๋ฏ€๋กœ ์ปค๋ฐ‹๋งˆ๋‹ค ์‹คํ–‰ํ•˜๋Š” ์ž๋™ ํ…Œ์ŠคํŠธ๊ฐ€ ๋” ๋นจ๋ผ์ง‘๋‹ˆ๋‹ค.

v0.1.2 - 2024-10-16 {#v0.1.2}

๋ณ€๊ฒฝ ๊ธฐ๋ก:

  • keep_comments ์ธ์ˆ˜๊ฐ€ ์˜๋„๋Œ€๋กœ ์ž‘๋™ํ•˜์ง€ ์•Š๋˜ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

  • Lxml ํŠน์œ ์˜ ๋™์ž‘์„ ํ”ผํ•˜๋„๋ก ํ…์ŠคํŠธ ํ•จ์ˆ˜๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด์ œ ํ…์ŠคํŠธ๋ฅผ ์ถ”์ถœํ•˜๊ธฐ ์ „์— ์š”์†Œ์˜ HTML ์ฃผ์„์„ ์ž๋™์œผ๋กœ ์ œ๊ฑฐํ•ฉ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

    >>> page = Adaptor('<span>CONDITION: <!-- -->Excellent</span>', keep_comments=True)
    >>> page.css('span::text')
    ['CONDITION: ', 'Excellent']
    

    ์ด์ „์—๋Š” Lxml์˜ ๊ธฐ๋ณธ ๋™์ž‘ ๋•Œ๋ฌธ์— ์œ„์™€ ๊ฐ™์€ ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜์™”์ง€๋งŒ, ์ด์ œ๋Š” ์ „์ฒด ํ…์ŠคํŠธ 'CONDITION: Excellent'๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. parsel\scrapy์—์„œ๋„ ์•Œ๋ ค์ง„ ๋™์ž‘์ด๋ผ ์—ฌ๊ธฐ์„œ ์ฒ˜๋ฆฌํ•˜๊ณ ์ž ํ–ˆ์Šต๋‹ˆ๋‹ค.

  • pip uninstall scrapling ๊ฐ™์€ ๋ช…๋ น์„ ์‹คํ–‰ํ•ด๋„ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๊ฐ€ ๋งŒ๋“  SQLite DB ํŒŒ์ผ์ด ์‚ญ์ œ๋˜์ง€ ์•Š๋˜ ๋ฒ„๊ทธ๋ฅผ ์ˆ˜์ •ํ–ˆ์Šต๋‹ˆ๋‹ค.

v0.1.1 - 2024-10-14 {#v0.1.1}

์ž‘์€ ์ˆ˜์ • ์‚ฌํ•ญ

v0.1 - 2024-10-13 {#v0.1}

์ „์ฒด ๋ณ€๊ฒฝ ๊ธฐ๋ก: https://github.com/D4Vinci/Scrapling/commits/v0.1