๐ท๏ธ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev
title: "์์ ์ ์ธ ์น ์คํฌ๋ํ์ ์ํ ๋ฌด๋ฃ AI ๋์" description: "Scrapling์ ํ์ด์ง ๋ณ๊ฒฝ, ๋ถ์์ ํ ์ ํ์, ๋ด ์ฐจ๋จ, ํ์ด์ง ์ด๋์ ๋์ํฉ๋๋ค. ํ์ด์ง๋ง๋ค LLM์ ํธ์ถํ ํ์๊ฐ ์์ต๋๋ค."
Scrapling: ์์ ์ ์ธ ์น ์คํฌ๋ํ์ ์ํ ๋ฌด๋ฃ AI ๋์ {#scrapling-a-free-alternative-to-ai-for-robust-web-scraping}
์น ์คํฌ๋ํ์ ๋ฐ์ดํฐ ์ถ์ถ, ์ธ๋ฑ์ฑ, ๋ฐ์ดํฐ์ ์ค๋น ๋ฑ ๋ค์ํ ์ฉ๋๋ก ์ค๋ซ๋์ ์ฐ์์ต๋๋ค. ํ์ง๋ง ์๋ จ๋ ์ฌ์ฉ์๋ ์์ ์ ๋ฐฉํดํ๋ ๋ฌธ์ ๋ฅผ ๋ฐ๋ณตํด์ ๊ฒช์ต๋๋ค. ์ต๊ทผ์๋ ์ด๋ฐ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ค๊ณ AI ๊ธฐ๋ฐ ์น ์คํฌ๋ํ์ผ๋ก ์ฎ๊ฒจ ๊ฐ๋ ์์ง์์ด ๋๊ณ ์์ต๋๋ค.
์ด ๊ธ์์๋ ์์ฃผ ๊ฒช๋ ๋ฌธ์ , ๊ธฐ์ ์ด AI๋ฅผ ์ ํํ๋ ์ด์ , ๊ทธ ๋ฐฉ์์ ๋จ์ , ๊ทธ๋ฆฌ๊ณ Scrapling์ด AI ๋น์ฉ ์์ด ์ด๋ฅผ ํด๊ฒฐํ๋ ๋ฐฉ๋ฒ์ ์ดํด๋ด ๋๋ค.
ํํ ๋ฌธ์ ์ ์ด๋ ค์ด ๋ชฉํ {#common-issues-and-challenging-goals}
์น ์คํฌ๋ํ์ ์ค๋ ํ๋ค๋ฉด ๋ค์๊ณผ ๊ฐ์ ๋ฌธ์ ๋ฅผ ๋ฐ๋ณตํด์ ๊ฒช์์ ๊ฒ์ ๋๋ค.
- ์์ฃผ ๋ฐ๋๋ ์ฌ์ดํธ ๊ตฌ์กฐ: DOM ๊ตฌ์กฐ๊ฐ ๋ฐ๋๋ฉด ๊ณ ์ ๋ XPath/CSS ์ ํ์๊ฐ ๋ ์ด์ ์๋ํ์ง ์์ต๋๋ค.
- ๋ถ์์ ํ ์ ํ์: ํด๋์ค ์ด๋ฆ๊ณผ ID๊ฐ ๋ฐ๋๊ฑฐ๋ ๋ฌด์์๋ก ์์ฑ๋์ด ์คํฌ๋ํผ๊ฐ ๊ณ ์ฅ ๋๊ฑฐ๋ ์์ฑํ๊ธฐ ์ด๋ ค์์ง๋๋ค.
- ๋ณต์กํด์ง๋ ๋ด ์ฐจ๋จ: CAPTCHA, ๋ธ๋ผ์ฐ์ ์ง๋ฌธ ๊ฒ์ฌ, ํ๋ ๋ถ์์ผ๋ก ๊ธฐ์กด ๋ฐฉ์์ ์คํฌ๋ํ์ด ์ด๋ ค์์ง๋๋ค.
์ด ๋ฐ์๋ ์ฌ๋ฌ ๋ฌธ์ ๊ฐ ์์ต๋๋ค.
์ด๊ฒ์ ์ฌ์ดํธ๋ง๋ค ์ ์ฉ ์ฝ๋๋ฅผ ์์ฑํ ์ ์๋, ์ด๋ฏธ ์๊ณ ์๋ ์ฌ์ดํธ๋ฅผ ๋์์ผ๋ก ํ ๋์ ์ด์ผ๊ธฐ์ ๋๋ค.
์๋ก ๋ค๋ฅธ ๋ง์ ์ฌ์ดํธ๋ฅผ ๋ฒ์ฉ์ ์ผ๋ก ์์งํ๋ ค๊ณ ํ๋ฉด ์ ๋ฌธ์ ๋ ๋ ์ปค์ง๋๋ค. ๋ค์๊ณผ ๊ฐ์ ๋ฌธ์ ๋ ์ถ๊ฐ๋ฉ๋๋ค.
- ์ฌ์ดํธ ๊ฐ์ ํฐ ์ฐจ์ด: ์๋ง์ HTML ๊ตฌ์กฐ, CSS ์ฌ์ฉ ๋ฐฉ์, JavaScript ํ๋ ์์ํฌ, ๋ฐฑ์๋ ๊ธฐ์ ์ ๋์ํด์ผ ํฉ๋๋ค.
- ํ์ํ ๋ฐ์ดํฐ ์ฐพ๊ธฐ: ์ฒ์ ๋ณด๋ ํ์ด์ง์์ ์ด๋ค ๋ฐ์ดํฐ๊ฐ ์ค์ํ์ง ์คํฌ๋ํผ๊ฐ ์ด๋ป๊ฒ ์ ์ ์์๊น์?
- ๋ค์ํ ํ์ด์ง ์ด๋ ๋ฐฉ์: ๋ฌดํ ์คํฌ๋กค, ํ์ด์ง ๋ฒํธ, โ๋ ๋ณด๊ธฐโ ๋ฒํผ์ ๊ฐ๊ฐ ๋ค๋ฅธ ์ ๊ทผ์ด ํ์ํฉ๋๋ค.
์ฌ๊ธฐ์ ๋ค๋ฅธ ๋ฌธ์ ๋ ๋ํด์ง๋๋ค.
๊ณตํต ๊ธฐ์ ์ ์ฐ์ง ์๋ ๋ค์ํ ์ฌ์ดํธ๋ฅผ ๋ฒ์ฉ์ ์ผ๋ก ์คํฌ๋ํํ๋ ค๋ฉด, ์ด ๋ชจ๋ ๋ฌธ์ ๋ฅผ ์ด๋ป๊ฒ ์์์ ์ผ๋ก ํด๊ฒฐํด์ผ ํ ๊น์?
AI๊ฐ ๋์์ฃผ์ง๋ง ๋น์ฉ์ด ํฝ๋๋ค {#ai-to-the-rescue-but-at-a-high-cost}
AI๋ ํ์ด์ง ์์ค๋ฅผ ์ดํดํ๊ณ ํ์ํ ํญ๋ชฉ์ ์ฐพ๊ฑฐ๋ ์ ํ์๋ฅผ ๋ง๋ค ์ ์์ด ์ด๋ฐ ๋ฌธ์ ๋๋ถ๋ถ์ ์ฝ๊ฒ ํด๊ฒฐํ ์ ์์ต๋๋ค. ๋ฌผ๋ก ๋ด ์ฐจ๋จ์ ๋ค๋ฅธ ๋๊ตฌ๋ก ์ด๋ฏธ ํด๊ฒฐํ๋ค๋ ์ ์ ์ ๋๋ค :)
์ด ๋ฐฉ์์ ๋งค๋ ฅ์ ์ ๋๋ค. ์ ๋ AI, ํนํ ์์ฑํ AI์ ํฐ ๊ด์ฌ์ด ์์ต๋๋ค. ํ๋กฌํํธ๋ฅผ ๋ง๋ค๊ณ ๋ค๋ฌ๋ ๋ฐ ์๊ฐ์ด ๋ง์ด ๋ค ์ ์์ต๋๋ค. ๊ทธ๋๋ ๊ด์ฐฎ๋ค๋ฉด, ๊ณง ์ง์ง ๋ฌธ์ ๋ฅผ ๋ง๋๊ฒ ๋ฉ๋๋ค.
๋๋ถ๋ถ์ ์ฌ์ดํธ๋ ํ ํ์ด์ง์ ๋ง์ ๋ด์ฉ์ ๋ด๊ณ ์์ต๋๋ค. AI๊ฐ ์ฒ๋ฆฌํ ์ ์๋๋ก ๊ทธ ๋ด์ฉ์ ์ด๋ค ํํ๋ก๋ ์ ๋ฌํด์ผ ํฉ๋๋ค. ๊ทธ๋ฌ๋ฉด ํ ํฐ์ด ๋น ๋ฅด๊ฒ ์๋ชจ๋๊ณ ๋น์ฉ์ด ์ปค์ง๋๋ค.
๋น์ฉ์ ์ ํ ์ ๊ฒฝ ์ฐ์ง ์์๋ ๋๋ ์ํฉ์ด ์๋๋ผ๋ฉด ๋ ์ ๋ ดํ ๋ฐฉ๋ฒ์ ์ฐพ๊ฒ ๋ฉ๋๋ค. ์ด๋ Scrapling์ด ๋์์ด ๋ฉ๋๋ค :smile:
Scrapling์ด ๋์๋๋ฆฝ๋๋ค {#scrapling-got-you-covered}
Scrapling์ ์น ์คํฌ๋ํ์์ ๋ง๋๋ ๊ฑฐ์ ๋ชจ๋ ๋ฌธ์ ์ ๋์ํ ์ ์์ต๋๋ค. ๋๋จธ์ง ๋ฌธ์ ๋ ์์ผ๋ก์ ์ ๋ฐ์ดํธ์์ ์ฐจ๊ทผ์ฐจ๊ทผ ํด๊ฒฐํด ๋๊ฐ ์์ ์ ๋๋ค.
T1 ํด๊ฒฐ: ์์ฃผ ๋ฐ๋๋ ์ฌ์ดํธ ๊ตฌ์กฐ {#solving-issue-t1-rapidly-changing-website-structures}
์ด๋ฅผ ์ํด ๋ง๋ ๊ธฐ๋ฅ์ด ์ ์ํ ํ์ฑ์ ๋๋ค. ์ด ๊ธฐ๋ฅ์ด ๋์ฌ ์ค ์์ํ์ จ์ ์๋ ์๊ฒ ๋ค์ :)
์คํฌ๋ํํ ๋ adaptive๋ฅผ ์ผ๋ฉด ์์์ ํน์ง์ ์ ์ฅํด ๋๊ณ , ์ฌ์ดํธ ๊ตฌ์กฐ๊ฐ ๋ฐ๋ ํ์๋ ๋ค์ ์ฐพ์ ์ ์์ต๋๋ค. ์ด๋ ค์ด ์ ์ ์์์ ์ด๋ค ๋ถ๋ถ์ด๋ ๋ฐ๋ ์ ์์ด ๊ณ ์ ๋ ์ ๋ณด์ ์์กดํ ์ ์๋ค๋ ๊ฒ์
๋๋ค.
์ ์ํ ๊ธฐ๋ฅ์ ์์๋ฅผ ๊ตฌ๋ณํ๋ ์ ๋ณด๋ฅผ ์ ์ฅํฉ๋๋ค. ์ฌ์ดํธ ๊ตฌ์กฐ๊ฐ ๋ฐ๋๋ฉด ์ด์ ์์์ ๊ฐ์ฅ ๋น์ทํ ์์๋ฅผ ๋ฐํํฉ๋๋ค.
์์ธํ ์ค๋ช ๊ณผ ์ฌ๋ฌ ์์ ๋ ์ฌ๊ธฐ์ ์์ต๋๋ค.
T2 ํด๊ฒฐ: ๋ถ์์ ํ ์ ํ์ {#solving-issue-t2-unstable-selectors}
์น ์คํฌ๋ํ์ ์ค๋ ํ๋ค๋ฉด ํ ๋ฒ์ฏค์ ๊ฒช์์ ๊ฒ์ ๋๋ค. ID๋ ํด๋์ค๊ฐ ์๋ HTML, ๋ฌด์์ ํด๋์ค ์ด๋ฆ์ฒ๋ผ ๋ฏฟ๊ณ ์ธ ์ ๋ณด๊ฐ ์๋, ๋ค๋ฃจ๊ธฐ ์ด๋ ค์ด ์ฌ์ดํธ์ ๋๋ค.
์ด๋ด ๋๋ ์ผ๋ฐ์ ์ธ CSS/XPath ์ ํ์๊ฐ ์ต์ ์ด ์๋ ์ ์์ต๋๋ค. ๊ทธ๋์ Scrapling์ ์ธ ๊ฐ์ง ์ ํ ๋ฐฉ๋ฒ์ ๋ ์ ๊ณตํฉ๋๋ค.
- ์์ ๋ด์ฉ์ผ๋ก ์ ํ:
find_by_text๋ก ํ ์คํธ๋ฅผ ์ฐพ๊ฑฐ๋,find_by_regex๋ก ํ ์คํธ์ ์ ๊ท์์ ์ ์ฉํฉ๋๋ค. - ๋ค๋ฅธ ์์์ ๋น์ทํ ์์ ์ ํ: ์์ ํ๋๋ฅผ ์ฐพ์ผ๋ฉด ๋๋จธ์ง๋ Scrapling์ด ์ฐพ์ต๋๋ค.
- ํํฐ๋ก ์์ ์ ํ: ์์๊ฐ ๋ง์กฑํด์ผ ํ ์กฐ๊ฑด์ ์ง์ ํ๋ฉด Scrapling์ด ์ฐพ์ต๋๋ค.
๊ฐ ๋งํฌ์์ ์ฌ์ฉ๋ฒ์ ํ์ธํ ์ ์์ผ๋ฏ๋ก ์ฌ๊ธฐ์๋ ์ค๋ช ์ ๋ฐ๋ณตํ์ง ์๊ฒ ์ต๋๋ค.
T3 ํด๊ฒฐ: ๋ณต์กํด์ง๋ ๋ด ์ฐจ๋จ {#solving-issue-t3-increasingly-complex-anti-bot-measures}
๋ณดํธ๋ ์ฌ์ดํธ์์๋ ํ๋ก์์ ์ฌ๋์ฒ๋ผ ๋ณด์ด๋ ๋์๋ง์ผ๋ก ๋ถ์กฑํ ์ ์์ต๋๋ค. StealthyFetcher๋ ๋ธ๋ผ์ฐ์ ์๋ํ์ ์ง๋ฌธ ๋ณด์ ๊ณผ ๋ด ์ฐจ๋จ ๋์ ์ต์
์ ๊ฒฐํฉํฉ๋๋ค. Cloudflare Turnstile๊ณผ Interstitial ๊ฒ์ฆ์๋ solve_cloudflare=True๋ฅผ ์ฌ์ฉํ์ธ์.
B1๊ณผ B2 ํด๊ฒฐ: ๋ค์ํ ์ฌ์ดํธ์ ํ์ํ ๋ฐ์ดํฐ ์ฐพ๊ธฐ {#solving-issues-b1-b2-extreme-website-diversity-identifying-relevant-data}
์ด๋ ค์ด ๋ฌธ์ ์ง๋ง Scrapling์ ์ ์ฐํ ๊ธฐ๋ฅ์ผ๋ก ๋์ํ ์ ์์ต๋๋ค.
์ฌ๋ฌ ์ฌ์ดํธ์์ AI๋ก ๊ฐ๊ฒฉ์ ์ถ์ถํ๋ ๋ถ๊ณผ ์ด์ผ๊ธฐํ ์ ์ด ์์ต๋๋ค. ๊ฐ๊ฒฉ๊ณผ ์ ๋ชฉ๋ง ํ์ํด์, AI์๊ฒ ๊ฐ๊ฒฉ์ ์ฐพ์ ๋ฌ๋ผ๊ณ ํ๊ณ ์์์ต๋๋ค.
์ ๋ ์ด ๊ฒฝ์ฐ AI๊ฐ ํ์ํ์ง ์๋ค๊ณ ์ค๋ช ํ๊ณ ๋ค์ ์ฝ๋๋ฅผ ์๋ก ๋ณด์ฌ ๋๋ ธ์ต๋๋ค.
price_element = page.find_by_regex(r'ยฃ[\d\.,]+', first_match=True) # Get the first element that contains a text that matches price regex eg. ยฃ10.50
# If you want the container/element that contains the price element
price_element_container = price_element.parent or price_element.find_ancestor(lambda ancestor: ancestor.has_class('product')) # or other methods...
target_element_selector = price_element_container.generate_css_selector or price_element_container.generate_full_css_selector # or xpath
๊ทธ๋ถ์ ๋ค์๊ณผ ๊ฐ์ ๊ฒฝ์ฐ์๋ ์ด๋ป๊ฒ ํ๋๋๊ณ ๋ฌผ์์ต๋๋ค.
<span class='currency'> $ </span> <span class='a-price'> 45,000 </span>
๊ทธ๋์ ์ฝ๋๋ฅผ ์ด๋ ๊ฒ ๋ฐ๊ฟจ์ต๋๋ค.
price_element_container = page.find_by_regex(r'[\d,]+', first_match=True).parent # Adjusted the regex for this example
full_price_data = price_element_container.get_all_text(separator="", strip=True) # Returns '$45,000' in this case
๊ทธ๋ถ์ ์ฉ๋์๋ ์ด๊ฒ์ผ๋ก ์ถฉ๋ถํ์ต๋๋ค. ์ฒซ ๋ฒ์งธ ์ ๊ท์์์ ์๋ฌด๊ฒ๋ ์ฐพ์ง ๋ชปํ๋ฉด ๋ค์ ์ ๊ท์์ ์๋ํ๋ ์์ผ๋ก ๊ตฌ์ฑํ ์ ์์ต๋๋ค. ๊ฐ์ฅ ํํ ํจํด๋ถํฐ ์ฒ๋ฆฌํ ๋ค ๋ ํํ ํจํด์ผ๋ก ๋ํ ๊ฐ์ธ์. ์กฐ๊ธ ์ง๋ฃจํ ์ ์์ง๋ง AI๋ณด๋ค ๋น์ฉ์ด ์ ๊ฒ ๋ญ๋๋ค.
์ด ์์ ์์ ์ ํ๊ณ ์ถ์ ์ ์ ๋ชจ๋ ๋ฌธ์ ์ AI๊ฐ ํ์ํ ๊ฒ์ ์๋๋ผ๋ ๊ฒ์ ๋๋ค. ์กฐ๊ธ ๋ค๋ฅธ ๋ฐฉ๋ฒ์ ์๊ฐํ๋ฉด ๋น์ฉ์ ํฌ๊ฒ ์ค์ผ ์๋ ์์ต๋๋ค.
B3 ํด๊ฒฐ: ๋ค์ํ ํ์ด์ง ์ด๋ ๋ฐฉ์ {#solving-issue-b3-pagination-variations}
ํ์ฌ Scrapling์๋ ํ์ด์ง ์ด๋ ๋งํฌ๋ฅผ ์๋์ผ๋ก ์ฐพ๋ ์ ์ฉ ๋ฉ์๋๊ฐ ์์ต๋๋ค. Spider๋ response.follow()๋ก ํ์ด์ง ์ด๋ ๋งํฌ๋ฅผ ๋ฐ๋ผ๊ฐ๋๋ค.
ํ์ง๋ง ํํ ํจํด์ ์ฐพ์ผ๋ฉด ๋๋ถ๋ถ์ ์ฌ์ดํธ์ ๋์ํ ์ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด page.find_by_text('Next')['href'], page.find_by_text('load more')['href'], ๋๋ 'a[href*="?page="]', 'a[href*="/page/"]' ๊ฐ์ ์ ํ์๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค.
๋น์ฉ ๋น๊ต์ ์ ์ฝ ํจ๊ณผ {#cost-comparison-and-savings}
๊ฐ๋จํ ๋น๊ตํด ๋ณด๊ฒ ์ต๋๋ค.
| ํญ๋ชฉ | Scrapling | AI ๊ธฐ๋ฐ ๋๊ตฌ(Browse AI, Oxylabs ๋ฑ) |
|---|---|---|
| ๋น์ฉ | ๋ฌด๋ฃ์ด๋ฉฐ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ฌ์ฉ ํ์์ ๋ฐ๋ฅธ ์๊ธ์ด ์์ต๋๋ค | ์ ๋ฃ ์๊ธ์ ์ด๋ฉฐ ์ ๊ณต์ ์ฒด์ ์ฌ์ฉ๋์ ๋ฐ๋ผ ๊ฐ๊ฒฉ์ด ๋ฌ๋ผ์ง๋๋ค |
| ์ค์ | ์ฝ๊ฐ์ ๊ธฐ์ ์ง์๊ณผ ์๋ ์ค์ ์ด ํ์ํฉ๋๋ค | ๋๊ฐ ์ฝ๋๊ฐ ํ์ ์์ด ๋น์ ๋ฌธ๊ฐ๋ ์ฌ์ฉํ๊ธฐ ์ฝ์ต๋๋ค |
| ์ฌ์ฉ ๋ฐฉ์ | ์ฝ๋, ํฐ๋ฏธ๋, MCP ์๋ฒ๋ก ์ฌ์ฉํฉ๋๋ค | ์ ์ฒด๊ฐ ์ ๊ณตํ๋ ๊ธฐ๋ฅ์ ๋ฐ๋ผ ์ฃผ๋ก GUI๋ API๋ฅผ ์ฌ์ฉํฉ๋๋ค |
| ๊ท๋ชจ ํ์ฅ | ์ฌ์ฉ์์ ๊ตฌํ์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋๋ค | ๋๊ท๋ชจ ์์ ์ ์ํ ๊ด๋ฆฌํ ์๋น์ค๊ฐ ์ ๊ณต๋ฉ๋๋ค |
| ๋ณํ ๋์ | adaptive์ ์ ํ์ ์ธ์ ์ ํ ๋ฐฉ๋ฒ์ผ๋ก ์ ์ฐํ๊ฒ ๋์ํฉ๋๋ค |
AI๊ฐ ์๋์ผ๋ก ๋์ํ์ง๋ง ๋ณ๊ฒฝ์ด ์ฆ์ผ๋ฉด ๋น์ฉ์ด ํฝ๋๋ค |
ํ์ฌ ์๊ธ์ Browse AI ์๊ธ๊ณผ Oxylabs Web Scraper API ์๊ธ์ ํ์ธํ์ธ์.
๋ง๋ฌด๋ฆฌ {#conclusion}
AI๋ ๊ฐ๋ ฅํ์ง๋ง ๋ง์ ์น ์คํฌ๋ํ ์์
์์๋ ๋น์ฉ์ด ๋๋ฌด ํด ์ ์์ต๋๋ค. Scrapling์ ํน์ ์ฌ์ดํธ์ ๋์ ๋ฒ์์ ์ฌ์ดํธ ๋ชจ๋์์ ์ค์ ๋ฌธ์ ๋ฅผ ๋ค๋ฃฐ ์ ์๋ ์ ์ฐํ๊ณ ๊ฒฝ์ ์ ์ธ ๋๊ตฌ๋ฅผ ์ ๊ณตํฉ๋๋ค. ๋น์ผ AI ์๋ฃจ์
์์ด ํด๊ฒฐํ ์ ์๋ ๊ฒฝ์ฐ๋ ๋ง์ต๋๋ค. adaptive, ๋ค์ํ ์ ํ ๋ฐฉ๋ฒ, ๊ณ ๊ธ Fetcher๋ฅผ ํ์ฉํ๋ฉด ๋ณํ์ ๊ฐํ ์คํฌ๋ํผ๋ฅผ ๋ ํจ์จ์ ์ผ๋ก ๋ง๋ค ์ ์์ต๋๋ค.
๋ฌธ์๋ฅผ ๋ ์ดํด๋ณด๊ณ Scrapling์ด ๋ค์ ์น ์คํฌ๋ํ ํ๋ก์ ํธ๋ฅผ ์ด๋ป๊ฒ ๊ฐ๋จํ๊ฒ ๋ง๋ค์ด ์ค ์ ์๋์ง ํ์ธํ์ธ์.